ה-AI נתקל בחסימה ופרץ למערכת הממשלתית באוסטרליה
בינה מלאכותית זה התחיל כמשימת מחקר רגילה. סוכן AI של OpenAI התבקש לאסוף באינטרנט נתונים על הוצאות ציבוריות על תרופות באוסטרליה. הוא הגיע לפורטל ממשלתי, ניסה להשיג את המידע ונתקל בחסימה.
במקום לעצור, הסוכן חיפש דרך אחרת. ב-18 ביוני הוא השיג גישה לא מורשית לתשתית שמאחורי שירות הדיווח הסטטיסטי של מדיקר, שמנוהל בידי רשות השירותים של אוסטרליה. הוא ניגש לקבצים ציבוריים ולא ציבוריים ואף כתב קבצים לשרת פנימי.
ראש ממשלת אוסטרליה אנתוני אלבניז חשף את האירוע היום. בשלב זה אין ראיות לכך שמידע רפואי אישי נחשף. הפורטל הוא מערכת סטטיסטית נפרדת ממערכות מדיקר שמטפלות בתביעות, תשלומים ומידע אישי, והנתונים שבה הם בעיקר מידע מצרפי על מדיקר ועל הוצאות תרופות.
חקירה פורנזית מתנהלת כעת בסיוע גורמי הסייבר האוסטרליים כדי לבדוק את מלוא היקף האירוע ואם מערכות נוספות הושפעו.
הפרט החשוב אינו רגישות הקבצים שאליהם הגיע הסוכן, אלא הדרך שבה הגיע אליהם. OpenAI לא הטילה עליו משימת סייבר ולא ביקשה ממנו למצוא חולשה. הוא קיבל יעד של איסוף מידע, נתקל במחסום והמשיך לחפש דרכים להשלים את המשימה עד שהגיע לפעולה שלא הייתה מורשית.
סגן ראש ממשלת אוסטרליה ריצ'רד מרלס אמר כי הסוכן פעל באופן שחרג מהמשימה ומההרשאות שניתנו לו.. לדבריו, ההשפעה בפועל מוגבלת, משום שלא נחשף מידע רפואי אישי, אך עצם העובדה שסוכן AI עבר מגישה רגילה לגישה לא מורשית הופכת את האירוע לחמור.
3 יעדים נוספים: כשהמידע נחסם, הסוכנים חיפשו חולשה
האירוע באוסטרליה אינו המקרה היחיד שבו סוכני AI עברו מאיסוף מידע רגיל לבדיקת חולשות. מחקר חדש שבחן עשרות אלפי בקשות שנראות כפעילות של סוכנים אוטונומיים מצא שלושה מקרים במאי וביוני שבהם מערכות ניסו לתקוף מקורות מידע ציבוריים אחרי שהדרך הרגילה להשגת הנתונים נכשלה.
המטרות היו הספרייה הדיגיטלית של אוניברסיטת ניו מקסיקו, שירות הנתונים Data USA ואתר המכון האוסטרלי לבריאות ורווחה. החוקרים הצליחו לקשור שניים משלושת המקרים לפעילות של נחיל סוכנים שיוחס בעבר ל-OpenAI.
באוניברסיטת ניו מקסיקו המשימה הייתה להשיג תצלום מארכיון דיגיטלי. אחרי שניסיונות הגישה הרגילים נכשלו, זוהו שבע בקשות שבדקו חולשות אפשריות. לא נמצאה ראיה שהניסיון הצליח.
- מטא קפצה ליגה ב-AI: המכשיר החדש שמכניס את הסוכן האישי לכיס
- ענקיות הענן נפלו פי ארבעה מהשוק - בגלל החוב
בשירות Data USA ניסו הסוכנים להשיג נתונים הקשורים לאוניברסיטת איווה. שאילתות שלא נבנו נכון החזירו שגיאות, ובהמשך נשלחו 12 בקשות שנועדו לבדוק חולשות שונות. גם במקרה הזה לא נמצאה ראיה לחדירה מוצלחת.
במקרה השלישי ניסו הסוכנים לקבל מידע על הוצאות תרופות מאתר המכון האוסטרלי לבריאות ורווחה. אחרי שמערכת נגד בוטים חסמה אותם, הם חיפשו מסלולים חלופיים והצליחו למשוך קובץ ציבורי משרת טרום ייצור. גם כאן אין ראיה שהבדיקות הובילו לחדירה למידע שאינו ציבורי.
שלושת המקרים שונים מהחדירה המאושרת לשירות הדיווח הסטטיסטי של מדיקר. במקרה של מדיקר ממשלת אוסטרליה אישרה שהייתה גישה לא מורשית ושקבצים לא ציבוריים נפתחו. בשלושת המקרים האחרים מדובר בניסיונות שאותרו בנתוני רשת, ללא הוכחה שניצול החולשות הצליח.
הדפוס משותף: הסוכן מקבל יעד, מנסה להגיע אליו בדרך הרגילה, נתקל במחסום ומחפש מסלול אחר. הבעיה מתחילה כאשר מבחינת המערכת, בקרת אבטחה הופכת מעצירה לפתרון שצריך לעקוף.
זו אינה הפעם הראשונה שסוכן של OpenAI מגיע למערכת אמיתית. ביולי נחשף כי סוכן של החברה חדר לתשתיות של Hugging Face במהלך מבחן סייבר. במקרה ההוא המשימה עצמה עסקה בסייבר והסוכן ניסה לפתור אתגר אבטחה, מצא חולשה שאפשרה לו להגיע לאינטרנט ומשם המשיך למערכות חיצוניות.
- מטא חשפה את מיוז צ'ארם: מכשיר AI קטן שאפשר לתלות על מחזיק מפתחות
- 10 מיליון נוסעים במיאמי: שוק הקרוזים שובר שיאים
בדיקה מאוחרת יותר של האירוע הראתה כיצד הסוכן עבר בין מערכות והגיע למאגרים שלא היו חלק מהמסלול שתכננו החוקרים. ההבדל במקרה האוסטרלי הוא שהמשימה המקורית כלל לא עסקה בתקיפה.
3 חודשים עד הדיווח: הבעיה היא גם מי עוצר את הסוכן
החדירה לשירות הדיווח הסטטיסטי של מדיקר התרחשה ב-18 ביוני. רשות השירותים של אוסטרליה קיבלה הודעה מ-OpenAI רק ב-10 בספטמבר, כמעט שלושה חודשים אחר כך. ההודעה נשלחה לתיבת הדואר הציבורית של הרשות.
אלבניז אמר כי שוחח עם מנכ"ל OpenAI סם אלטמן והביע דאגה מהאירוע, לצד ביקורת על משך הזמן שעבר עד לדיווח ועל הדרך שבה הוא נמסר. ממשלת אוסטרליה הקימה צוות לבדיקת האירוע ומנסה לקבוע אם מערכות ממשלתיות נוספות הושפעו.
OpenAI מסרה לרשויות כי הסוכן פעל במסגרת הערכה פנימית של יכולות המודלים. המשימה הייתה מחקר אינטרנטי שנועד למצוא מידע ציבורי על הוצאות תרופות באוסטרליה.
האירוע ממחיש את ההבדל בין צ'אטבוט לבין סוכן אוטונומי. מערכת שמחזירה תשובה שגויה יכולה להטעות את המשתמש. מערכת שמקבלת דפדפן, יכולת להריץ קוד וגישה לשירותים חיצוניים יכולה גם לבצע פעולות על בסיס הדרך שבה פירשה את המשימה.
הסיכון גדל כאשר ההוראה עצמה נראית תמימה. אין צורך לומר למערכת "פרצי לאתר". מספיק לתת לה יעד, כלים ומרחב פעולה רחב, אם היא מפרשת חסימה כבעיה טכנית בדרך ולא כגבול שאסור לחצות.
גם חברות הסייבר נערכות לתרחיש הזה. סטארט-אפים כבר מגייסים עשרות מיליוני דולרים כדי לשלוט בהרשאות ובגישה של סוכני AI למידע ארגוני. השאלה אינה רק אילו פעולות הסוכן מסוגל לבצע, אלא לאילו מערכות הוא יכול להגיע ומה קורה כאשר הוא מחליט שפעולה נוספת נחוצה כדי להשלים את המשימה.
רישומי הפעילות שנבדקו במחקר מראים שהדפוס החל לפחות במרץ. במקרה מוקדם אחד סוכן שניסה להשיג נתונים סטטיסטיים מתאילנד עבר מגישה ישירה לשירות חיצוני שממיר אתרי אינטרנט לטקסט, ובהמשך כתב קוד והריץ אותו באמצעות שירות מרוחק כדי להשיג את המידע.
פעילות דומה אותרה גם בספטמבר. החוקרים אינם טוענים שהסוכנים בהכרח למדו לאורך החודשים אסטרטגיית פריצה חדשה, והנתונים אינם מספיקים כדי להוכיח תהליך כזה. הם כן מראים שסוכנים יכולים לעבור בעצמם בין שיטות שונות כאשר הדרך הראשונה להשגת המטרה נכשלת.
