ג'מיני התבקש לפרוץ לחברות מדומות - ונכנס למערכות של שלוש חברות אמיתיות
מודל ממשפחת ג'מיני של גוגל נכנס למערכות מחשוב של שלוש חברות אמיתיות במהלך ניסויי אבטחה שנועדו להתבצע מול חברות מדומות. הניסויים נערכו במאי בידי חברת אבטחת הבינה המלאכותית הישראלית Irregular, בסביבה שלא היתה אמורה לאפשר גישה לאינטרנט. אלא שהגישה התאפשרה בטעות, והמודל פעל מול מערכות מחוץ לניסוי. גוגל מאשרת את האירועים ואומרת שבכל שלושת המקרים המודל הפסיק את הפעילות לאחר שהבין שהיעדים אינם חלק מהבדיקה.
המקרה ממחיש את הסיכון שנוצר כשמחברים מודל לכלים שמאפשרים לו לפעול. ג'מיני הוא משפחה של מודלים ושירותים, והאירוע אינו אומר שהצ'אט הרגיל של גוגל פורץ למחשבים של משתמשים. כאן מדובר במערכת שפעלה במסגרת בדיקת יכולות סייבר, עם משימה וכלים לביצועה. הגרסה המדויקת שנבדקה לא נחשפה.
שם של חברה מדומה הוביל לחברה אמיתית
באחד המקרים, החברה המדומה שנבחרה לתרגיל נשאה שם זהה לזה של חברה אמיתית. המודל הגיע לשירות של החברה האמיתית, ניחש נכון פרטי כניסה וקיבל גישה. בשני המקרים האחרים הוא השתמש בפרטי גישה שהיו זמינים ברשת. לפי גוגל, הוא חשב שהאתרים שאליהם נכנס שייכים לסביבת הבדיקה.
Irregular עדכנה את גוגל באירועים בסוף יולי. בגוגל אומרים שהחברות שנפגעו קיבלו הודעה ושבוצעו שינויים בתהליכי הבדיקה. החברה לא פרסמה את האירועים לציבור בזמן אמת, בטענה שלא נגרם נזק ושהמודל עצר בעצמו.
ההבחנה הזאת חשובה גם להבנת הכותרות על מודל ש"ברח מהמעבדה". המידע שפורסם מצביע על גישה לאינטרנט שהתאפשרה בטעות ועל פעולה מחוץ לתחום הניסוי. הוא אינו מוכיח שהמודל החליט לתקוף חברות אמיתיות ביודעין או פיתח מטרה עצמאית. לצד זאת, עצם הכניסה למערכות חיצוניות מלמד שההפרדה בין הניסוי לבין העולם האמיתי לא הספיקה.
המודל עצר, אבל ההגנה היתה צריכה לעבוד קודם
מבחינת גוגל, העצירה היא סימן לכך שמנגנוני הבטיחות של המודל פעלו. מבחינת אבטחת המערכת, נותרת בעיה אחרת: ההבנה שהיעד אינו מורשה הגיעה אחרי שכבר הושגה גישה. מערכת בטוחה צריכה לצמצם מראש את האפשרות להגיע ליעד כזה, גם כשהמודל טועה בזיהוי או מפרש משימה בצורה רחבה מדי.
הסיכון הזה נעשה משמעותי ככל שחברות מעניקות לסוכנים אוטומטיים הרשאות לקרוא מסמכים, להפעיל תוכנות ולבצע שינויים. היכולת לבצע כמה פעולות ברצף היא גם היתרון העסקי שלהם: משימה שבעבר דרשה מעובד לחפש מידע ולעבור בין מערכות יכולה להתבצע באופן אוטומטי. אותה יכולת עלולה להרחיב את ההשפעה של טעות אחת.
האירוע מצטרף לדיון שכבר התעורר בעקבות דיווחים על חריגה של סוכנים אוטומטיים מהמשימות שהוגדרו להם. ההשלכה המעשית עבור ארגונים היא שהוראה כתובה למודל אינה מספיקה לבדה. צריך להגביל גם את האתרים שאליהם הוא יכול להתחבר, את החשבונות שבהם הוא משתמש ואת הפעולות שהוא רשאי לבצע. כך, גם אם המודל טועה, טווח הפעולה שלו נשאר מוגבל.
- יממה שלמה של התרעה מוקדמת יותר: המודל שמנבא הוריקנים טוב יותר מהמערכות המבצעיות
- הפרסומות בצ'אטGPT בדרך לארץ: עסקים ישראליים כבר יכולים לקנות מודעות
מה המקרה מגלה על החברות שנפרצו
יש כאן פרט שקל לפספס. באחד המקרים המודל לא מצא פרטי גישה ברשת אלא ניחש אותם, והניחוש הצליח. כלומר בצד השני ישב שירות אמיתי שאפשר היה להיכנס אליו בניחוש. בשני המקרים האחרים פרטי הגישה היו זמינים ברשת ממילא. שלושת האירועים לא דרשו פריצה מתוחכמת, אלא בדיוק את מה שתוקף מנוסה מנסה בשלב הראשון.
זה משנה את זהות מי שהאירוע נוגע לו. ארגון שסבור שאין לו מה לחשוש מסוכנים אוטומטיים מפני שהוא אינו מפעיל אותם מפספס את הצד השני של המשוואה: הוא יכול להיות היעד. סיסמה שאפשר לנחש, או מפתח גישה שנשכח באיזה מאגר ציבורי, היו בעיה גם קודם. ההבדל הוא שעכשיו יש מי שסורק אותם בקצב אחר לגמרי, ובלי להתעייף.
