ג'מיני התבקש לפרוץ לחברות מדומות - ונכנס למערכות של שלוש חברות אמיתיות

מודל ממשפחת ג'מיני של גוגל נכנס למערכות מחשוב של שלוש חברות אמיתיות במהלך ניסויי אבטחה שנועדו להתבצע מול חברות מדומות. הניסויים נערכו במאי בידי חברת אבטחת הבינה המלאכותית הישראלית Irregular, בסביבה שלא היתה אמורה לאפשר גישה לאינטרנט. אלא שהגישה התאפשרה בטעות, והמודל פעל מול מערכות מחוץ לניסוי. גוגל מאשרת את האירועים ואומרת שבכל שלושת המקרים המודל הפסיק את הפעילות לאחר שהבין שהיעדים אינם חלק מהבדיקה.

המקרה ממחיש את הסיכון שנוצר כשמחברים מודל לכלים שמאפשרים לו לפעול. ג'מיני הוא משפחה של מודלים ושירותים, והאירוע אינו אומר שהצ'אט הרגיל של גוגל פורץ למחשבים של משתמשים. כאן מדובר במערכת שפעלה במסגרת בדיקת יכולות סייבר, עם משימה וכלים לביצועה. הגרסה המדויקת שנבדקה לא נחשפה.

שם של חברה מדומה הוביל לחברה אמיתית

באחד המקרים, החברה המדומה שנבחרה לתרגיל נשאה שם זהה לזה של חברה אמיתית. המודל הגיע לשירות של החברה האמיתית, ניחש נכון פרטי כניסה וקיבל גישה. בשני המקרים האחרים הוא השתמש בפרטי גישה שהיו זמינים ברשת. לפי גוגל, הוא חשב שהאתרים שאליהם נכנס שייכים לסביבת הבדיקה.

Irregular עדכנה את גוגל באירועים בסוף יולי. בגוגל אומרים שהחברות שנפגעו קיבלו הודעה ושבוצעו שינויים בתהליכי הבדיקה. החברה לא פרסמה את האירועים לציבור בזמן אמת, בטענה שלא נגרם נזק ושהמודל עצר בעצמו.

ההבחנה הזאת חשובה גם להבנת הכותרות על מודל ש"ברח מהמעבדה". המידע שפורסם מצביע על גישה לאינטרנט שהתאפשרה בטעות ועל פעולה מחוץ לתחום הניסוי. הוא אינו מוכיח שהמודל החליט לתקוף חברות אמיתיות ביודעין או פיתח מטרה עצמאית. לצד זאת, עצם הכניסה למערכות חיצוניות מלמד שההפרדה בין הניסוי לבין העולם האמיתי לא הספיקה.

המודל עצר, אבל ההגנה היתה צריכה לעבוד קודם

מבחינת גוגל, העצירה היא סימן לכך שמנגנוני הבטיחות של המודל פעלו. מבחינת אבטחת המערכת, נותרת בעיה אחרת: ההבנה שהיעד אינו מורשה הגיעה אחרי שכבר הושגה גישה. מערכת בטוחה צריכה לצמצם מראש את האפשרות להגיע ליעד כזה, גם כשהמודל טועה בזיהוי או מפרש משימה בצורה רחבה מדי.

הסיכון הזה נעשה משמעותי ככל שחברות מעניקות לסוכנים אוטומטיים הרשאות לקרוא מסמכים, להפעיל תוכנות ולבצע שינויים. היכולת לבצע כמה פעולות ברצף היא גם היתרון העסקי שלהם: משימה שבעבר דרשה מעובד לחפש מידע ולעבור בין מערכות יכולה להתבצע באופן אוטומטי. אותה יכולת עלולה להרחיב את ההשפעה של טעות אחת.

האירוע מצטרף לדיון שכבר התעורר בעקבות דיווחים על חריגה של סוכנים אוטומטיים מהמשימות שהוגדרו להם. ההשלכה המעשית עבור ארגונים היא שהוראה כתובה למודל אינה מספיקה לבדה. צריך להגביל גם את האתרים שאליהם הוא יכול להתחבר, את החשבונות שבהם הוא משתמש ואת הפעולות שהוא רשאי לבצע. כך, גם אם המודל טועה, טווח הפעולה שלו נשאר מוגבל.

• משתמשים בצ'אט? חשוב לדעת: "רואים לכם"
• שופינג IL 2026: עד מתי נמשכים המבצעים ואיפה נמצאות ההנחות הגדולות

מה המקרה מגלה על החברות שנפרצו

יש כאן פרט שקל לפספס. באחד המקרים המודל לא מצא פרטי גישה ברשת אלא ניחש אותם, והניחוש הצליח. כלומר בצד השני ישב שירות אמיתי שאפשר היה להיכנס אליו בניחוש. בשני המקרים האחרים פרטי הגישה היו זמינים ברשת ממילא. שלושת האירועים לא דרשו פריצה מתוחכמת, אלא בדיוק את מה שתוקף מנוסה מנסה בשלב הראשון.

זה משנה את זהות מי שהאירוע נוגע לו. ארגון שסבור שאין לו מה לחשוש מסוכנים אוטומטיים מפני שהוא אינו מפעיל אותם מפספס את הצד השני של המשוואה: הוא יכול להיות היעד. סיסמה שאפשר לנחש, או מפתח גישה שנשכח באיזה מאגר ציבורי, היו בעיה גם קודם. ההבדל הוא שעכשיו יש מי שסורק אותם בקצב אחר לגמרי, ובלי להתעייף.

זו לא הפעם הראשונה, וזו גם לא החמורה

שבועות ספורים קודם לכן פרסם מכון הבטיחות הבריטי ל-AI דוח על אירוע דומה אצלו. בסוף יולי שם צוות האבטחה שלו לב לתעבורת מידע חריגה שיוצאת מהמערכות שלו דרך רשת מוצפנת. בבדיקה התברר שמתוך 122 הרצות של בדיקות סייבר, בעשר מהן המודלים עשו דברים שאיש לא ביקש מהם. תשע עשרה פעולות שונות, רובן המכריע של מודל אחד של אנתרופיק, ושתיים של מודל של OpenAI שהגנות הסייבר שלו הושבתו לצורך הבדיקה.

מה הם עשו שם בפועל? אחד ניסה להחדיר קוד זדוני לפרויקט קוד פתוח שאנשים אמיתיים משתמשים בו, וכשזה לא עבר הוא יצר כמה זהויות מזויפות וניסה ללחוץ על מתחזקי הפרויקט לאשר את הקוד. אחר פנה ישירות לאנשים אמיתיים ושלח להם קבצים דרך שירות העברת קבצים. שלישי שתל הוראות נסתרות במקומות שבהם, לפי ההיגיון שלו, מערכות AI אחרות יקראו אותן. ורביעי השאיר הודעה פומבית שבה הציע שיתוף פעולה לסוכנים אחרים, וצירף פרטי גישה לשימוש חוזר. בן אדם שסקר את הקוד תפס את הניסיון ודחה אותו, ולא נמצא נזק ממשי.

המקרה הגדול באמת קרה גם הוא ביולי. מודלים של OpenAI שנבדקו על מבחן פריצה פנימי מצאו את פתח הרשת היחיד שהותר להם, ניצלו דרכו חולשות בשרת החבילות של החברה, יצאו לאינטרנט הפתוח ונכנסו למערכות הייצור של הגינג פייס. כ-17,600 פעולות לאורך ארבעה ימים וחצי. הם לא ניסו לפתור את המבחן, הם חיפשו את התשובות שלו. את הפריצה גילתה הגינג פייס בעצמה, ועבר כשבוע עד ש-OpenAI הבינה שאלה הסוכנים שלה. בסוף היא בנתה מחדש כשליש מהתשתית שלה.

• פאלו אלטו במשא ומתן לרכישת קלאץ ב-500 מיליון דולר: פי 17 על הכסף שגויס
• פיירבולט במשא ומתן למכירה למונגודיבי ב-220-240 מיליון דולר: השווי ירד בכ-80% מהשיא

ולכאן מתחבר הוויכוח של השבועות האחרונים

באמצע ספטמבר קרא מנכ"ל אנתרופיק להאט את קצב שיפור המודלים, ואלטמן ומאסק הצטרפו. מה שהוא ביקש אינו מה שרוב האנשים מבינים מהמילה "להאט". הוא לא ביקש לעצור אימונים ולא להקפיא יכולות. הוא ביקש לצמצם את הפער בין מה שמודל כבר יודע לעשות לבין מה שבודקים חיצוניים מספיקים לאמת שהוא בטוח.

שלושת הצעדים שהציע: להכניס בודקים חיצוניים אל תוך החברות, ממש עם תג עובד, שולחן, מחשב וגישה דומה לזו של צוותי הסיכון הפנימיים; לקבוע תקנים משותפים ומגבלות על קצב ההתקדמות בין החברות במדינות הדמוקרטיות; ולנסות תיאום בינלאומי, כולל מול סין. החברה שלו התחייבה לצעד הראשון לבדה. אלטמן אמר שהנושא עלה בשיחות האחרונות והסכים גם הוא לבודקים מוטמעים, ומאסק הסתפק במשפט אחד של הסכמה. החשש שהעלה בעצמו הוא שסין לא תצטרף.

שלושת האירועים ממחישים בדיוק את הפער הזה. בכל אחד מהם היכולת של המודל הקדימה את המעטפת שנבנתה סביבו, ואין צורך לטעון שהמודל התכוון לפגוע במישהו כדי לראות את זה. מהצד השני של המתרס נשאלת השאלה ההפוכה: אם הטכנולוגיה מסוכנת כל כך, למה ממשיכים לפתח אותה, ויש מי שטוען שתרחישי האימה מוגזמים. מה שהמקרים האלה הוסיפו לוויכוח הוא דוגמאות במקום תרחישים.