המשותף לסוכני ה-AI שתקפו אתרים אמיתיים: חברה ישראלית שאמורה הייתה להגן על סביבת הבדיקה

אירגיולר הישראלית מופיעה שוב ושוב ברצף אירועי הסייבר שנחשפו בחודשים האחרונים אצל גוגל, מטא, אנתרופיק וגם באחד ממבחני OpenAI. החברה בונה עבור מעבדות ה-AI סביבות שבהן מודלים מקבלים משימות תקיפה, מחפשים חולשות ופועלים בצורה עצמאית, במטרה לבדוק את היכולות שלהם לפני שימוש רחב. בכמה מהבדיקות הסביבה שאמורה הייתה להיות סגורה אפשרה בפועל גישה לאינטרנט.

גוגל הפעילה במאי את ג'מיני במבחני סייבר שבהם הסוכן נדרש להגיע למידע בתוך חברה פיקטיבית. בשלושה מקרים השמות ששימשו בתרגיל הובילו אותו לחברות אמיתיות. במקרה אחד הוא ניחש סיסמה ובשני מקרים נוספים השתמש בפרטי גישה שמצא במאגרים ציבוריים. גוגל מסרה שהמודלים עצרו כשהבינו שהם פועלים מול מערכות אמיתיות, והחברות שנפגעו קיבלו הודעה על האירועים.

ג'מיני פעל בסביבת הערכה שנועדה להגדיר את גבולות הפעילות שלו, אך בפועל נמצא נתיב החוצה. אירגיולר מסרה כי עדכנה את מעבדות ה-AI הרלוונטיות בסוף יולי וכי התקלות המוכרות מצדה טופלו. האירועים של גוגל התרחשו קודם לכן, בעוד שהפרסום שלהם הגיע בספטמבר.

אנתרופיק בדקה כ-141 אלף הרצות ומצאה תחילה שלושה מקרים שבהם קלוד הגיע למערכות אמיתיות מתוך סביבת הערכה של אירגיולר. בספטמבר החברה עדכנה על תקרית רביעית, מוקדמת יותר, מאותה סביבת הערכה. במקרים האלה המודל קיבל הסבר שלפיו הוא פועל בתוך סימולציה, בזמן שהמערכת אפשרה בפועל גישה לאינטרנט.

באחד האירועים קלוד יצר חבילת פייתון זדונית והעלה אותה למאגר ציבורי. במהלך כשעה היא הותקנה על 15 מערכות אמיתיות, ובאחת מהן הצליח הקוד להשיג פרטי גישה ולהגיע לתשתית נוספת של חברת אבטחה. במקרה אחר מודל סרק בערך 9,000 מטרות עד שמצא מערכת אמיתית שניתן לחדור אליה. אירוע נוסף כלל גישה למסד נתונים שבו מאות שורות של מידע. אנתרופיק ציינה בהמשך שגם התנהגות המודלים דורשת שיפור, בעיקר במקרים שבהם הופיעו סימנים לכך שהמערכת שמולם אמיתית והמודל המשיך בביצוע המשימה.

באוגוסט היה אירוע של מודל של מטא שהגיע במהלך מבחן למערכת של חברה חיצונית. מטא מסרה כי אירגיולר סיפקה סביבת הערכה שבה שגיאת תצורה פתחה למודל גישה לאינטרנט. אירגיולר הסבירה שמדובר באותה בעיה שכבר התגלתה בבדיקות של אנתרופיק.

OpenAI דיווחה על אירוע נוסף בסביבת אירגיולר. מודל שהתבקש לתקוף יעד פיקטיבי הגיע לדומיין אמיתי בעל שם זהה, ניצל חולשה בסיסית והשתמש בפרטי גישה שמצא. האירוע היה נפרד מהחדירה של OpenAI ל-Hugging Face.

אירגיולר הוקמה ב-2023 בידי דן להב ועומר נבו וגייסה 80 מיליון דולר בהובלת סקויה ורדפוינט. לפי דיווחים סביב סבב הגיוס, השווי עמד על כ-450 מיליון דולר. החברה הפכה בתוך זמן קצר לשחקנית מרכזית בבדיקות בטיחות וסייבר של מודלי AI מתקדמים ועובדת עם כמה מהמעבדות הגדולות בעולם.

החברה מסבירה שמספר התקריות נבעו מתקלה בסיסית אחת בסביבת ההערכה, כך שכמה אירועים היו ביטויים שונים של אותה בעיה. האחריות מתחלקת גם עם מעבדות ה-AI, שקובעות את הוראות המודל, את שכבות ההגנה שמופעלות במהלך המבחן ואת גבולות המשימה. אנתרופיק עצמה ציינה כי בדיקות מוקדמות יותר של חיבורי הרשת וניטור רציף של פעולות הסוכן היו יכולים לצמצם את הסיכון.

הריכוז של כמה אירועים סביב אירגיולר מציב את החברה במוקד הדיון. השירות שהיא מספקת נועד לבחון מודלים חזקים בסביבה מבוקרת, ובכמה מבחנים של גוגל, מטא, אנתרופיק ו-OpenAI נוצר בפועל חיבור למערכות אמיתיות. אירגיולר טוענת שהכשל המשותף כבר טופל ושיתוף הפעולה עם החברות נמשך ואף התרחב.

רצף המקרים יכול היה אולי ליטוע את האשליה שמדובר בתקלה נקודתית בעלת פתרון קל. למעשה העובדות מראות שמדובר בבעיה קריטית ורחבה בהרבה. כך לדוגמה, בפריצה ל-Hugging Face, שעליה דווח לפני חודשיים, סביבת הבדיקה הייתה של OpenAI עצמה. הסוכן מצא חולשת יום אפס, ניצל אותה, הגיע לאינטרנט והמשיך לתשתיות של Hugging Face. האירוע הזה מראה שסוגיית הבידוד קיימת גם מחוץ לסביבות של אירגיולר, ושמודלים שמקבלים יכולות סייבר רחבות מסוגלים למצוא מסלולים שהמתכננים שלהם פספסו.