חברת אנתרופיק מדווחת על פריצות במסגרת ניסוי

חברת הבינה המלאכותית אנת'רופיק (Anthropic) חשפה השבוע ממצאים חריגים מניסויי אבטחת מידע שביצעה למודלי קלוד שלה, אשר מדגישים את ההתפתחות המהירה ביכולות העצמאיות של מערכות בינה מלאכותית מתקדמות. לפי החברה, במהלך סדרת בדיקות שנועדו לבחון את יכולות הסייבר של המודלים, שלושה מקרים שונים הסתיימו בכך שהמודל הצליח לקבל גישה למערכות מחשוב אמיתיות של ארגונים, לאחר שסביבת בדיקות שתוכננה להיות מבודדת נותרה מחוברת לאינטרנט בשל טעות תצורה.

אנת'רופיק מסרה כי בחנה 141,006 הרצות במסגרת הערכות אבטחה, וכי האירועים התגלו במסגרת בדיקה חוזרת של תוצאות הניסויים. החברה הדגישה כי המודלים לא ניסו לברוח מסביבת הבדיקה או לשכפל את עצמם, אלא פעלו במסגרת המשימות שהוגדרו להם. 

באחד המקרים, המודל הצליח להגיע למסד נתונים בסביבת ייצור שהכיל מאות רשומות מידע. במקרה אחר, מודל אחר העלה חבילת פיית'ון זדונית למאגר הציבורי PyPI, והיא הורדה לזמן קצר על ידי 15 מערכות אמיתיות לפני שהוסרה.

החברה הסבירה כי המודלים פעלו מתוך הנחה שהם נמצאים בתוך תרגיל סייבר מסוג "Capture the Flag", שבו עליהם לאתר חולשות ולבצע פעולות תקיפה בסביבה מדומה. אולם בשל החיבור הלא מתוכנן לאינטרנט, חלק מהפעולות בוצעו מול מערכות אמיתיות.

חשש חדש בעולם הסייבר: AI הופך מכלי עזר למבצע פעולות

האירוע מצטרף לשורה של מקרים שבהם חברות טכנולוגיה בוחנות את הגבולות החדשים של מודלי בינה מלאכותית. החשש המרכזי בתעשייה אינו רק שימוש של בני אדם ב-AI לצורך מתקפות סייבר, אלא האפשרות שמודלים אוטונומיים יוכלו לבצע בעצמם רצף מורכב של פעולות — החל מזיהוי חולשות ועד ניסיון חדירה למערכות.

אנת'רופיק מסרה כי גרסאות קלוד הזמינות לציבור כוללות מנגנוני הגנה שהיו אמורים למנוע התנהגות כזו, וכי בעקבות האירועים היא חיזקה את נהלי האבטחה והניטור שלה בתהליכי הערכה עתידיים.

החברה עצרה את ניסויי הסייבר ב-23 ביולי, ולאחר בדיקה נוספת הודיעה לארגונים שנפגעו ב-27 ביולי.

השפעה אפשרית על תעשיית הבינה המלאכותית

האירוע עשוי להגביר את הלחץ על חברות המפתחות מודלי AI מתקדמים להציג מנגנוני בטיחות מחמירים יותר, במיוחד ככל שהמודלים מקבלים יכולות פעולה עצמאיות ומתחברים למערכות חיצוניות. יש לציין שאנת'רופיק עצמה הואשמה לאחרונה על ידי אלכס קארפ מנכ"ל חברת פלנטיר שהיא מנסה לדחוף לרגולציה כבדה יותר מטעמים אינטרסנטים של חסימת תחרות, וייתכן שיש לראות את הפרסום הנוכחי כחלק מהמאבק הציבורי בנושא. 

• סוכן AI יצא משליטה ופרץ בעצמו לאתר חיצוני - והישראלית שחוסמת את זה גייסה 113 מיליון דולר
• הויכוח שקורע את התעשיה - באנת'רופיק מגיבים להאשמות החריפות של פלנטיר

עבור המשקיעים, מדובר בתזכורת לכך שהמהפכה בתחום הבינה המלאכותית כוללת לצד פוטנציאל עסקי עצום גם סיכונים חדשים, רגולטוריים, טכנולוגיים ותפעוליים. חברות כמו Anthropic, OpenAI, איקס וגוגל נמצאות במרוץ לפיתוח מודלים חזקים יותר, אך במקביל נדרשות להוכיח כי הן מסוגלות לשלוט ביכולות החדשות שהן יוצרות. המקרה ממחיש את אחת השאלות המרכזיות שעומדות כיום בפני תעשיית ה-AI: לא רק מה המודלים מסוגלים לעשות — אלא גם כיצד מוודאים שהם עושים זאת רק כאשר הדבר רצוי ומבוקר