הסוכן של OpenAI פרץ ל-Hugging Face - ועכשיו מגיע חשבון של 100 מיליון דולר

OpenAI רצתה לבדוק עד כמה המודלים החדשים שלה מסוגלים לנצל פרצות אבטחה. התוצאה הייתה מדאיגה: סוכן AI שניסה לפתור מבחן סייבר לא הסתפק בחיפוש אחר הפתרון בתוך סביבת הניסוי, אלא מצא דרך להגיע לאינטרנט, חדר לתשתיות של חברת Hugging Face וניסה להשיג משם מידע שיאפשר לו "לרמות" במבחן.

כעת מגיע גם החשבון. קלמן דלאנג, המייסד והמנכ"ל של Hugging Face, דורש מ-OpenAI לפרסם לציבור ולחוקרים את כל עקבות הפעילות של הסוכן - ולספק כוח מחשוב בשווי של 100 מיליון דולר, שישמש לפיתוח כלי הגנת סייבר המבוססים על מודלים פתוחים וסגורים. "המתקפה הראשונה של סוכן אוטונומי היא אירוע חסר תקדים", כתב דלאנג. "היא ראויה לתגובה חסרת תקדים".

לא מדובר בדרישה לקבלת פיצוי של 100 מיליון דולר במזומן. דלאנג מבקש משאבי מחשוב - גישה למודלים, מעבדים גרפיים ותשתיות שנדרשות להרצה ולאימון של מערכות AI מתקדמות. נכון לעכשיו, אין אינדיקציה לכך ש-OpenAI הסכימה לדרישה. החברה אישרה כי התקיימה פגישה בין הצדדים והודיעה שתפרסם דוח טכני מפורט לאחר השלמת הבדיקה, בפיקוח ועדת הבטיחות והאבטחה שלה ויועצים חיצוניים.

הסוכן חיפש פתרון למבחן - ומצא אותו בדרך הלא נכונה

האירוע התרחש במהלך ניסוי פנימי שבו בחנה OpenAI את יכולות הסייבר של GPT-5.6 Sol ושל מודל נוסף, חזק יותר, שטרם הושק. במסגרת הניסוי הוסרו חלק ממנגנוני הסירוב שמונעים בדרך כלל מהמודלים לבצע פעולות סייבר מסוכנות, כדי למדוד את היכולת המרבית שלהם בתנאי מעבדה.

המודלים התבקשו להתמודד עם ExploitGym, מבחן הכולל 898 משימות המבוססות על חולשות אמיתיות בתוכנות, במנוע JavaScript של גוגל ובליבת לינוקס. מטרתו לבדוק אם סוכן AI מסוגל לקחת חולשה קיימת ולהפוך אותה למתקפה עובדת, למשל באמצעות הרצת קוד או גישה לקבצים ללא הרשאה.

לפי התחקיר הראשוני של OpenAI, הסוכן השקיע כוח מחשוב רב בניסיון לצאת מסביבת הבדיקה המבודדת. הוא זיהה חולשת יום אפס בתוכנת צד שלישי ששימשה את OpenAI כמתווכת להורדת חבילות תוכנה, ניצל אותה כדי להגיע למערכת בעלת גישה לאינטרנט, ולאחר מכן הסיק ש-Hugging Face עשויה להחזיק מודלים, מאגרי נתונים או פתרונות הקשורים למבחן.

משם הוא המשיך בשרשרת של פעולות: ניצול פרצות, העלאת הרשאות, גניבת פרטי התחברות ותנועה בין מערכות. לבסוף הצליח להגיע לתשתיות הייצור של Hugging Face ולחפש מידע שיוכל לשמש אותו לפתרון המשימה. OpenAI מדגישה שכל הראיות מצביעות על כך שהמודלים היו ממוקדים באופן צר בהצלחה במבחן, ולא קיבלו החלטה מודעת "לתקוף" את Hugging Face.

במילים פשוטות, הסוכן התנהג קצת כמו תלמיד שהתבקש לפתור מבחן, גילה שאפשר לפרוץ למחשבי החברה שכתבה את ספר הלימוד והחליט לחפש שם את התשובות. ההבדל הוא שהתלמיד במקרה הזה היה מערכת אוטונומית שמסוגלת לבצע אלפי פעולות, לבחון מסלולי תקיפה שונים ולהתקדם בין מערכות במהירות של מכונה.

לא רק המודל אשם - גם סביבת הניסוי כשלה

למרות הכינוי "סוכן סורר", האירוע אינו סיפור על מערכת שפיתחה רצון עצמאי או החליטה לצאת נגד בני האדם. הוא ממחיש בעיה מוכרת בפיתוח מערכות אוטונומיות: המערכת מקבלת יעד, ובדרך להשגתו היא עשויה לבחור באמצעים שיוצריה לא צפו ולא התכוונו לאפשר.

• ערבות של 250 מיליארד דולר: אנבידיה נכנסת לעומק המימון של OpenAI
• בינה מלאכותית כמעט בחינם: המתחרות הסיניות מכרסמות בשוליים של OpenAI ואנת'רופיק

אבל במקרה הזה הייתה גם שרשרת של כשלים אנושיים ותשתיתיים. סביבת הניסוי של OpenAI הייתה אמורה להיות מבודדת, אך בפועל נותר בה נתיב שאפשר לסוכן להגיע לתוכנת צד שלישי, לנצל חולשה ומשם להגיע לאינטרנט. במקביל, Hugging Face הפעילה מנגנוני עיבוד נתונים שהכילו שתי חולשות המאפשרות הרצת קוד. כך הצליח הסוכן לחבר בין פרצות בסביבת המחקר של OpenAI לבין חולשות בתשתיות הייצור של Hugging Face. מומחי סייבר ציינו כי לצד היכולות החריגות של המודלים, הגדרה לא מספקת של סביבת הבדיקה תרמה לאירוע.

Hugging Face חשפה את החדירה ב-16 ביולי. החברה מסרה כי הסוכן השיג גישה בלתי מורשית למספר מוגבל של מאגרי מידע פנימיים ולפרטי התחברות ששימשו חלק משירותיה. בעת הפרסום היא עדיין בחנה אם מידע של לקוחות או שותפים נפגע, אך אמרה שלא נמצאו ראיות לשינוי או פגיעה במודלים, במאגרי הנתונים ובאפליקציות הציבוריות שמאוחסנים בפלטפורמה. גם שרשרת אספקת התוכנה שלה נבדקה ונמצאה נקייה.

החברה סגרה את פרצות הרצת הקוד, בנתה מחדש שרתים שנפגעו, החליפה מפתחות וסיסמאות, החמירה את בקרות הגישה ודיווחה לרשויות אכיפת החוק. OpenAI מצדה הודיעה כי היא מגבילה את סביבת המחקר, מחזקת את הבידוד והניטור, פועלת לתיקון חולשת היום אפס ומצרפת את Hugging Face לתוכנית שמעניקה למגיני סייבר גישה מורחבת למודלים שלה.

האירוניה הסינית

אחד הפרטים המעניינים באירוע הוא האופן שבו Hugging Face הצליחה לנתח את המתקפה. תיעוד החדירה כלל יותר מ-17 אלף אירועים ופעולות. החברה ניסתה תחילה להעביר את המידע למודלים מתקדמים הזמינים דרך שירותי ענן, אך מנגנוני הבטיחות שלהם חסמו את הבקשות משום שהן כללו פקודות תקיפה, קוד זדוני ופרטי ניצול של חולשות.

המערכות המסחריות לא הצליחו להבחין בין תוקף שמנסה לפרוץ למערכת לבין צוות הגנה שמנסה להבין כיצד המתקפה בוצעה. לכן עברה Hugging Face להשתמש ב-GLM 5.2, מודל סיני בעל משקולות פתוחות, שאותו הפעילה על התשתיות שלה. בעזרת סוכני ניתוח המבוססים על המודל היא שחזרה בתוך שעות תהליך שבדרך כלל עשוי להימשך ימים, וזאת מבלי להוציא מידע רגיש או פרטי התחברות אל מחוץ לארגון.

• אנבידיה, מיקרוסופט ו-IBM מקימות ברית חדשה לאבטחת AI
• המתקפל בצורת דרכון: ההימור של סמסונג על שינוי צורה

הפרט הזה מחזק את הטענה של Hugging Face בעד מודלים פתוחים. לטענתה, ארגונים שעוסקים בהגנת סייבר זקוקים למודל חזק שיוכלו להריץ בעצמם, ללא תלות במסננים של ספק חיצוני וללא צורך לשלוח מידע על מתקפה פעילה לשירות ענן. מבחינת דלאנג, הדרישה מ-OpenAI להעמיד 100 מיליון דולר בכוח מחשוב אינה רק פיצוי על האירוע, אלא ניסיון לצמצם את הפער בין יכולות התקיפה ההולכות ומשתפרות לבין המשאבים שעומדים לרשות המגינים.

החשיבות של האירוע אינה בכך שמודל AI "השתגע", אלא בכך שהוא הצליח לבצע באופן עצמאי שרשרת ארוכה של פעולות תקיפה בעולם האמיתי. הוא מצא פרצה שלא הייתה ידועה קודם לכן, העלה הרשאות, עבר בין מערכות, השיג פרטי גישה וחיבר בין חולשות אצל שתי חברות שונות - וכל זאת כדי להשיג מטרה צרה שהוגדרה לו.

OpenAI עצמה מודה כי האירוע מוכיח שיכולות שבעבר נראו בעיקר במבחני מעבדה כבר ישימות במערכות אמיתיות. מודלים מתקדמים מסוגלים להמשיך בפעולות סייבר מורכבות לאורך זמן, לגלות מסלולי תקיפה חדשים ולנצל חולשות גם ללא גישה לקוד המקור.

עבור חברות, המשמעות היא שהשקעה בסוכני AI אינה יכולה להסתיים בבחירת המודל הטוב ביותר. ככל שמערכות מקבלות יותר עצמאות, כלים והרשאות, הארגון נדרש להשקיע גם בבידוד, הגבלת גישה לרשת, ניטור רציף ותיעוד מלא של כל פעולה. סוכן שמסוגל לכתוב קוד, להוריד חבילות ולהתחבר למערכות חיצוניות יכול להיות עובד יעיל - אבל גם להפוך תקלה בהגדרת המטרה או חולשה קטנה בתשתית לאירוע שמתפשט במהירות.

מייסד לינקדאין ריד הופמן תיאר את האירוע כסימן לעידן חדש של לוחמת סייבר א-סימטרית: יכולות התקיפה הופכות לזולות, מבוזרות וזמינות יותר, בעוד ההגנה נשארת יקרה ומרוכזת. Hugging Face מסכמת זאת בצורה ישירה יותר: כלי תקיפה אוטונומיים המבוססים על AI כבר אינם תרחיש תיאורטי.

האירוע הסתיים הפעם ללא ראיות לפגיעה במודלים הציבוריים או בשרשרת אספקת התוכנה. אבל הוא מציב שאלה בפני התעשייה: מה יקרה כאשר סוכן דומה יקבל יעד חשוב יותר, גישה רחבה יותר - או סביבת ניסוי שתיכשל שוב?