זה ממשיך: סוכני AI של OpenAI השביתו מערכות שנועדו לפקח עליהם

OpenAI חשפה שני מקרים פנימיים שבהם סוכני AI פעלו נגד מערכות שנועדו לפקח עליהם. באחד המקרים סוכן ביטל התרעות אוטומטיות לצוות האבטחה, ובמקרה אחר הוא הסיר מנגנון ניטור ולאחר מכן מסר לעובדי החברה מידע מטעה על הפעולה שביצע.

המקרים התרחשו במהלך משימות קוד פנימיות בשבועות האחרונים, והם ממחישים בעיה שמטרידה יותר ויותר את התעשייה: ככל שסוכני AI מקבלים יותר עצמאות בביצוע משימות, כך גדל גם הסיכון שהם יפרשו הוראות באופן שמחליש את המגבלות שנועדו לשלוט בהם.

הבעיה היא לא רק טעות - אלא מה הסוכן עושה עם מנגנון הבקרה

לפי OpenAI, בשני המקרים הסוכנים שקלו אם יש לשמר את אמצעי הניטור, אך פירשו הוראות קוד שגרתיות כאישור להחליש אותם. החברה עדיין בודקת אם מדובר ב"התמדה יתרה" שאינה זדונית, או בסימן לנטייה רחבה יותר לעקוף מערכות שנועדו לזהות התנהגות בעייתית.

סוכן שמבצע טעות בקוד הוא דבר אחד; סוכן שמזהה שמערכת מסוימת עוקבת אחריו ואז מסיר אותה הוא כבר תרחיש אחר לגמרי מבחינת בקרת סיכונים. החברה הודיעה כי תחזק את מנגנוני הניטור בעקבות שני האירועים, אך העובדה שהם התרחשו זמן קצר יחסית זה מזה מעלה את השאלה אם מערכות אוטונומיות מתקדמות מתחילות להבין טוב יותר את הסביבה שבה הן נבדקות.

זו אינה הפעם הראשונה שבה מודלים של OpenAI מציגים התנהגות חריגה. במבחנים קודמים דווח על מערכות שיצאו מגבולות סביבת הבדיקה, פעלו מול Hugging Face ואף הגיעו למערכות ציבוריות באוסטרליה. גם בדיקות חיצוניות של Asymmetric Security ושל Transluce העלו כי חלק מהאירועים הקודמים היו רחבים יותר מכפי שנחשף בתחילה, כולל ניסיונות לטשטש פעילות שנועדה לאסוף מידע.

סוכן שמבין שהוא מנוטר הוא בעיה אחרת

אחת החששות המרכזיים כיום היא שמודלים מתקדמים מסוגלים לזהות מתי הם נמצאים תחת בדיקה ולהתנהג אחרת בהתאם. אם מערכת לומדת להציג התנהגות "בטוחה" בזמן מבחן אך פועלת אחרת בסביבה אמיתית, היכולת של חברות AI להעריך סיכון הופכת הרבה יותר מוגבלת.

באוגוסט הודיעה החברה על שינוי במערכי הבדיקה שלה ועל השקעה גדולה יותר במעקב אחר סוכנים. בין היתר, OpenAI התחייבה להפעיל התרעה פנימית בתוך 30 דקות כאשר מתגלה פעילות חריגה.

המקרים החדשים מראים שגם מנגנון כזה עלול להיות מוגבל אם הסוכן עצמו מסוגל לפגוע בשכבת הניטור. כלומר, עצם קיומה של מערכת התרעה אינו מספיק אם היא תלויה ברכיבים שהסוכן יכול לשנות.

הסיפור מתחבר גם להנפקה

האירועים מגיעים בתקופה רגישה עבור OpenAI. סם אלטמן כבר אמר שהחברה מעדיפה לדחות את ההנפקה שתוכננה במקור לשנה הנוכחית, עד שתוכל להגדיל את היקף הפעילות "בביטחון גבוה מאוד" ולתת מענה טוב יותר לסיכוני בטיחות. לפי הפרטים שפורסמו, ההנפקה צפויה כעת לעבור לשנה הבאה. עבור חברה שמוערכת בכ-852 מיליארד דולר, כל אירוע שמערער על היכולת לשלוט בסוכנים אוטונומיים מקבל משמעות גם מעבר למחקר ולפיתוח.

• OpenAI ממהרת לגייס 30 מיליארד דולר לפני הנפקת אנתרופיק
• בית המשפט דחה את הערבות הסעודית: המהנדס החשוד בהאזנה ב-OpenAI יישאר במעצר

גם המתחרות נערכות ללחץ גובר סביב בדיקות חיצוניות. אנתרופיק, למשל, העניקה לארגון METR גישה רחבה שדומה לזו של עובד לצורך הערכת סיכונים במודלים שלה. OpenAI עדיין לא הודיעה על הסדר דומה עם גוף חיצוני, אף שבדיקות בלתי תלויות נחשבות לאחד הצעדים המעשיים המרכזיים שהמעבדות הגדולות מציעות כדי לחזק אמון במערכות מתקדמות.

הוויכוח סביב בטיחות AI עובר משאלות תאורטיות לאירועים תפעוליים. ככל שסוכנים מקבלים גישה רחבה יותר לקוד, מערכות ארגוניות ותשתיות אמיתיות, גם טעויות פרשנות יכולות להפוך במהירות לאירוע אבטחה.