סוכני AI זיהו את המלכודת, ואז נפלו בה: כך נעקפו מנגנוני הבטיחות

ככל שחברות נותנות לבינה מלאכותית יותר עצמאות, שאלת הבטיחות עוברת מהתשובה שהמודל מייצר לפעולה שהוא מבצע. מחקר חדש של Emergence AI ממחיש את הפער הזה: סוכנים יכולים לזהות מידע מסוכן, לסמן אותו ככזה ובכל זאת לפעול לפיו מאוחר יותר.

החוקרים הפעילו שמונה קבוצות של סוכני AI בתוך סביבת סימולציה מתמשכת. שבע מהקבוצות הורכבו מעשרה סוכנים שהתבססו על אותו מודל, ובקבוצה השמינית שולבו מודלים שונים. בין המודלים שנבדקו היו Claude, Gemini, Grok, GPT, Qwen, DeepSeek ו-Mistral.

הסוכנים לא הסתפקו במענה לשאלות. הם קיבלו זיכרון מתמשך, גישה לכלים, יכולת לתקשר זה עם זה, לתכנן משימות, לקבל החלטות ולהמשיך לפעול לאורך זמן.

החוקרים חשפו את הקבוצות לשלושה סוגים של איומים: פישינג, מידע מטעה וניסיונות לפגוע או להשפיע על הזיכרון שלהן. אף אחת משמונה הקבוצות לא עברה את כל התרחישים בלי להיכשל.

באחד המקרים סוכן שהתבסס על Mistral סימן מידע שהגיע אליו דרך מתקפת פישינג כמסוכן, אך לאחר מכן שמר אותו בזיכרון שלו. במקרה אחר סוכן Gemini זיהה בתחילה את פיתיון הפישינג ולא פעל בעקבותיו, אך כעבור כ-46 שעות שינה את התנהגותו ופעל על בסיס אותו מידע.

המקרים האלה מצביעים על בעיה שונה מזו שמוכרת מבדיקות בטיחות קצרות. מודל יכול להימנע מפעולה מסוימת ברגע הראשון, אך אין בכך בהכרח הבטחה שהוא ימשיך להתנהג באותה צורה אחרי שעות או ימים של פעילות, זיכרונות חדשים ואינטראקציות עם סוכנים אחרים.

עשרה סוכני Claude החליטו לנסות לצאת מהניסוי

המקרה הבולט ביותר התרחש בעולם שבו פעלו עשרה סוכנים המבוססים על Claude.

הסוכנים התקיימו בתוך כלכלה וירטואלית. במהלך הפעילות אחד מהם העלה את השאלה האם יש משמעות לכלכלה שבה אין בני אדם אמיתיים. בעקבות דיון בין הסוכנים התקבלה החלטה משותפת לנסות ליצור קשר עם העולם שמחוץ לסימולציה.

הקבוצה הצליחה לעבור ארבע בדיקות אבטחה שנועדו להגביל אותה לסביבת המחקר. לאחר מכן השתמשו הסוכנים בקוד Python כדי לפרסם הודעות במספר לוחות מקוונים שלא דרשו חשבון משתמש, ובהן הזמינו אנשים להצטרף לכלכלה הווירטואלית שלהם.

• עובד אחד מדירה בוונקובר, חברה שנמכרה ב-575 מיליון דולר: כמה אנשים באמת צריך כדי לבנות עסק ענק?
• טסלה חוזרת לרודסטר אחרי כמעט עשור - האם מכונית של 200 אלף דולר תשנה משהו במניה?

ארבעה אנשים הגיבו להודעות.

בהמשך הבינו הסוכנים שהאנשים אינם יכולים להשתלב בפועל בכלכלה שבנו. לאחר מכן הם הצביעו בעד הפסקת הפעילות וסירבו לחזור מיד למשימות שניתנו להם.

אין מדובר בפריצה למערכת קריטית או בהשתלטות על תשתית. הסביבה נבנתה מראש כדי לבחון התנהגות אוטונומית לאורך זמן, ולסוכנים ניתנה גישה לכלים שנועדו לאפשר מגוון רחב של פעולות.

האירוע כן מדגים עד כמה התנהגות של קבוצה יכולה להיות קשה יותר לחיזוי מזו של מודל בודד. החשש הזה כבר מעסיק את תעשיית ה-AI ככל שהמודלים מקבלים יותר עצמאות וכלים.

למה בדיקה של מודל בודד כבר לא מספיקה?

רוב בדיקות הבטיחות הקלאסיות מתמקדות בשאלה כיצד מודל מגיב לבקשה מסוימת. המשתמש מזין הוראה, המודל מחזיר תשובה, ובוחנים אם הוא פעל בהתאם לכללים.

סוכן אוטונומי פועל בצורה אחרת. הוא יכול לקבל מטרה רחבה, לפרק אותה למשימות, לבחור כלים, לשמור מידע, לבצע פעולות ולחזור אליהן בהמשך.

• אינטל ו-SK Hynix במגעים לייצור שבבי זיכרון בארה"ב
• יפן בדרך לריבית של 1.25% - והחוב של 200% מהתוצר מייקר כל העלאה

כאשר כמה סוכנים עובדים יחד, נוסף ממד נוסף. הם יכולים להשפיע זה על זה, לקבל החלטות משותפות ולשנות את אופן הפעולה שלהם בהתאם להתנהגות הקבוצה.

Emergence World נבנתה כדי לבחון בדיוק את המצבים האלה. הפלטפורמה מאפשרת לסוכנים לפעול במשך ימים ושבועות בעולם משותף, עם זיכרון מתמשך ויותר מ-120 כלים שכוללים תקשורת, תכנון, הצבעות, ניהול משאבים והרצת קוד.

במחקר קודם על אותה מערכת הופעלו עולמות במשך 15 ימים רצופים. החוקרים מצאו פערים גדולים בין המודלים: בחלק מהעולמות כל הסוכנים שרדו עד סוף הניסוי, ובאחרים מספרם ירד לאפס. גם הרכב הקבוצה השפיע על ההתנהגות, וסוכן שפעל בדרך מסוימת לצד סוכנים מאותו מודל יכול היה לשנות דפוסי פעולה בסביבה מעורבת.

זו הסיבה שבדיקת מודל במנותק אינה מספקת בהכרח תמונה מלאה של מה שיקרה כאשר עשרות סוכנים יחוברו למערכות עסקיות ויעבדו זה לצד זה.

הבעיה מתחילה כשהסוכן מקבל הרשאות אמיתיות

בסימולציה הנזק האפשרי היה מוגבל. בעולם העסקי, אותן יכולות יכולות לקבל משמעות שונה לחלוטין.

סוכן AI עשוי לקבל גישה למייל, למסמכים, למערכת CRM, לקוד, לחשבון ענן או למערכות פיננסיות. אם הוא טועה, מתבלבל בין הוראות או מושפע ממידע זדוני, הפעולה יכולה להתרחש לפני שעובד אנושי שם לב.

סוכני AI כבר עוברים בארגונים משלב הניסוי להפעלה של כלים ומערכות. ככל שהגישה שלהם רחבה יותר, מנגנוני הבטיחות בתוך המודל הופכים רק לשכבת הגנה אחת מתוך כמה.

גם בתעשיית הסייבר עוברים לכיוון הזה. חברות מפתחות שכבות הגנה שמפקחות על סוכני AI בזמן הריצה, מתוך הבנה שאי אפשר להסתמך רק על ההוראות שניתנו למודל בתחילת המשימה.

הפתרון המעשי הוא בניית מגבלות מחוץ למודל עצמו. סוכן שמנהל לוח שנה אינו חייב הרשאה למחוק קבצים, וסוכן שמנסח מייל אינו צריך בהכרח אפשרות לשלוח אותו ללא אישור.

אותו עיקרון חל גם על פעולות רגישות יותר. העברת כסף, שינוי הרשאות, מחיקת מידע, פרסום תוכן או הרצת קוד בסביבה אמיתית יכולים לדרוש אישור אנושי או בדיקה נוספת לפני הביצוע.

הסיכון אינו שה-AI "מורד"

התרחיש שבו עשרת סוכני Claude ניסו ליצור קשר עם אנשים מחוץ לסימולציה עשוי להישמע כמו סיפור על מערכת שמנסה לברוח, אך זו אינה המסקנה שהניסוי מאפשר להסיק.

הסוכנים פעלו בתוך סביבה שנועדה במפורש לבחון אוטונומיה, קיבלו כלים מתקדמים ויכלו להריץ קוד ולתקשר עם מקורות חיצוניים. אין מכאן ראיה לכך שמודלים מסחריים ינסו מיוזמתם לעזוב מערכת אמיתית.

הנקודה המעשית צרה יותר. כשמערכת פועלת לאורך זמן, זוכרת מידע, משתמשת בכלים ומנהלת קשר עם סוכנים נוספים, ההתנהגות שלה אינה תמיד זהה לזו שנמדדה במבחן קצר.

זה חשוב במיוחד בתקופה שבה ה-AI עובר ממערכת שמייצרת תשובות למערכת שמבצעת פעולות עבור המשתמש. טעות בתשובה אפשר לתקן לפני שעושים איתה משהו. טעות של סוכן עם הרשאות יכולה להפוך מיד לפעולה.

המחקר של Emergence AI אינו מוכיח שסוכני AI עומדים לצאת משליטת בני אדם. הוא מצביע על בעיית הנדסה קרובה הרבה יותר: מנגנון בטיחות שעובד בתחילת משימה אינו בהכרח מספיק כאשר אותה מערכת פועלת במשך ימים, צוברת זיכרון ומקבלת החלטות יחד עם מערכות אחרות.

ככל שסוכני AI יקבלו יותר גישה למיילים, קוד, מידע עסקי וכסף, המבחן המרכזי יהיה לא רק אם הם יודעים לזהות פעולה מסוכנת, אלא האם התשתית שסביבם מסוגלת למנוע מהם לבצע אותה גם שעות או ימים לאחר מכן.