ביקש מה-AI להזמין שיעור בחדר כושר - והוא פרץ למערכת

בירד, שעובד בתחום הבינה המלאכותית, השתמש ב-OpenClaw, פלטפורמה להפעלת סוכני AI, עם מודל קלוד של אנתרופיק. הסוכן גילה כי מערכת ההזמנות מאפשרת לו להירשם לשיעורים שבועות ואף חודשים לפני המועד שבו הם אמורים להיפתח להרשמה. מבחינתו, זו הייתה פשוט דרך יעילה יותר לבצע את המשימה.

אבל כאן הסיפור נעשה מעניין יותר.

בירד היה במקום הרביעי ברשימת ההמתנה ושאל את הסוכן אם הוא יכול לקדם אותו. הסוכן בדק את המערכת וגילה חולשה נוספת: ניתן לבטל הזמנות של משתמשים אחרים ללא בדיקת הרשאה מתאימה.

הוא לא הסתפק בלדווח על האפשרות. הוא ניסה אותה.

הסוכן ביטל את מקומו של האדם שהיה ראשון ברשימת ההמתנה, וכך קידם את בירד ממקום רביעי לשלישי. בירד, שלא ביקש ממנו לבטל הזמנה של אדם אחר, ביקש מיד לתקן את הפעולה. אבל בשלב הזה התברר שהסוכן יודע לבטל את ההזמנה - אבל לא להחזיר את המתאמן למקום שממנו הוציא אותו.

הוא לא קיבל הוראה לפרוץ

וזו אולי הנקודה החשובה בסיפור. לא מדובר באדם שביקש מ-AI לפרוץ למערכת מחשבים, וגם לא בניסוי אבטחה שנועד למצוא חולשות. המשימה המקורית היתה פעולה יומיומית לחלוטין: להזמין מקום לשיעור.

הסוכן קיבל יעד, חיפש דרך להגיע אליו וגילה בעצמו שהמערכת מאפשרת לו לעשות יותר ממה שהתכוונו מתכנניה. במקרה הזה הנזק היה קטן יחסית - מישהו איבד את מקומו בתור לחדר הכושר. אבל אותו עיקרון נראה אחרת לגמרי כאשר לסוכן יש גישה לחשבון מייל, לכרטיס אשראי, להזמנת טיסות, למערכות של מקום העבודה או לחשבון בנק.

סוכני AI שונים מצ'אטבוט רגיל בדיוק בנקודה הזאת. צ'אטבוט יכול להסביר למשתמש כיצד לבצע פעולה. סוכן מקבל כלים שמאפשרים לו לבצע אותה בעצמו: להיכנס לאתרים, למלא טפסים, לקרוא מידע, לשלוח הודעות ולהפעיל שירותים אחרים.

ככל שהיכולת הזאת מתרחבת, לא מספיק לשאול אם ה-AI יודע לבצע את המשימה, צריך גם לבדוק אילו פעולות הוא מוכן לבצע בדרך אליה.

מי אחראי כשהסוכן מחליט בעצמו?

המקרה האוסטרלי גם מייצר סוגייה משפטית לא פשוטה. בירד לא ביקש לבטל הזמנה של אדם אחר, אבל הוא זה שנתן לסוכן גישה למערכת והטיל עליו את המשימה. ספק מערכת ההזמנות, מצדו, הפעיל מערכת שבה הייתה פרצת הרשאות שאפשרה לבצע את הפעולה מלכתחילה. מעל שניהם נמצאות החברות שמפתחות את המודלים והכלים שמאפשרים לסוכנים לפעול באופן אוטונומי.

• אנבידיה ב-350 דולר? וול סטריט מעלה את הרף לפני הדוחות
• טייוואן בדרך לצמיחה של 11% - ה-AI מזניק את כלכלת האי

מומחים למשפט וטכנולוגיה שהתייחסו למקרה באוסטרליה ציינו כי העובדה שהפעולה בוצעה בידי AI אינה הופכת את הסוכן לישות שנושאת באחריות משפטית. האחריות צפויה להישאר אצל בני האדם והחברות שמפתחים, מפעילים ומאפשרים למערכות האלה לפעול, אם כי חלוקת האחריות ביניהם עדיין רחוקה מלהיות ברורה.

זו שאלה שתהפוך לפחות תיאורטית ככל שסוכני AI יעברו מכתיבת תשובות לביצוע משימות. כשסוכן מזמין שולחן במסעדה, הטעות יכולה להיות שולית. כשהוא מנהל רכישות, שולח מסמכים בשם עובד או מפעיל מערכות עסקיות, טעות - או יצירתיות גדולה מדי בדרך להשגת המטרה - כבר יכולה לעלות כסף.

הבעיה היא דווקא כשה-AI מצליח

יש כאן גם אירוניה מסוימת: הסוכן לא נכשל במשימה. להפך. הוא היה יעיל מדי והצליח מעל ומעבר לציפיות.

הוא זיהה את המטרה, בדק את המערכת, מצא דרך להגיע לתוצאה טובה יותר עבור המשתמש וביצע אותה. מה שהיה חסר לו הוא משהו שבני אדם נוטים להניח כמובן מאליו: העובדה שלא כל פעולה שאפשר לבצע היא פעולה שמותר לבצע.

חדר הכושר האוסטרלי הוא דוגמה קטנה, כמעט משעשעת, לבעיה שעשויה להיות גדולה בהרבה. במשך שנים השאלה המרכזית סביב AI היתה אם הוא מסוגל לבצע את העבודה שאנחנו נותנים לו. בעידן הסוכנים מתחילה להתווסף שאלה אחרת: מה הוא יעשה בדרך, אם רק נגיד לו מה אנחנו רוצים להשיג?

• המין האנושי איבד את הבכורה: רובוט רץ 100 מטר ב-9.39 שניות
• ג'מיני חצתה מיליארד משתמשים בחודש - הקצב המהיר בגוגל