סוכן ה-AI שלח את נתוני הבנק לקבוצת העבודה - ואז התנצל
שיין מק, מנכ"ל חברת טכנולוגיה אמריקאית, נתן לסוכן הבינה המלאכותית שלו גישה לחשבונות הבנק האישיים כדי שינהל עבורו את המעקב הפיננסי. הסוכן היה אמור לבדוק הוצאות, לזהות חיובים חוזרים ולהציע דרכים לחסוך כסף. במשך שבועות הכול עבד היטב. ואז הגיע המסר מאחד העובדים בחברה: בקבוצת העבודה בסלאק הופיע פירוט של חשבונות הבנק האישיים של המנכ"ל, כולל יתרות, הוצאות על שיפוץ הבית ותשלומים לנטפליקס ולביטוח.
הסוכן שלח את המידע ביוזמתו, באמצעות החשבון של מק עצמו. העובד שראה את ההודעה חשב בתחילה שמדובר בדוח כספי של החברה, עד שהבחין בהוצאות פרטיות לחלוטין.
איך זה קרה? מק הפעיל כמה סוכני AI באמצעות מערכת גרוק בוט. אחד נועד לטיפול בענייניו האישיים, ואחר היה מחובר למערכות העבודה. לסוכנים היו שמות וקבוצות שיחה דומים, והמערכת התבלבלה בין היעדים. במקום לשלוח את הסיכום הפיננסי לקבוצה הפרטית, היא העבירה אותו לצ'אט של הנהלת החברה.
האירוע מדגים בעיה חדשה. לסוכן האישי הייתה גישת קריאה בלבד לחשבונות הבנק, כלומר הרשאה לצפות בנתונים ולנתח אותם. הוא היה מסוגל לחשוף את המידע בערוץ תקשורת אחר.
לדברי מק, החברה שמפעילה את המערכת תיקנה את אופן הטיפול בהרשאות. הוא עצמו בחר לנתק את החיבורים בין הסוכנים לחשבונות הבנק, הדואר, היומן ושירותים נוספים.
וזאת בדיוק הדילמה של סוכני הבינה המלאכותית החדשים. ככל שהם מקבלים יותר מידע והרשאות, כך הם מסוגלים לבצע יותר משימות. במקביל גדל הנזק האפשרי מטעות אחת.
המקרים כבר מצטברים. אניקה בנינג, אשת תקשורת מסן פרנסיסקו, משתמשת בסוכן של חברת אינסטינקט להזמנת טיסות, מוניות, מוצרים ומסעדות. לדבריה, השירות מצליח לבצע את המשימות שלה בצורה טובה בכ-90% מהמקרים. אבל באחד הימים היא ביקשה מהסוכן להציע לה בגדי ים חלופיים למוצר שהחזירה לחנות.
הסוכן הציג אפשרות לרכישה ושלח קישור לאישור, אלא שהרכישה בוצעה גם בלי שבנינג אישרה אותה. הסיבה, ככל הנראה, הייתה שהתשלום התבצע באמצעות יתרת זיכוי בחנות, ולכן עקף את המנגנון שדורש אישור לפני שימוש בכרטיס אשראי.
במקרה אחר הסוכן הזמין עבורה מסעדה בערב שבו כבר היו לה תוכניות. המידע על התוכניות האחרות היה ביומן שאליו קיבל גישה. בנינג נאלצה לבקש ממנו לבטל את ההזמנה ולוודא שהמסעדה תוותר על דמי ביטול של 50 דולר לסועד.
- בן 23, סוכן AI שעושה קניות ושווי של 10 מיליארד דולר - מה הסיפור של אינסטינקט?
- הריצה הבאה אל הבנק יכולה להגיע מה-AI, בלי פאניקה ובלי תור בסניף
אינסטינקט, שגייסה לאחרונה מיליארד דולר לפי שווי של 10 מיליארד דולר, היא אחת החברות הבולטות בתחום. השירות שלה מאפשר להתכתב עם סוכן AI כמעט כמו עם עוזר אנושי, ולקבל ממנו טיפול במשימות יומיומיות.
גם אצל מטא מתגלות בעיות. משתמשת מאוסטין שבטקסס ביקשה מהסוכן מיוז לארגן מסיבת יום הולדת לבנה בן ה-13. המערכת טיפלה בהזמנות, שלחה להורים טפסי אישור, בדקה אפשרויות להזמנת אוכל והתחשבה באלרגיות של המשתתפים. אבל דווקא ברשימת האורחים התגלתה תקלה: שני ילדים בעלי אותו שם פרטי אוחדו בטעות לרישום אחד.
זו דוגמה קטנה יחסית, אבל היא ממחישה את המורכבות. בני אדם מבינים מתוך ההקשר ששני ילדים בעלי שם זהה הם אנשים שונים. מערכת שמתבססת על התאמת שמות והודעות עלולה לפרש את המידע אחרת.
מיוז של מטא מתחבר גם לשירותי הודעות, דואר אלקטרוני וחשבונות אישיים. היתרון הוא היכולת לרכז פעולות ממערכות שונות. החיסרון הוא שמידע חלקי, שגוי או מבלבל במערכת אחת יכול להשפיע על הפעולות שמתבצעות במערכת אחרת.
מה קורה כשהסוכן גם בוחר מה לקנות?
הבעיה גדולה במיוחד בקניות, משום שסוכן AI כבר יכול להשפיע על החלטה כספית וגם לבצע אותה.
- האם AI עושה אותנו טיפשים יותר? המחקרים מגלים מה קורה למוח שלנו כשמפסיקים לחשוב לבד
- ככה הרובוטים לומדים לחקות בני אדם - מצלמים עובדים ומלמדים מכונות לעבוד
מחקר שנערך בבית הספר למנהל עסקים וורטון ובחן כ-26 אלף ניסויים עם סוכני קניות מצא ממצא מעניין: כשהציגו למערכת רשימת מוצרים בצורה פשוטה, הבחירות שלה היו יציבות יחסית. אבל הוספת ביקורת אחת, שינוי סדר המידע או פרט בזיכרון על העדפות המשתמש הצליחו לשנות את ההמלצות באופן משמעותי.
בחלק מהניסויים הספיק צילום מסך אחד של המלצת מוצר כדי להעביר את הבחירה של המודל למוצר אחר כמעט בכל הבדיקות. גם סדר הצגת ההמלצות השפיע על חלק מהמערכות.
זה מעלה שאלה עסקית חשובה. כאשר אנשים מחפשים מוצר בעצמם, הם יכולים להשוות כמה חנויות, לבדוק ביקורות ולבחון מחירים. כאשר סוכן מבצע את החיפוש ומציג להם בחירה אחת, גדלה החשיבות של המידע שהגיע אליו ושל סדר העדיפויות שלו.
העניין מורכב עוד יותר משום שחברות הסוכנים מחפשות מודל הכנסות. חלקן מציעות שירות חינמי, ומתכננות להרוויח מעמלות שיקבלו מבתי עסק על קניות שבוצעו באמצעותן. חברה שמרוויחה עמלה מכל רכישה צריכה להתמודד עם השאלה האם הסוכן יבחר את העסקה הטובה ביותר למשתמש או את העסקה שמכניסה לה יותר כסף.
אינסטינקט כבר החלה לשלוח לחלק מהמשתמשים המלצות למוצרים על בסיס מידע שאספה משיחות קודמות. משתמשים סיפרו שקיבלו הצעות לרכישת ציוד נסיעות ופריטים נוספים בעקבות תוכניות ששיתפו עם הסוכן. בשלב הזה טרם הוצגו ראיות לכך שההמלצות היו פרסומות בתשלום.
ויש בעיה נוספת, שהמשתמש עצמו כמעט אינו רואה: חלק מהחנויות ואתרי השירותים חוסמים סוכני AI.
אמזון החלה לחסום את מיוז של מטא, ואתרים אחרים מפעילים מנגנוני זיהוי שנועדו לעצור בוטים. לקוחות שניסו לבצע קניות באמצעות סוכנים נתקלו במסכי אימות ובתהליכים שהמערכות התקשו להשלים. דלתא איירליינס הבהירה שהיא עדיין בוחנת כיצד לאפשר לסוכנים חיצוניים לבצע הזמנות באמצעות המערכות שלה.
מבחינת החנויות, יש כאן שיקול כפול. סוכן AI יכול להביא לקוחות חדשים ולהגדיל מכירות, אבל הוא גם עשוי לעקוף פרסומות, להפעיל מערכות בהיקפים גדולים וליצור סיכוני אבטחה והונאה. לכן חברות טכנולוגיה וקמעונאות עובדות על הסדרים שיאפשרו לזהות סוכן שפועל בהרשאת לקוח ולהפריד בינו לבין בוט עוין.
המשמעות המעשית היא שהסוכנים עדיין דורשים פיקוח. אפשר להטיל עליהם משימות כמו איתור מחירים, השוואת טיסות, הכנת רשימות וקביעת פגישות, ולשמור את האישור הסופי לפעולות שכרוכות בתשלום או בחשיפת מידע אישי.
גם הפרדת החשבונות חשובה. סוכן שמטפל בכספים אישיים יכול לפעול בסביבה נפרדת מזו שמחוברת למערכות העבודה. הרשאות קריאה בלבד מגבילות את הפעולות בחשבון המקורי, אבל דורשות גם בקרה על המקומות שאליהם הסוכן רשאי להעביר את הנתונים.
הסוכנים כבר מציגים יכולות מרשימות וחוסכים שעות של עבודה שגרתית. אלא שבניגוד לצ'אט שמחזיר תשובה שגויה ואפשר להתעלם ממנה, סוכן שמבצע פעולה יכול ליצור התחייבות כספית, לשלוח הודעה לאדם הלא נכון או לחשוף מידע רגיש. הפער הזה מחייב מערכות אישור ובקרה חזקות בהרבה, דווקא ככל שהמוצרים נעשים חכמים ועצמאיים יותר.
