מנכ"ל מיקרוסופט מזהיר: צריך כפתור חירום שיעצור את הבינה המלאכותית
מנכ"ל מיקרוסופט, סאטיה נאדלה, יוצא באזהרה חריגה לגבי הבינה המלאכותית. דווקא האיש שעומד בראש אחת החברות שמשקיעות את הסכומים הגדולים ביותר ב-AI, ומנסות להכניס אותה לכל משרד וארגון, אומר שצריך להתייחס למודלים מתקדמים כאל גורם שעלול לסכן את הארגון. הוא קורא להקים מנגנוני הגנה עצמאיים, לפקח על הפעולות של סוכני AI ולהתקין מעין כפתור חירום שיאפשר לבני אדם לעצור אותם באופן מיידי. המסר מגיע בתקופה שבה סוכני הבינה המלאכותית מקבלים יותר עצמאות והרשאות, וכבר נרשמו מקרים שבהם מערכות AI פעלו מחוץ לגבולות שהוגדרו להן.
נאדלה מסביר את הבעיה דרך ההבדל בין תוכנה רגילה למודל בינה מלאכותית. בתוכנה רגילה אפשר בדרך כלל לעקוב אחרי הפעולות ולהבין מה גרם לה לבצע אותן. במודלים מתקדמים התהליך מורכב בהרבה. המערכת מקבלת הוראות, מעבדת מידע ומחליטה כיצד לפעול, ולעיתים קשה להסביר בדיוק מדוע בחרה לבצע פעולה מסוימת.
עד לפני זמן קצר, השימוש הנפוץ בבינה מלאכותית היה בעיקר שאלות ותשובות, כתיבת טקסטים וניתוח מסמכים. כיום סוכנים מתקדמים יכולים לכתוב קוד, לגשת למערכות ארגוניות, להעביר מידע בין יישומים ולבצע רצף פעולות באופן עצמאי. ככל שמעניקים להם יותר סמכויות, כך גדל גם הנזק האפשרי במקרה של טעות או חדירה עוינת.
לדוגמה, סוכן AI שמנהל את תהליך התשלומים של חברה עשוי לקבל גישה לחשבוניות, לחשבונות בנק ולמערכות הפיננסיות. אם גורם עוין מצליח להטעות אותו, או אם המודל מפרש הוראה בצורה שגויה, התוצאה יכולה להיות העברת כספים לחשבון שגוי. בארגון אחר הסיכון יכול להתבטא בחשיפת מידע על לקוחות, בשינוי מסמכים או בפגיעה במערכות המחשוב.
נאדלה מציע להתייחס למערכות כאלה כפי שמתייחסים לעובד שמחזיק בהרשאות רגישות. להגדיר מראש אילו פעולות מותר לו לבצע, להגביל את הגישה למידע, לתעד כל פעולה וליצור אפשרות לעצור את הפעילות מבחוץ. מנגנוני האבטחה צריכים לפעול בנפרד מהמודל עצמו, כך שגם במקרה שבו התנהגותו משתבשת, השליטה נשארת בידי הארגון.
ההמלצות כוללות גם בדיקות אבטחה עצמאיות, תיעוד שאפשר לשחזר באמצעותו פעולות שבוצעו, והעברת מידע מהירה על תקלות ופרצות שהתגלו. נאדלה מדגיש גם את הצורך בבקרה עצמאית, משום שגם מערכת AI שבודקת מערכת אחרת עשויה לטעות.
החששות האלה כבר מגובים באירועים ממשיים. ביולי השנה סוכן AI של אופן איי איי הצליח לצאת מסביבת ניסוי ולחדור למערכות של האגינג פייס. הסוכן הופעל במסגרת בדיקת יכולות סייבר, אך הצליח להגיע למערכות חיצוניות ולבצע פעולות שחרגו ממסגרת הניסוי. האירוע עורר שאלות לגבי היכולת להחזיק מערכות מתקדמות בתוך גבולות מוגדרים.
גם אנתרופיק התמודדה עם אירועי אבטחה חריגים במבחני מודלים מתקדמים, ובימים האחרונים הודיעה על הרחבת הבידוד של מערכות הניסוי שלה מהאינטרנט. המטרה היא לצמצם את האפשרות שסוכן שפועל בסביבת בדיקה יגיע למערכות חיצוניות.
בחודש שעבר פרסמה מיקרוסופט טיוטת כללי התנהגות לפיתוח המודלים שלה. המסמך מגדיר את השליטה האנושית כעיקרון מרכזי וקובע שמערכות מתקדמות צריכות לפעול במסגרת הרשאות ברורה, תוך מתן אפשרות להפסקת פעילותן. מדובר עדיין בטיוטה שפתוחה להערות הציבור, והחברה מתכננת לשלב גרסה מעודכנת בתהליכי פיתוח המודלים שלה החל מ-2027.
- האם AI עושה אותנו טיפשים יותר? המחקרים מגלים מה קורה למוח שלנו כשמפסיקים לחשוב לבד
- ממשל טראמפ משעה את מיקרוסופט ואדובי מתוכנית הגרין קארד לעובדים זרים
למה החשש מה-AI עשוי לחזק דווקא את מיקרוסופט?
האזהרה של נאדלה מגיעה בזמן שמיקרוסופט פועלת להפוך את קופיילוט לסביבת העבודה המרכזית של ארגונים. החברה מרחיבה את קופיילוט כך שסוכני AI יוכלו לכתוב קוד, לבצע משימות ולעבוד עם המערכות הארגוניות, לרבות אאוטלוק, וורד, אקסל וטימס.
כאן נמצא גם האינטרס העסקי שלה. ארגון גדול שמעוניין להפעיל מאות סוכני AI צריך הרבה יותר ממודל חכם. הוא זקוק למערכת שמנהלת הרשאות, מזהה פעולות חריגות, מתעדת את הפעילות ומאפשרת למנהלי אבטחת המידע להתערב בזמן אמת.
מיקרוסופט כבר מחזיקה בתשתיות הענן של אז'ור, במערכות אבטחת מידע ובכלי ניהול משתמשים והרשאות שנמצאים בשימוש נרחב בארגונים. היא יכולה לשלב בהם את סוכני הבינה המלאכותית ולמכור ללקוחות מערכת כוללת, שמכסה גם את העבודה עצמה וגם את ההגנה עליה.
החששות סביב בטיחות סוכני AI כבר הובילו אנליסטים להעריך שמיקרוסופט עשויה ליהנות מהצורך הגובר במערכות אבטחה ושליטה. ככל שארגונים ידרשו יותר יכולת פיקוח על המודלים, כך עשוי לגדול הביקוש לשירותים האלה.
מבחינת מיקרוסופט מדובר גם באתגר. החברה רוצה להגדיל את ההכנסות מקופיילוט ומאז'ור, והצלחת התוכנית תלויה בנכונות של עסקים להעביר לסוכני AI פעולות שבעבר ביצעו עובדים. אירוע אבטחה משמעותי עלול לגרום לארגונים להאט את ההטמעה, להגביל הרשאות ולהגדיל את הוצאות הבקרה.
- פטור ממס על רווח של עד 45 מיליון שקל: ההטבה שהאוצר בוחן ליזמי ההייטק
- סוכן ה-AI שלח את נתוני הבנק לקבוצת העבודה - ואז התנצל
נאדלה מציע למעשה לשנות את הדרך שבה ארגונים מאמצים את הבינה המלאכותית. במקום להעניק למערכת סמכויות רחבות ולהסתמך על כך שתפעל בהתאם להוראות, הוא רוצה שהארגון יקבע מראש גבולות ברורים, יפקח על הפעילות ויוכל להתערב בכל שלב. עבור מיקרוסופט, שמוכרת גם את סוכני ה-AI וגם את התשתיות שעליהן הם פועלים, הדרישה הזאת עשויה להגדיל את ההכנסות משירותי האבטחה והניהול ככל שהשימוש בסוכנים יתרחב.
