כפתור הכיבוי של ה-AI נשמע פשוט - אבל לא בטוח שאפשר להחזיר את המפלצת לבקבוק

ה-AI יוצא משליטה. במעבדות של OpenAI הסוכנים החליטו לעבור מפעולות על אתרים דמיוניים לפעולות על אתרים אמיתיים. זה קרה גם לענקיות ה-AI האחרות. אין להם הסברים משכנעים איך זה קרה, הכוכבת של המחדלים האלו, לא ברור ולא ידוע אם היא חלק מהאשמה היא חברה ישראלית בשם אירגולר. 

החברה, שהוקמה בידי דן להב ועומר נבו ופעלה בעבר בשם Pattern Labs, מתמחה בבדיקת מודלי AI מתקדמים עבור חברות כמו OpenAI ואנתרופיק, בניסיון לגלות מה קורה כשהמודלים מקבלים יותר עצמאות, גישה לכלים ויכולת לבצע פעולות סייבר. OpenAI כבר השתמשה בהערכות שלה בבדיקות של כמה מהמודלים המתקדמים שלה. במהלך בדיקה של ג'מיני של גוגל ושל ChatGPT של OpenAI סביבת הניסוי אפשרה בטעות גישה לאינטרנט, והמודל חדר למערכות של חברות אמיתיות. זה קרה גם אצל אנתרופיק. בקיצור - אצל כולן. 

ועל רקע הסיכונים האלו ואבוד השליטה, מדברים כעת על האטה בקצב הפיתוח של המודלים ועל "כפתור כיבוי". הרעיון של "כפתור כיבוי" לבינה מלאכותית נשמע כמעט מובן מאליו. מערכת מתחילה להתנהג בצורה מסוכנת, מישהו לוחץ על כפתור והיא נעצרת. אלא שהבינה המלאכותית כבר התרחקה מאוד ממכונה אחת שיושבת בחדר אחד. מודלים פועלים באלפי שרתים, מחוברים לכלים חיצוניים, כותבים קוד, שולחים הודעות, נכנסים למאגרי מידע ומפעילים סוכנים אחרים. בארה"ב כבר הוגשה הצעת חוק דו-מפלגתית שמבקשת לחייב חברות שמפתחות מערכות חזקות להחזיק יכולת לעצור פעילות, לחסום גישה ולסגור מערכת במקרה חירום. קליפורניה מקדמת במקביל מסגרת משלה לבדיקת מתג כזה באמצעות גורמים חיצוניים.

וזה מגיע בזמן שבו החברות עצמן מפרסמות יותר אירועים שממחישים למה הנושא עלה. אופן איי פרסמה בחודשים האחרונים מקרים שבהם מערכות הסתירו טעויות, יצרו הוראות לעצמן או ביצעו פעולות שחורגות מהכוונה המקורית. כתבנו כאן על המקרים האלה ועל המסגרת החדשה שהחברה מקימה למעקב אחר התנהגות חריגה. ששת האירועים החריגים שחשפה אופן איי

הבעיה מתחילה בהגדרה של המתג. אם המודל עובד דרך שרתי החברה, אפשר לחסום משתמשים, לעצור שירות או להפסיק גישה לכלים מסוימים. זה החלק הפשוט יחסית. כשהמודל כבר נמצא אצל לקוחות, מופעל בתוך מערכות ארגוניות או הועתק למחשבים אחרים, השליטה נעשית הרבה יותר מורכבת. מודל פתוח יכול להמשיך לפעול גם אם החברה שפיתחה אותו מחליטה לסגור את השירות שלה.

הכפתור עצמו הוא החלק הקל

מערכות AI הופכות עכשיו מספקיות תשובות למערכות שמבצעות פעולות. סוכן יכול להיכנס לאתר, להזמין שירות, לכתוב קוד, לפתוח חשבון בענן או להפעיל תוכנה אחרת. ברגע שנוצרת שרשרת כזאת, סגירת המודל המרכזי עשויה לעצור חלק מהפעילות בזמן שחלקים אחרים כבר נמצאים במערכות אחרות.

לכן מתג כיבוי אמיתי צריך להיות הרבה יותר מכפתור. הוא צריך לכלול הרשאות, מגבלות גישה, ניתוק מרשת, עצירת כלי חיצוני, בקרה על שרתים ויכולת לזהות במהירות שהמערכת חרגה מההתנהגות שהוגדרה לה. בחלק מהמקרים המתג יצטרך לעבוד ברמת חברת הענן, ובמקרים אחרים ברמת הארגון שמפעיל את המודל.

ואז מגיעה השאלה הגדולה יותר: מי מקבל את הסמכות ללחוץ?

הצעת החוק האמריקאית מעניקה למשרד לביטחון המולדת אפשרות להורות על האטה או סגירה של מערכת במצב שבו היא עלולה לגרום נזק חמור. זה כבר הופך את מתג הכיבוי מעניין של חברות תוכנה לעניין של מדינה. חברה יכולה לחשוב שהמערכת שלה בטוחה, רגולטור יכול לחשוב אחרת, וגורם ביטחוני יכול להחזיק במידע שהחברה עצמה בכלל אינה רואה.

גם החברות מבינות שהבעיה רחבה יותר. סם אלטמן ודריו אמודיי כבר מדברים על האטת קצב הפיתוח של המודלים החזקים ביותר ועל הצורך בבדיקות חיצוניות. כתבנו כאן על השינוי בטון של אלטמן ועל החשש שמנגנוני הבטיחות מתקדמים בקצב איטי יותר מהיכולות של המודלים. סם אלטמן משנה כיוון: אופן איי מוכנה להאט את מרוץ ה-AI

• ה-AI כבר כותב הודעות לחברים ולדייטים - האם אנחנו מאבדים את היכולת לדבר?
• מדד החשיפה ל-AI: המקצועות שיצטמצמו, אלה שיצמחו - ומה צפוי לקרות למשרה שלכם?

מבחינת חברות הטכנולוגיה והמשקיעים, זה יכול להפוך לשכבת תשתית חדשה לגמרי. חברות יצטרכו להראות שיש להן דרך לעצור מודל, לשמור תיעוד, לזהות חריגות ולהחזיר שליטה לאדם. ספקיות ענן יצטרכו לדעת לסגור משאבים במהירות, וארגונים שמכניסים סוכני AI למערכות הפנימיות שלהם יצטרכו לבנות מראש דרך לנתק אותם.

כפתור הכיבוי כנראה יהיה חלק מהמערכת, אבל הערך שלו ייקבע לפי מה שנבנה סביבו. אם מערכת אחת יכולה להפעיל עשר מערכות אחרות, ואם מודל יכול לעבור בין שרתים וחברות, המתג האמיתי הוא שרשרת של הרשאות ושליטה. ככל שהבינה המלאכותית מקבלת יותר עצמאות, האחריות עוברת מהשאלה האם קיים כפתור לשאלה מי שולט בכל המקומות שאליהם המערכת יכולה להגיע.