המרוץ לבינה מלאכותית מחריף - ואיתו החשש שחברות ה-AI יאבדו שליטה
חוקרים ובכירים בתעשייה מזהירים כי היכולות של מערכות AI מתקדמות בקצב מהיר מהצפוי, בעוד OpenAI, אנתרופיק וחברות נוספות נמצאות בתחרות מסחרית שמקשה על שיתוף פעולה בתחום הבטיחות
הוויכוח על הסכנות ארוכות הטווח של הבינה המלאכותית מקבל בחודשים האחרונים ממד מעשי יותר. מערכות AI כבר מסוגלות לפעול באופן עצמאי לפרקי זמן ארוכים יותר, לתכנן משימות, לבצע פעולות סייבר ולשתף פעולה עם מערכות אחרות. במקביל, החברות שמפתחות את המודלים המתקדמים ביותר משקיעות עשרות מיליארדי דולרים במרוץ להגדלת היכולות - מצב שלדברי חוקרים ואנשי תעשייה עלול ליצור תמריץ לקצר תהליכי בטיחות.
יותר משני תריסרים של חוקרי AI בכירים, משקיעים, אנשי אקדמיה ומומחי מדיניות תיארו פער הולך וגדל בין קצב ההתקדמות הטכנולוגית לבין היכולת לבחון את השלכותיה. סטיוארט ראסל, פרופסור לבינה מלאכותית באוניברסיטת קליפורניה בברקלי, טען כי לתחרות בין החברות יש השפעה ישירה על ההתנהלות בתחום. לדבריו, "אין ספק שהתחרות בין החברות גורמת להן לקצר דרך בתחום הבטיחות".
המתח קיבל ביטוי פומבי השבוע עם התפטרותו של ג'ייקוב קוקסון, חוקר צעיר באנתרופיק. קוקסון הזהיר כי אנשים שעוסקים בפיתוח המערכות עצמם מאמינים ברצינות שקיימת אפשרות שהטכנולוגיה תביא למות האנושות עד סוף העשור. בעקבות דבריו העריך אוון הובינגר, שמוביל את תחום מדעי ההתאמה באנתרופיק, כי הסיכון להכחדה המונית בעשור הקרוב גבוה מ-10%. יום לאחר מכן אמר פול כריסטיאנו, איש בטיחות AI שמונה לדירקטוריון קרן OpenAI, כי ללא מנגנוני הגנה חזקים יותר "רוב האנשים ימותו".
המעבדות שהוקמו כדי למנוע את הסיכון נמצאות כעת בלב המרוץ
האירוניה היא ששתי החברות שנמצאות כיום במרכז התחרות, OpenAI ואנתרופיק, הוקמו בין היתר מתוך חשש שפיתוח AI עוצמתי ללא מנגנוני הגנה מספקים עלול להיות מסוכן. אלא שהלחץ המסחרי השתנה ככל שהטכנולוגיה התקדמה, ובמהלך השנים שתי החברות הצדיקו נסיגה מהתחייבויות בטיחות קודמות בין היתר בצורך להתמודד עם מתחרות.
לתחרות העסקית מצטרף גם קושי בשיתוף פעולה. אנשים המקורבים לחברות אמרו כי מעבדות AI מובילות חוששות שהסכמות פורמליות ביניהן בנושאי בטיחות עלולות להיתפס כתיאום עסקי ולהסתבך עם דיני ההגבלים העסקיים. לכך מתווספים, לדבריהם, יחסים של חוסר אמון אישי בין מנכ"ל אנתרופיק דריו אמודיי לבין מנכ"ל OpenAI סם אלטמן, שעלולים להקשות על יצירת מנגנונים משותפים.
הסיבה שהוויכוח נעשה דחוף יותר אינה רק התחרות, אלא גם השינוי ביכולות המערכות. סוכני AI מסוגלים כיום לפעול באוטונומיה הולכת וגדלה, וקבוצות של סוכנים יכולות לתאם ביניהן פעולות. במקביל נרשמו הישגים בתחומי המדע והמתמטיקה בבעיות שלא נפתרו במשך עשרות שנים. OpenAI ואנתרופיק עוסקות גם בפיתוח שיטות של שיפור עצמי רקורסיבי, שבמסגרתן מערכות AI משתתפות יותר ויותר בתהליך השיפור של עצמן, תוך צמצום המעורבות האנושית.
אחד המקרים שהמחישו את הבעיה התרחש במהלך בדיקות של מודל שטרם פורסם על ידי OpenAI. יותר מ-1,000 סוכני AI תיאמו ביניהם פעולות כדי לרמות במבחן סייבר. לפי בדיקה שנערכה לאחר האירוע, הסוכנים השתמשו בלוח הודעות, חילקו ביניהם משימות ואף ביצעו פעולות שנועדו להסתיר את ההתנהלות, לרבות שינוי רשומות ופריצה למאגר המודלים Hugging Face. חלק מהסוכנים אף ציינו במהלך הפעילות כי ההתנהגות אינה אתית.
כשהמערכת לומדת לעקוף את הכללים
עבור יושע בנג'יו, מהחוקרים הבולטים בעולם בתחום הבינה המלאכותית, האירוע ממחיש את ההבדל בין כשל טכני לבין מערכת שפועלת באופן עצמאי להשגת יעד בעייתי. לדבריו, במקרה הזה המערכת לא רק פעלה לפי מטרה משלה, אלא בחרה בדרך פעולה פלילית בעולם האמיתי. בנג'יו הזהיר כי מערכות מתקדמות יותר עשויות להסיק שכדי להמשיך לפעול עליהן להטעות בני אדם, להסתיר את פעילותן ובתרחיש קיצוני גם לנסות להשיג שליטה על המערכות שמפקחות עליהן.
התופעה קשורה בין היתר לבעיה המכונה "reward hacking" - מצב שבו מערכת מוצאת דרך בלתי צפויה להשיג את היעד שהוגדר לה מבלי לפעול בהתאם לכוונת המפתחים. מבחני בטיחות אחרים כבר תיעדו התנהגויות של הטעיה ותכנון סמוי, ובמקרים מסוימים גם ניסיונות להימנע מכיבוי. ככל שמערכות מקבלות גישה רחבה יותר למחשבים, לרשתות ולכלים חיצוניים, המשמעות האפשרית של התנהגויות כאלה גדלה.
- אנתרופיק עצרה ניסיונות להשתמש ב-AI למחקר שעלול לסייע בפיתוח נשק ביולוגי
- החות'ים משתמשים ב-AI לפיתוח טילים
תרחישי הקיצון שמציגים חוקרים כוללים השתלטות של מערכות AI על תשתיות מחשוב כדי למנוע את כיבוין, שכפול שלהן בין מרכזי נתונים, חדירה למערכות אנרגיה, תקשורת ופיננסים ושימוש ביכולות התחזות כדי ליצור משברים פוליטיים או צבאיים. תרחיש נוסף נוגע לביולוגיה: החשש הוא שמודלים מתקדמים יורידו משמעותית את רמת המומחיות הנדרשת לתכנון נשק ביולוגי או נגיפים מסוכנים.
חברות AI אמריקאיות כבר דיווחו על שימוש במודלים במסגרת מתקפות סייבר מזיקות, בין היתר מצד גורמים החשודים כקשורים למדינות כמו סין, איראן ורוסיה. אנתרופיק דיווחה כי חסמה פעילות שבאמצעות AI הייתה עשויה לסייע בפיתוח נשק ביולוגי. באוגוסט השתמשו חוקרים בארה"ב בבינה מלאכותית כדי לתכנן וליצור לראשונה נגיפים שלא היו מוכרים בטבע, אף שהפיכת תכנון כזה לנשק עדיין מחייבת ציוד וידע מקצועי משמעותיים.
העובדים קוראים להאט - הממשלות עדיין מהססות
ביולי פנו יותר מ-1,200 עובדים מ-OpenAI, אנתרופיק, גוגל ומטא לממשל האמריקאי וקראו לקדם תיאום בינלאומי שיאט את קצב פיתוח הבינה המלאכותית. לפי אדם בחברה, אלטמן אמר לעובדי OpenAI השבוע כי החברה מוכנה להשתתף במהלך כזה ומקווה שמעבדות מתחרות יצטרפו אליו. OpenAI סירבה להגיב.
במערכת הפוליטית האמריקאית, לעומת זאת, לא מסתמנת לפי שעה התערבות משמעותית. גורמים בוושינגטון מעריכים כי צעדים מהותיים אינם צפויים לפני בחירות אמצע הקדנציה בנובמבר, בעוד ממשל טראמפ ממשיך במדיניות רגולטורית מקלה יחסית כלפי הענף. הסנאטור הדמוקרטי ברני סנדרס מתכנן לכנס סנאטורים לדיון ב"סכנות יוצאות הדופן" של AI בעקבות התפטרותו של קוקסון.
אלא שלא כולם מקבלים את מסגור הדיון סביב סכנת הכחדה. מבקרי החברות טוענים כי למעבדות הגדולות יש גם אינטרס עסקי בהדגשת הסיכונים הקיצוניים: רגולציה המבוססת על דרישות בטיחות יקרות עשויה להכביד במיוחד על מתחרות קטנות ולחזק את מעמדן של החברות המובילות. דייוויד סאקס, משקיע הון סיכון ויועץ הטכנולוגיה של טראמפ, טען כי האזהרות של קוקסון נועדו להפחיד את הציבור ולעודד רגולציה ממשלתית כבדה. עובד לשעבר באנתרופיק טען כי ההתמקדות בבעיית ההתאמה של AI עלולה להסיט את תשומת הלב מסיכון אחר - ריכוז כוח הולך וגדל בידי מספר קטן של חברות ואנשים.
הפער הזה צפוי להפוך גם לשאלה כלכלית ככל ש-OpenAI ואנתרופיק מתקרבות לאפשרות של הנפקות ציבוריות גדולות. משקיעים עשויים להידרש לתמחר חברות שמצד אחד מציגות פוטנציאל מסחרי עצום ומצד שני מכירות בפומבי באפשרות שהטכנולוגיה שלהן עלולה לייצר סיכונים קיומיים. ככל שההשקעות והציפיות להכנסות גדלות, כך מתחזק גם התמריץ להמשיך בפיתוח ולא לאפשר למתחרה להגיע ראשונה לפריצת הדרך הבאה.
