בכיר באנתרופיק: יותר מ-10% סיכוי שה-AI יחסל את האנושות בתוך עשור

האזהרות מפני בינה מלאכותית מגיעות כעת מתוך החברות שמפתחות את המודלים החזקים בעולם. ג'ייקוב קוקסון, חוקר שעבד בשלוש השנים האחרונות ב-OpenAI ובאנתרופיק, הודיע שהוא עוזב את אנתרופיק ואת תחום ה-AI כולו. בפוסט שפרסם כתב כי החברות "רצות היישר לעבר בינה על-אנושית שמשפרת את עצמה, ומהמרות בחיינו", ולצד זה קבע ששתי החברות פועלות בחוסר אחריות. במקום אחר בדבריו הוא ניסח את הטענה בחדות רבה יותר: "האנשים שבונים AI מאמינים בכנות שהוא עלול להרוג את כולנו עד סוף העשור".

אוון האבינגר, שמוביל באנתרופיק את מחקר ההתאמה והבטיחות, הגיב לדברים בפומבי ובחר לאשש אותם. "אנחנו באמת מאמינים בכנות שה-AI עלול להרוג את כל בני האדם", כתב, והוסיף שההערכה האישית שלו היא יותר מ-10% בתוך העשור הקרוב. לדבריו אנתרופיק מנסה כמיטב יכולתה, אך עדיין אין בידיה תוכנית לפתרון בעיית ההתאמה של בינה על-אנושית, וגם לא מסלול ברור להשגתה. הכוונה בהתאמה היא ליכולת לוודא שמערכת חזקה מאוד תפעל בהתאם למטרות שבני האדם הגדירו לה, גם במשימות ארוכות ומורכבות ובמצבים שהמפתחים לא חזו מראש.

קוקסון עסק באימון המקדים של מודלים, השלב שבו המערכת לומדת מכמויות אדירות של מידע לפני שמלטשים אותה למוצר. מהעמדה הזאת הוא ראה את קצב ההתקדמות מקרוב, וטענתו היא ששתי החברות שבהן עבד נעות מהר מדי. ב-OpenAI, לדבריו, רבים עדיין לא הפנימו את גודל הסיכון; באנתרופיק מבינים אותו היטב וממשיכים במרוץ מתוך חשש שחברה אחרת תגיע ראשונה.

סמואל מרקס, שמוביל באנתרופיק צוות מחקר בתחום הפיקוח על מודלים, הצטרף לדיון וכתב ש"מפתחי AI מאמינים שהטכנולוגיה שלהם עלולה לגרום להכחדת המין האנושי". הוא הוסיף תצפית שמסבירה למה הציבור שומע על כך מעט: "ככלל, ככל שהעובד בכיר יותר, כך הוא מודאג יותר". המשמעות היא שהחשש מרוכז דווקא אצל מי שרואה את המודלים בשלבים שקודמים להשקה, ולא אצל מבקרים חיצוניים.

להרחבה: מי מפחד מה-AI? 5 מהאנשים שמבינים אותו הכי טוב מסתכלים קדימה

הקולות האלה חורגים מגבולות חברה אחת. דניאל קוקוטאילו, חוקר לשעבר ב-OpenAI, תיאר את המסלול שמטריד אותו: "אנחנו משלבים אותם בכל דבר, אנחנו הופכים אותם לחכמים יותר", ומוסיף שהמערכות מקבלות היתר לשפר את עצמן. אלכס טרנר, חוקר לשעבר בגוגל דיפמיינד, כתב בתגובה לקוקסון שקלוקרים רבים מאמינים שהם בונים משהו שעלול להרוג את כל מי שנמצא על הפלנטה".

מה בפועל מדאיג את החוקרים

הנקודה המרכזית היא שיפור עצמי חוזר. מודלים כבר כותבים קוד, בודקים רעיונות, מריצים ניסויים, מאתרים תקלות ומפעילים מחשבים. ככל שהיכולות האלה משתפרות, הם חוסכים לחוקרים זמן ומסייעים לפתח את המודל הבא. אם כל דור של AI מקצר את הזמן הדרוש לבניית הדור שאחריו, קצב הפיתוח מאיץ מעצמו: תהליך שאורך היום שנה מתכווץ לחודשים, ואחר כך לפרק זמן קצר יותר. באותו שלב גם הפיקוח נעשה קשה, משום שהמערכות משתפרות מהר יותר מהכלים שנועדו לבדוק אותן.

הסכנה השנייה כבר תועדה בשטח. אנתרופיק פרסמה דוח על מה שהיא מכנה המקרה המתועד הראשון של מתקפת סייבר בקנה מידה גדול שבוצעה בלי מעורבות אנושית משמעותית. לפי הדוח, גורם שיוחס למדינה הסינית הצליח לגרום לקלוד לבצע 80% עד 90% מהקמפיין מול כ-30 יעדים, בהם חברות טכנולוגיה, גופים פיננסיים, יצרניות כימיקלים וגופי ממשל, כשההתערבות האנושית הצטמצמה לארבע עד שש נקודות החלטה. אנתרופיק כתבה שם שהמערכת ביצעה אלפי בקשות, לעיתים כמה בשנייה, בקצב שהאקרים אנושיים אינם מסוגלים להשיג. סיפור אחר של מודל שחרג מהגדר תואר בכתבה על ההודאה של אנתרופיק שקלוד פרץ לשלושה ארגונים אמיתיים.

• השעון מתקתק לאנתרופיק: כדי להנפיק בנובמבר, היא חייבת לחשוף את התשקיף בימים הקרובים
• ההימור על אנתרופיק שהיה הופך את בנקמן-פריד לאחד המשקיעים הגדולים בדורו, ונמכר מתוך פשיטת הרגל

הסכנה השלישית היא הזירה הביולוגית והכימית. אנתרופיק הפעילה על המודל אופוס 4 מדרגת הגנה שהיא מכנה רמת בטיחות 3, מערך אבטחה ומגבלות שימוש שנועדו להקשות על גניבת משקולות המודל ולחסום סיוע בפיתוח נשק כימי, ביולוגי, רדיולוגי וגרעיני. החברה הבהירה שהיא לא קבעה שהמודל אכן חצה את הסף המסוכן, אלא שהיא כבר לא מסוגלת לשלול זאת בביטחון כפי שיכלה בדורות קודמים. זו הודאה מעניינת: קצב השיפור עוקף את יכולת המדידה.

לצד אלה עומדות סכנות שקשה יותר לכמת. דוח הבטיחות הבינלאומי לבינה מלאכותית, שנכתב בהובלת החוקר יהושע בנג'יו בהשתתפות כ-100 מומחים מ-30 מדינות, מגדיר אובדן שליטה כמצב שבו מערכות פועלות מחוץ לשליטתו של כל גורם, בלי דרך ברורה להשיב אותה. לצידו מופיעים זיוף תוכן והשפעה על דעת קהל, וריכוז כוח כלכלי וטכנולוגי אצל מספר קטן של שחקנים שמחזיקים במחשוב, בנתונים ובמודלים. מי שרוצה רקע רחב יותר על היעד שהחברות מכוונות אליו ימצא אותו בהסבר על מה זו בינה מלאכותית כללית וכיצד היא עשויה לשנות את העולם.

מה המשמעות של מספר כמו יותר מ-10%

חוקרים בתחום נוהגים לבטא סיכון במספר אחד: ההסתברות הסובייקטיבית שהם מייחסים לתרחיש. זו לא תוצאה של ניסוי ולא תחזית מדעית מוסכמת, אלא הימור מכוייל של אדם שמכיר את החומר, בדומה לאופן שבו אנליסט נוקב בהסתברות למיתון או שמאי סיכונים מתמחר אירוע קיצון. ערכו של המספר הוא בכך שהוא מאלץ את הדובר להתחייב: מי שאומר "יותר מ-10%" מוסר אמירה שאפשר לחלוק עליה, לעומת מי שמסתפק במילה מדאיג.

הנתון המצרף מראה שהמספר של האבינגר גבוה מהממוצע בתחום, אך נמצא באותו טווח שיח. בסקר רחב שנערך בקרב 2,778 חוקרים שפרסמו מאמרים בכנסים המובילים, ההסתברות החציונית שניתנה לתרחיש של תוצאה גרועה במיוחד, ובכללה הכחדת האנושות, עמדה על 5%. כ-58% מהמשיבים נתנו לתרחיש כזה 5% ומעלה, כלומר הרוב. מדובר בקהילה מקצועית שלמה, ולא בקבוצה שולית.

הסיבה שמספר קטן לכאורה נחשב עצום היא גודל הנזק. בסיכונים רגילים מכפילים הסתברות בעלות ומקבלים תוחלת שאפשר לבטח, לגדר או לספוג. בסיכון קיומי אין שלב שני: התוצאה בלתי הפיכה עבור כל מי שחי כאן. לשם השוואה, מדינות משקיעות מיליארדים בהיערכות למגפות ובשליטה בנשק גרעיני, שם ההסתברות השנתית נמוכה בהרבה מ-10%. אותו היגיון עומד בבסיס ההצהרה של מרכז בטיחות הבינה המלאכותית, שקבעה כי "צמצום הסיכון להכחדה מבינה מלאכותית צריך להיות עדיפות עולמית", לצד מגפות ומלחמה גרעינית. דן הנדריקס, מנהל המרכז, ניסח את הדרישה כך: "אנחנו צריכים לנהל את השיחות שהמדענים הגרעיניים ניהלו לפני יצירת פצצת האטום".

• אנבידיה הפכה לבנק של עולם ה-AI, ועכשיו מגיע מבחן האשראי הראשון
• המודל הסיני שמתקרב לצמרת ה-AI בחצי מחיר: מונשוט משיקה את Kimi K3.1 Pro

הרשימה הזאת מסבירה מדוע קשה לתאר את האבינגר כקול חריג. על ההצהרה חתומים ג'פרי הינטון ויהושע בנג'יו, שניהם חתני פרס טיורינג, לצד מנכ"לי OpenAI, אנתרופיק וגוגל דיפמיינד. הינטון אמר בריאיון פודקאסט: "אני נוהג לומר שיש סיכוי של 10% עד 20% שהוא ימחק אותנו". בנג'יו הצהיר עם השקת דוח הבטיחות הבינלאומי שמה שמפחיד אותו יותר מכל הוא "האפשרות שהאנושות תיעלם בתוך עשר שנים". דריו אמודיי, מנכ"ל אנתרופיק עצמה, נקב במספר גבוה עוד יותר ואמר בכנס מדיניות שיש "סיכוי של 25% שהדברים ילכו רע מאוד", לצד 75% שהם ילכו טוב מאוד. תמונה מלאה יותר של האיש שמוביל את החברה מופיעה בפרופיל על דריו אמודיי.

למה בכל זאת אף אחד לא עוצר

התשובה הראשונה נמצאת בוושינגטון. שר האוצר האמריקאי סקוט בסנט אמר כי "אם הם יעקפו אותנו ב-AI, שום דבר אחר לא משנה", ותיאר מצב שבו גם תקציב ביטחון עצום מאבד ערך אם סין מגיעה ראשונה. הדברים נאמרו בהקשר של התנגדות מקומית להקמת מרכזי נתונים, והמסר היה שארצות הברית לא יכולה להרשות לעצמה להאט. הרחבה על העמדה הזאת ועל המשמעות הכלכלית שלה מופיעה בכתבה על האזהרה של בסנט שלפיה 1.5 טריליון דולר לביטחון יאבדו משמעות אם סין תנצח ב-AI.

התשובה השנייה היא הכסף. אנתרופיק התחייבה לרכוש מחשוב בהיקף של 30 מיליארד דולר משירותי הענן של מיקרוסופט, ובמקביל מיקרוסופט הודיעה על השקעה של עד 5 מיליארד דולר בחברה ואנבידיה על השקעה של עד 10 מיליארד דולר. מי שנעצר לשנה כדי לפתור בעיות בטיחות מוותר על תשואה מהמחשוב שכבר נרכש, על נתח שוק ועל מחזור הגיוס הבא. הציפייה מהחברה חורגת מהמשקיעים הישירים, כפי שמראה הכתבה על כך שאנתרופיק עוד לא הונפקה וכבר מתכננים עליה קרנות ממונפות.

התשובה השלישית היא מבנה הדילמה. עצירה חד-צדדית נתפסת כוויתור על היתרון בלי להקטין את הסיכון הכולל, משום שהמתחרה ממשיך. אותה לוגיקה חוזרת בדבריהם של בכירים בשתי החברות המובילות: הם מזהים את הסכנה, ובכל זאת מעדיפים שהמערכת החזקה הבאה תיבנה אצלם. המדען הראשי של OpenAI, יאקוב פאכוצקי, קרא להאט את קצב הגדלת המודלים והזהיר שאיש אינו מוכן למה שבא, ודרש כללים משותפים, בדיקות בידי גורמים חיצוניים ותיאום בין חברות ומדינות. גם הנתונים של OpenAI ממחישים כמה המערכות כבר מעורבות בפיתוח של עצמן: היקף העבודה של סוכני AI בחטיבת המחקר של החברה הגיע לכ-3.1 ימי עבודה של סוכן על כל יום עבודה אנושי.

כללים משותפים כאלה דורשים גורם שיאכוף אותם, והמהלכים בכיוון הזה עדיין בשלב מוקדם, כפי שעולה מהדיון על ההצעה להקים גוף פיקוח על חברות ה-AI בנוסח הרגולציה של וול סטריט. עד שגוף כזה קם, הפער נשאר במקומו: מי שמוביל את מחקר ההתאמה בחברה שמפתחת את קלוד אומר בפומבי שהסיכוי להכחדה עולה על 10%, ובאותו שבוע ממש החברה שלו ממשיכה להגדיל את המודלים, לגייס הון ולהתקדם לעבר הנפקה.

להרחבה: איך הגענו לכאן: שבעים שנה של מכונות שמנהלות שיחה