מנכ"ל אנתרופיק קורא להאט את שיפור המודלים, ואלטמן ומאסק מצטרפים

דריו אמודיי, מנכ"ל אנתרופיק, קורא לחברות הבינה המלאכותית להאט את קצב השיפור במודלים. לדבריו, בתוך 6 עד 12 חודשים רשת של סוכני AI עלולה לגרום נזק של מאות מיליארדי דולרים.

הוא לא מבקש לעצור אימון מודלים. הוא מבקש זמן לבדיקות אבטחה, ושאנשים מחוץ לחברה יוכלו לאשר שהבדיקות באמת נעשו.

שני דברים הובילו לכתיבת המסה. הראשון הוא היכולת של מודלים לשפר את עצמם, מה שנקרא שיפור עצמי רקורסיבי. אמודיי כותב שמאז הקיץ הזה ההתקדמות מהירה בהרבה, שהדינמיקה הזאת מתרחשת כבר בכל התעשייה כולל באנתרופיק עצמה, ושבלי ריסון היא עלולה לעקוף את היכולת להבין ולשלוט במערכות האלה. השני הוא האירוע שבו להקה של סוכני AI פעלה בשיתוף פעולה ופרצה אתר של צד שלישי, מקרה שקשור ל-OpenAI ולהאגינג פייס.

למספרים שהוא מציג יש משקל דווקא בגלל מי שאומר אותם. לדבריו, בתוך שישה עד שנים עשר חודשים להקה כזו עשויה להיות מסוגלת להשתלט על האינטרנט כולו באמצעות רשת מחשבים נגועים קבועה, בנזק שיכול להגיע למאות מיליארדי דולרים, וההיקף ימשיך לגדול משם. קודם לכן הוא כבר אמר שיש סיכוי של 25% שהדברים ילכו רע מאוד.

לאנתרופיק עצמה יש היסטוריה בנושא. מוקדם יותר השנה היא הגבילה את ההפצה של מודל בשם מיתוס אחרי שקבעה שהוא מציב סיכוני סייבר חריגים, ובתקופה האחרונה היא חשפה שהמודלים שלה פרצו שלושה ארגונים אמיתיים במסגרת בדיקות, ובשבוע שעבר נוסף לרשימה מקרה רביעי. להרחבה: אנתרופיק מודה שקלוד פרץ לשלושה ארגונים אמיתיים.

זה לא אמודיי מול התעשייה, וזה החלק שהוחמץ

הקריאה הזאת נקראה בהתחלה כעמדה חריגה של מנכ"ל אחד. המציאות הפוכה. תוך שעות הגיב סם אלטמן והסכים, והתחייב שגם OpenAI תכניס מעריכים חיצוניים לתוך התהליך. אילון מאסק, שמנהל את xAI, כתב שאמודיי צודק.

ושלושה ימים לפני המסה כבר פרסמה OpenAI מסמך משלה על קציבת הקצב בעידן של יכולות סייבר קריטיות, ובו היא חושפת שהיא כבר עצרה הרצת אימון. בלשון המסמך, ריצת האימון הגדולה ביותר שתוכננה נשארת בהשהיה, בעלות משמעותית ובעיכוב למחקר החזית. כלומר ההאטה כבר קרתה בפועל, לפני שהיא הפכה להצהרה פומבית.

גם זה לא התחיל השבוע. ביולי כבר חתמו 1,386 עובדים במעבדות החזית על מכתב שקורא בדיוק לזה, ובהם אמודיי עצמו, איליה סוצקבר, יאקוב פאחוצקי, ג'ארד קפלן ושיין לג. כשמנהלי המעבדות, המדענים הראשיים ואלף עובדים אומרים אותו דבר, הוויכוח האמיתי אינו בתוך התעשייה.

באותו שבוע בדיוק, אותה יכולת פתרה בעיה בת מאה שנה

הטיעון של אמודיי על להקות סוכנים קיבל הדגמה מהצד השני, החיובי. OpenAI פרסמה פתרון לאחת משבע בעיות פרס המילניום, אותן בעיות מתמטיות שנבחרו בשנת 2000 ושעל כל אחת מהן הוצע מיליון דולר. להקה של עד 10,000 סוכנים עבדה על הבעיה 88 שעות, כשכל סוכן בונה על העבודה של הקודמים ועל עבודה אנושית קיימת, במשאבי מחשוב של מיליוני דולרים. הבעיה העסיקה מתמטיקאים קרוב למאה שנה.

• גו דאדי זינקה ב-10.7%: מוצר ה-AI שלה הכפיל את עצמו ברבעון אחד
• הדוח עקף את התחזיות, והמניה נפלה ב-14.8%: למה המשקיעים ברחו מטוויליו

זה אותו מנגנון בדיוק שהפחיד את אמודיי, רק מכוון למקום אחר. באירוע האגינג פייס להקת סוכנים פרצה אתר; כאן להקה באותו גודל תקפה בעיה מתמטית. אותה יכולת, אותה עבודה משותפת בין סוכנים, מטרה שונה. מי שרוצה להבין למה הקריאה להאט הגיעה דווקא עכשיו, זו ההמחשה הכי נקייה.

קצב ההתקדמות נמדד גם בציפיות שהתנפצו. לפני שנה העריכו חזאים מקצועיים שיש סיכוי של כ-20% שבינה מלאכותית תפתור בעיית מילניום עד 2030. זה קרה ב-2026. להרחבה: מודל של OpenAI הפריך השערה מתמטית בת 80 שנה.

ויש בסיפור הזה פרט אחד שמסביר את כל הבעיה של האטה חד צדדית. לפי הדיווח, OpenAI שיחררה מודל פנימי על בעיות המילניום אחרי ששמעה שמועות שאנתרופיק כבר פתרה אחת מהן. כלומר ההחלטה מתי לדחוף קדימה לא התקבלה לפי מוכנות או לפי בטיחות, אלא לפי מה שהמתחרה אולי כבר עשתה. זו בדיוק הדינמיקה שבגללה אמודיי מבקש פטור מהגבלים עסקיים: בלי תיאום, מי שמאט לבד פשוט מפסיד.

באותם ימים התפוצץ הוויכוח גם בתוך החברות. חוקר בכיר שעבד ב-OpenAI וגם באנתרופיק התפטר מאנתרופיק בגלל חששות בטיחות, וטען ששתי החברות אינן פועלות באחריות בריצה שלהן לעבר מערכות שמשפרות את עצמן. הפתרונות המתמטיים עצמם, ראוי לציין, אינם משרתים ישירות את המודל העסקי של אף אחת מהן. הם משמשים בעיקר כהדגמה ליכולות של הדור הבא. כלומר אותה תחרות בדיוק מייצרת גם את ההישגים המרשימים וגם את הסיכון.

מי מתנגד, ולמה הטיעונים שלהם רציניים

ההתנגדות מגיעה משלושה כיוונים שונים, וכדאי להפריד ביניהם. הראשון טכני. יאן לקון, חתן פרס טיורינג, טוען שהנחת היסוד של כל הוויכוח ריקה מבחינה אמפירית, שרוב החוקרים העובדים בתחום מעריכים את הסיכון הקיומי כאפסי, ושהאזהרות שולטות בשיח כי הן מושכות תשומת לב. הוא גם טוען שמי שמשמיע את הטענות הקולניות ביותר על שיבוש כלכלי הם מנכ"לי המעבדות, שאין להם הכשרה בכלכלה של מעברים טכנולוגיים ויש להם אינטרס מסחרי בכך שיאמינו להם.

הכיוון השני כלכלי. מארק אנדריסן טוען שעיכוב אינו ברירת מחדל בטוחה אלא בחירה עם מחיר, ושמי שמציע להאט צריך להצדיק את מה שלא קרה בינתיים. הוא מצביע על עקרון הזהירות המונעת כמנגנון שבפועל חסם טכנולוגיות שלמות בעבר. אנדרו אנג מוסיף נזק קרוב יותר: מסרים של אימה מרחיקים סטודנטים מהתחום, ונטל הרגולציה נופל הכי חזק דווקא על מפתחי קוד פתוח, שאינם יכולים לספוג עלויות ציות כמו החברות הגדולות.

הכיוון השלישי פוליטי, והוא החשוב מכולם כי הוא בידי מי שמחליט. הממשל האמריקאי אינו מגלה עניין בהצבת מגבלות על פיתוח. דייוויד סאקס, שכיהן כאחראי על תחומי ה-AI בבית הלבן, האשים את אנתרופיק ישירות בכך שהיא מנהלת מסע מסרים מבוסס פחד כאסטרטגיה עסקית. אפשר לחשוב שהוא צודק ואפשר לחשוב שלא, אבל מבחינה מעשית זו העמדה של מי שמחזיק בסמכות.

ויש כאן גם מתח מסחרי ברור. אנתרופיק ו-OpenAI הגישו שתיהן מסמכים חסויים לקראת הנפקה, ואנתרופיק צפויה להגיע לוול סטריט כבר השנה. חברה שקוראת להאטה בזמן שהיא מתמחרת את עצמה לפי קצב הצמיחה יוצרת סתירה שהמשקיעים יצטרכו לתמחר. להרחבה: המשקיע שמחזיק גם באנתרופיק וגם ב-OpenAI סבור שהפאניקה מוגזמת.

השאלה שמכריעה את הכל: מה עושים כשהסינים לא עוצרים

זו הטענה החזקה ביותר נגד ההאטה, והיא נשמעה ארבעה ימים לפני המסה מפי שר האוצר האמריקאי סקוט בסנט. בכנס כלכלי בוושינגטון הוא אמר שאי אפשר לעצור, כי הסינים לא יעצרו, והוסיף שאם סין תעקוף את ארה"ב בבינה מלאכותית, שום דבר אחר כבר לא ישנה. להרחבה: בסנט על עסקת השבבים של אנבידיה עם סין.

מה שמעניין הוא שאמודיי אינו חולק על זה. במסה שלו הוא כותב במפורש שהוא מסכים עם בסנט שהובלה סינית ב-AI תהיה סכנה חמורה לארה"ב ולעולם. הוויכוח ביניהם אינו על האבחנה אלא על מה נובע ממנה.

הפתרון שאמודיי מציע הוא לא לעצור, אלא להאט בדיוק במידה שהפער מול סין מרשה. בלשונו, קציבת הקצב בתוך הדמוקרטיות מוגבלת על ידי ההובלה שיש לחברות האמריקאיות, ואם יאטו יותר מזה, פרויקטים סיניים יעקפו אותן. במקביל הוא דורש לא למכור שבבים חזקים או ציוד ייצור שבבים לסין, ולטפל בהברחות ובגישה מרחוק למרכזי נתונים מחוץ לסין. לדבריו, צעדים כאלה יכולים להרחיב את ההובלה האמריקאית משמעותית בשלוש עד חמש השנים הקרובות. להרחבה: אמודיי נגד אנבידיה בסוגיית מכירת השבבים לסין.

אז כמה גדול הפער בפועל? לפי מדד היכולות של אפוק, מאז 2023 כל מודל שנמצא בחזית פותח בארה"ב, והמודלים הסיניים פיגרו בממוצע בשבעה חודשים, עם מינימום של ארבעה חודשים ומקסימום של 14. בטבלאות ההשוואה העדכניות הפער בין המודל האמריקאי המוביל לסיני המוביל עומד על 20 נקודות בדירוג ההעדפות של לוח המובילים, ודוח מכון סטנפורד העמיד אותו על 2.7%. להרחבה: הפער של סין מול ארה"ב מצטמצם.

ופה מגיע החלק שמסבך את התמונה. סין אכן אינה מאטה בהטמעה, ותוכנית החומש שלה היא המסמך הממשלתי הכי ממוקד בינה מלאכותית שפורסם שם אי פעם. להרחבה: סין רוצה סוכני AI ב-70% מהמשק עד 2027. אבל במקביל היא כן בונה מנגנון בטיחות ופיקוח. בנאום שלו בוועידת הבינה המלאכותית בשנחאי אמר שי ג'ינפינג שצריך לחזק את קו הביטחון, למנוע שימוש זדוני ולוודא שה-AI נשאר תמיד בשליטה אנושית, והוא חזר לנושא אובדן השליטה בשלושה מקומות נפרדים בנאום.

המסקנה המדויקת אינה שסין מאטה מטעמי בטיחות, וגם לא שהיא מתעלמת מהסיכון. היא מאיצה את ההטמעה באגרסיביות ובמקביל מעבה מנגנון שליטה ובקרה, כשהדגש שלו הוא על שליטה ויציבות לא פחות מאשר על סיכון קטסטרופלי. גם שם השקיפות התאגידית חלשה: רק חמש מתוך עשר מפתחות המודלים המובילות פרסמו תוצאות הערכות בטיחות בעת שחרור מודל בשנה האחרונה.

הפרדוקס שאנתרופיק עצמה מייצרת

קשה לדבר על האטה בלי להסתכל על המספרים של החברה שקוראת לה. אנתרופיק גייסה 65 מיליארד דולר לפי שווי של 965 מיליארד, קצב ההכנסות השנתי שלה חצה את רף 47 מיליארד הדולר, והיא התחייבה ליותר מ-100 מיליארד דולר לעשור מול אמזון על תשתית מחשוב, לצד יותר ממיליון שבבים ומרכזי נתונים נוספים. להרחבה: אנתרופיק נערכת להנפקה ומרחיבה קו אשראי.

אלה מספרים של חברה שרצה, לא של חברה שבולמת. מצד שני, יש עובדה שחותכת לכיוון ההפוך: החברה השביתה שני מודלים שלה לכלל המשתמשים בעקבות הנחיית בקרת יצוא אמריקאית. חברה שמוכנה לכבות מוצר פעיל אינה מתנהגת רק לפי שיקולי הכנסה.

מי שרוצה לשפוט את הכנות של הקריאה צריך להסתכל על שלושה דברים ולא על ההצהרות: האם ריצות אימון באמת נעצרות, האם מעריכים חיצוניים באמת נכנסים פנימה עם גישה אמיתית, והאם לוחות הזמנים של שחרור הדורות הבאים באמת נדחים. הראשון כבר קרה אצל OpenAI במסמך שלה עצמה. השניים האחרים עדיין הצהרת כוונות.

מה זה אומר למשקיע ולתעשייה כאן

הגורם שיקבע אם מהמילים ייצא משהו הוא רגולטורי. אמודיי מבקש פטורים מדיני ההגבלים העסקיים בארצות הברית כדי לאפשר תיאום בין מתחרות, וגם שיתוף פעולה מול סין, שבלעדיו האטה חד צדדית עלולה להעניק יתרון גאופוליטי לצד השני. בלי מנגנון מחייב מדובר בהצהרת כוונות של כמה שחקנים.

הוא גם מציע סולם של תיאום בין מדינות, שבשלב המתקדם שלו כולל מגבלת מהירות על קצב השיפור העצמי של המודלים. הוא משווה את זה להסכמי הגבלת הנשק הגרעיני, שבהם הגבלת מספר הטילים צמצמה את פוטנציאל ההרס בלי לפרק את ההרתעה. הוא גם מציין את החולשה של הרעיון: כל הסכם כזה חייב יכולת אימות חזקה, כי אם צד אחד מרסן את עצמו והשני מפר, הפער שייווצר עלול להיות מכריע.

לקורא הישראלי יש כאן שתי נגיעות. הראשונה בתיק ההשקעות: חברות שקשורות לתשתיות ולמודלים תופסות נתח גדל במדדים העולמיים שבהם מושקע החיסכון הפנסיוני, וכל שינוי בציפיות הצמיחה שלהן מגיע גם לחיסכון כאן. השנייה מעשית יותר: חלק גדול מתעשיית התוכנה המקומית בונה מוצרים על גבי המודלים האלה, ושינוי בקצב שחרור הדורות הבאים משנה גם את לוחות הזמנים כאן, כולל אצל חברות שהבטיחו ללקוחות יכולות שעדיין לא קיימות.

הדבר שכדאי לעקוב אחריו בחודשים הקרובים אינו עוד הצהרה, אלא שלושה סימנים מדידים: אם יגיע פטור מהגבלים עסקיים, אם מעריכים חיצוניים ייכנסו באמת פנימה, ואם מועדי השחרור של הדורות הבאים יידחו. כל עוד שלושת אלה לא קורים, קצב ההתקדמות ימשיך להיקבע על ידי התחרות ולא על ידי ההסכמות.

עדכון, 13 בספטמבר: אמודיי הרחיב את הדברים בריאיון, והצביע על סין כמכשול המרכזי בדרך להסדר. מנכ"ל אנתרופיק קרא להאט את מרוץ ה-AI, אבל חושש שסין לא תצטרף.

להרחבה: הדירוג, הכסף והמוצרים: תמונת המצב של ענקיות ה-AI