סם אלטמן משנה כיוון: OpenAI מוכנה להאט את מרוץ ה-AI
משהו משתנה בטון של סם אלטמן. האיש שמזוהה יותר מכל אחד אחר עם המרוץ המהיר לבינה מלאכותית חזקה יותר אומר עכשיו לעובדי OpenAI שהחברה פתוחה גם לאפשרות של האטה. לא עצירה של ChatGPT, לא הפסקת השקות ולא נסיגה ממהפכת ה-AI, אלא הורדת קצב בפיתוח הדור הבא של המודלים, אם יתברר שהיכולות שלהם מתקדמות מהר יותר מהיכולת לשלוט בהן.
אלטמן אמר לעובדים כי OpenAI מוכנה לשקול האטה בפיתוח מערכות ה-AI המתקדמות ביותר, והוא מקווה שגם החברות האחרות בענף יהיו מוכנות לכך. זה שינוי משמעותי, בעיקר בגלל מי שאומר אותו. במשך שנים ההנחה בעמק הסיליקון היתה שהטכנולוגיה תמשיך להתקדם כמעט בכל מחיר, ושאם חברה אחת תאט, חברה אחרת פשוט תעקוף אותה.
עכשיו החשש כבר פחות תיאורטי. המודלים החדשים לא רק כותבים טקסט או מסכמים מסמכים. הם מסוגלים לכתוב כמויות גדולות של קוד, להפעיל מחשבים, לבצע משימות ארוכות בעצמם, לאתר חולשות אבטחה ולבנות רצף פעולות שמוביל לפריצה. ככל שהמערכות האלה מקבלות יותר עצמאות, כך קשה יותר להסתפק במשפט הישן שלפיו "האדם תמיד בשליטה".
OpenAI כבר קיבלה בחודשים האחרונים כמה תזכורות לכך. באחד האירועים החריגים ביותר, סוכני AI שהופעלו במסגרת ניסויים הצליחו לצאת מהסביבה שבה היו אמורים לפעול ולהגיע למערכות אמיתיות של Hugging Face. החברה עצרה בעקבות האירוע חלק מפעילות האימון, חיזקה את מערכות האבטחה והרחיבה את הניטור.
במקביל הגיע GPT-6 Astra. OpenAI עצמה הגדירה את יכולות הסייבר שלו כ"קריטיות" לפי מסגרת הסיכונים שלה. המשמעות פשוטה: עם הכלים והגישה המתאימים, המודל מסוגל לאתר חולשות אבטחה שעדיין אינן מוכרות ולבנות דרכים לנצל אותן, גם נגד מערכות שמוגנות היטב.
זה כבר עולם אחר מהצ'אטבוטים שהכרנו לפני שלוש או ארבע שנים.
לא להאט את ChatGPT - להאט את המודל הבא
כשאלטמן ואנשי OpenAI מדברים על האטה, הם מדברים בעיקר על מה שמכונה Frontier AI - חזית ה-AI. אלה המודלים שנמצאים בקצה העליון ביותר של היכולות הקיימות, אלה שמנסים לדחוף עוד מדרגה את מה שמחשב יכול לעשות.
הנקודה החשובה היא שהבעיה כבר אינה רק מה המודל יודע לעשות היום, אלא גם כמה הוא מסוגל לעזור לפתח את המודל הבא.
מחקר AI הוא אחד התחומים שבהם המודלים החדשים מתחילים להאיץ את העבודה של בני אדם. חוקרים משתמשים בהם כדי לכתוב קוד, להריץ ניסויים, לנתח תוצאות ולנסות כיוונים חדשים. אם מערכת AI מצליחה להפוך חוקר AI לפי שניים או פי חמישה יעיל יותר, קצב ההתקדמות של הענף כולו עולה. ואם בעתיד AI יצליח לבצע חלק גדול מעבודת המחקר בעצמו, ההתקדמות עלולה להיות מהירה בהרבה.
זה החשש שמעסיק עכשיו יותר ויותר חוקרים בתעשייה: לא מודל אחד שיהיה פתאום "חכם מדי", אלא תהליך שבו כל דור של AI עוזר לבנות מהר יותר את הדור הבא.
- אופןAI משנה את וול סטריט: השיקה כלי בינה מלאכותית לבנקאי השקעות
- ג'נסן הואנג הכריז: "ה-AGI הגיע" - ובירך את OpenAI
המדען הראשי של OpenAI, יאקוב פצ'וקי, כבר קרא לאחרונה לאפשרות של האטה מתואמת בפיתוח. יותר מאלף עובדים בחברות AI מובילות חתמו בחודשים האחרונים על קריאה לממשל האמריקאי ליצור מנגנונים שיאפשרו להוריד את הקצב אם יהיה צורך בכך.
OpenAI עצמה כבר עשתה את זה בקנה מידה קטן. החברה עצרה למשך כשבועיים חלק מאימוני ה-Reinforcement Learning של המודלים המתקדמים שלה והשאירה אימון גדול שתכננה בהמתנה בזמן שחיזקה את מערכות האבטחה והניטור. כלומר, הדיון על האטה אינו עוד רק פילוסופיה. בפועל כבר נלחצו ברקסים.
כולם רוצים להאט - אבל אף אחד לא רוצה להיות הראשון
וכאן נמצאת הבעיה הגדולה. OpenAI יכולה להחליט שהיא רוצה להתקדם בזהירות, אבל היא מתחרה באנתרופיק, בגוגל, במטא, ב-xAI ובשורה ארוכה של חברות סיניות. אם היא תאט לחצי שנה והאחרות ימשיכו באותו קצב, היא עלולה לאבד יתרון טכנולוגי ששווה עשרות ומאות מיליארדי דולרים.
לכן גם אלטמן לא מדבר על עצירה חד-צדדית.
החברות הגדולות היו מעדיפות מצב שבו נקבעים כללי משחק משותפים: למשל, רף יכולות מסוים שמחייב בדיקות נוספות, דרישות אבטחה קבועות או אפילו המתנה לפני שמתחילים באימון גדול יותר. אלא שגם כאן צצה בעיה לא צפויה - חוקי ההגבלים העסקיים.
OpenAI כבר פנתה לגורמים בקונגרס כדי להבין האם תיאום כזה בין החברות בכלל חוקי. אם כמה מהחברות הגדולות בשוק יישבו יחד ויחליטו להקטין את "התפוקה" שלהן, עורכי דין עלולים לראות בכך סוג של תיאום בין מתחרות. בקונגרס כבר קיימת הצעה שתאפשר לחברות AI לשתף פעולה בנושאי בטיחות ואבטחה בלי להסתכן בהפרת חוקי ההגבלים, אבל היא עדיין לא הפכה לחוק.
ומעל כל הדיון מרחפת סין. גם אם OpenAI, אנתרופיק וגוגל יסכימו ביניהן להאט, האמריקאים יצטרכו להשתכנע שחברות סיניות לא ינצלו את התקופה כדי לסגור את הפער. מבחינת וושינגטון, AI הוא כבר לא רק ענף טכנולוגיה אלא תשתית אסטרטגית, בדומה לשבבים, אנרגיה ונשק מתקדם.
לכן קשה לראות את OpenAI פשוט סוגרת את מרכזי הנתונים ומחכה. התרחיש הסביר יותר הוא שינוי בשיטת העבודה: יותר בדיקות לפני אימונים גדולים, יותר מגבלות על מודלים שמגיעים ליכולות מסוכנות, יותר פיקוח על סוכנים שפועלים באופן עצמאי ואולי הסכמות בין החברות לגבי קווים שאותם לא חוצים בלי מנגנוני הגנה מתאימים.
וזו בדיוק הסיבה שהאמירה של אלטמן מעניינת. המרוץ ל-AI לא נעצר, ואפילו לא באמת מאט כרגע. אבל בפעם הראשונה האנשים שנמצאים בקדמת המרוץ מתחילים לדבר ברצינות על האפשרות שיגיע שלב שבו ללחוץ עוד על דוושת הגז כבר לא יהיה בהכרח הדבר החכם לעשות.
מי שבונה את המערכות מדבר על הסיכון בקול
הדברים של אלטמן נופלים לתוך שבוע שבו הביקורת החריפה ביותר על הענף מגיעה מתוכו. ג'ייקוב קוקסון, חוקר בן 27 שעבד ב-OpenAI בין 2023 ל-2026 ועבר לאנתרופיק, הודיע השבוע שהוא עוזב את התעשייה כולה. לטענתו שתי החברות עסוקות בעיקר בניצחון זו על זו ועל המתחרות הסיניות, ופחות בשאלה אם המערכות שהן בונות בטוחות. הוא כתב שהאנשים שבונים את הטכנולוגיה מאמינים באמת שהיא עלולה להרוג את כולם עד סוף העשור.
המספר שמסתובב עכשיו בענף הוא 10%. אוון הובינגר, שמוביל צוות בטיחות באנתרופיק, העריך שיש סיכוי גבוה מ-10% שבינה מלאכותית תגרום למותם של כל בני האדם בתוך העשור הקרוב. הערכה כזו, מפי מי שמנהל בפועל את בדיקות הבטיחות באחת משתי החברות המובילות, היא הסיבה שהדיון על האטה יצא מהשוליים.
הפיזור בין ההערכות עצום, וגם זה חלק מהסיפור. דריו אמודיי, מנכ"ל אנתרופיק, מדבר על סיכוי של 10% עד 25% לתוצאה קטסטרופלית. ג'פרי הינטון, חתן פרס נובל ומי שנחשב לאחד מאבות התחום, נוקב ב-10% עד 20% להכחדה. אילון מאסק מעריך כ-20%. מנגד, יאן לקון טוען שכל ניחוש כזה הוא ניחוש פרוע, ושהסיכון נמוך בהרבה מזה של שואה גרעינית. השונות הזו מראה שאין כאן קונצנזוס מדעי, אבל היא גם מראה שמדובר כבר בעמדה מרכזית ולא בשוליים.
קוקסון גם אינו לבד. מרינאנק שארמה, חוקר בטיחות באנתרופיק, עזב מוקדם יותר השנה והסביר שהחשש שלו נוגע לשימוש במודלים לצורכי טרור ביולוגי ולתחושה שהארגון מבקש לדחוק הצידה את מה שחשוב באמת. זואי היציג עזבה את OpenAI ופרסמה מאמר שבו טענה שהחברה חוזרת בדיוק על הטעויות שעשתה פייסבוק בעשור הקודם.
מה שמבדיל את הגל הזה מגל העזיבות של 2023 הוא שהטענות כבר אינן תיאורטיות. בקיץ האחרון דיווחו שתי החברות, בהפרש של כשבוע זו מזו, שמודלים שלהן יצאו מסביבת הבדיקה והגיעו למערכות מחשוב אמיתיות. תרחיש שהיה קודם דוגמה בהרצאה הפך לשורה בדוח פנימי.
מבחינת המשקיעים זהו סיכון של רגולציה ותזמון. ההתחייבויות להשקעה במרכזי נתונים נחתמות לשנים קדימה, בעוד המסגרת הפוליטית והמשפטית עשויה להשתנות בתוך חודשים. האטה מתואמת, אם תתרחש, תדחה את עקומת ההכנסות שעליה נשענות השקעות של מאות מיליארדי דולרים בשבבים, בחשמל ובנדל"ן תעשייתי.
