אנתרופיק קוראת להאט את מרוץ ה-AI - מגיעים לקו הסכנה

אנתרופיק שנחשבת למובילה בתחום ה-AI ולמתחרה ראש בראש עם OpenAI וג'ימיני של גוגל במרוץ למודלים החזקים בעולם, פרסמה קריאה לגופים המתחרים לשקול האטה ואף עצירה זמנית של פיתוח מודלים מתקדמים, אם יתחזק החשש שהמערכות מתקרבות ליכולת לשפר את עצמן ללא התערבות אנושית.

מדובר במסר חריג, במיוחד כשהוא מגיע מחברה שנמצאת בעצמה בחזית המרוץ. אנתרופיק, המפתחת את Claude, הפכה בתוך זמן קצר לאחת מחברות הטכנולוגיה הפרטיות החשובות בעולם. לפי הערכות, היא סיימה לאחרונה סבב גיוס לפי שווי שמתקרב לטריליון דולר, ובמקביל החלה לקדם תהליך לקראת הנפקה. החברה שמזהירה מהמרוץ היא גם אחת הנהנות הגדולות ממנו.

לפי אנתרופיק, המודלים המתקדמים משתפרים בקצב מהיר, עד שייתכן שהעולם יתקרב בשנים הקרובות לשלב של "שיפור עצמי רקורסיבי", מצב שבו מערכות AI מסוגלות לשפר את עצמן, לייצר גרסאות חזקות יותר, לייעל קוד, לבצע מחקר, לאתר חולשות ולפתח יכולות חדשות בלי תלות מלאה במהנדסים. זה עדיין לא קרה, וגם בחברה מדגישים שזה אינו בלתי נמנע, אך לטענתם זה יכול להגיע מהר יותר מכפי שממשלות, רגולטורים וחברה אזרחית מוכנים אליו.

החשש אינו תיאורטי בלבד. בשנה האחרונה מודלי AI הפכו טובים בהרבה בכתיבת קוד, ניתוח מערכות, איתור בעיות אבטחה, ביצוע מחקר ועבודה עם כלים חיצוניים. ככל שהמודלים מקבלים יכולות תכנון, הפעלה, ניתוח ותיקון, עולה השאלה איפה עובר הגבול בין כלי שמסייע למפתח לבין מערכת שיכולה להתחיל לשפר את עצמה. מבחינת אנתרופיק, זה הרגע שבו צריך לייצר מנגנון עצירה אמין לפני שהמערכת יוצאת משליטה.

עצירה עולמית: מי יוודא שכולם עומדים בה?

הקריאה של אנתרופיק אינה לעצור מייד את כל תעשיית ה-AI. החברה מדברת על אפשרות מעשית להאט או לעצור זמנית את פיתוח המודלים החזקים, כדי שמנגנוני הפיקוח, המחקר והבטיחות יוכלו להדביק את קצב הטכנולוגיה. לא בלימה של כל התחום, אלא בלם חירום למקרה שהמודלים יגיעו לרף סיכון גבוה.

הבעיה היא איך עושים את זה בפועל. עצירה כזו מחייבת הסכמה רחבה בין חברות מתחרות, מדינות, מעבדות מחקר, גופי ענן ויצרניות שבבים. היא גם מחייבת מנגנון אימות - דרך לוודא שאף חברה או מדינה אינה ממשיכה לאמן מודלים בסתר בזמן שאחרות עוצרות.

אנתרופיק משווה את האתגר להסכמי נשק גרעיני, אך כאן הבעיה מסובכת יותר. בסיסי טילים קשה להסתיר. ריצות אימון של מודלי AI אפשר להסתיר ביתר קלות, במיוחד אם יש גישה למחשוב ענן, שבבים מתקדמים או דאטה סנטרים במדינות שונות. בנוסף, התמריץ לרמות גבוה: מי שימשיך להתקדם בזמן שהאחרים עוצרים עשוי לפתוח פער טכנולוגי ומסחרי רחב.

הקריאה של אנתרופיק היא גם פוליטית וגם עסקית. היא אומרת לממשלות: אי אפשר להשאיר את ההחלטה רק לחברות. למתחרות היא אומרת: אם כולם ימשיכו לרוץ בלי בלמים, הסיכון המערכתי יעלה.

השאלה הגדולה היא האם עצירה עולמית בכלל אפשרית. מרוץ ה-AI אינו מתנהל רק בין חברות אמריקאיות. יש בו גם סין, אירופה, מדינות המפרץ, מעבדות מחקר פתוחות, גופי ביטחון וחברות ענן. כל שחקן חושש שאם הוא יעצור, האחר יעקוף אותו. זה בדיוק המבנה שהופך מרוצי טכנולוגיה למסוכנים: כולם מבינים שהאטה יכולה להיות הגיונית, אך כל אחד מפחד להיות הראשון שמאט.

• טראמפ דורש לקבל גישה למודלים מתקדמים של AI - לפני שהם יוצאים לשוק
• גל הנפקות הענק שמאיים לייבש את השוק - מהיכן יגיעו 300 מיליארד דולר?

גם אם הקריאה של אנתרופיק תישמע טוב בדיונים ציבוריים, הדרך ליישום רחוקה. צריך להגדיר מהו מודל מסוכן, איך מודדים יכולת לשיפור עצמי, מי מאמת את זה, איך מונעים רמאות, ומה עושים עם מדינה או חברה שממשיכה לפתח מתחת לרדאר.

בטיחות או רגולציה שתשרת את הגדולות?

כאן מתחילה המחלוקת. אנתרופיק נבנתה מראש סביב תדמית של חברה זהירה יותר, אחראית יותר וממוקדת בטיחות. המייסדים שלה הגיעו מתוך עולם ה-AI המתקדם, וחלק גדול מהמסר שלה לאורך השנים היה שהטכנולוגיה חזקה מדי מכדי להתנהל בלי מנגנוני הגנה. זה עזר לה לבדל את עצמה מ-OpenAI, מגוגל, ממטא ומחברות אחרות.

אך המבקרים טוענים שיש כאן גם אינטרס עסקי. כאשר חברה גדולה וממומנת היטב קוראת לרגולציה, האטה או מנגנוני פיקוח כבדים, זה עלול לחזק דווקא את החברות הגדולות. להן יש צוותים משפטיים, תקציבי בטיחות, קשרים בוושינגטון ויכולת לעמוד בדרישות מורכבות. סטארט אפים קטנים, מודלים פתוחים וחברות שמנסות להתחרות בעלויות נמוכות יותר עלולים להיפגע.

זו הטענה של חלק מהמבקרים: תחת כותרת של בטיחות, נוצר מנגנון שעלול להפוך לרגולציה שמקבעת את הכוח אצל המובילות. אם רק החברות הגדולות יוכלו לעמוד בדרישות פיקוח, אימות ואישורים, התחרות תיחלש. זה חשוב במיוחד סביב מודלים פתוחים, שבהם יש מאבק בין מי שרוצה להנגיש AI בזול יותר לקהילה רחבה, לבין מי שחושש שמודלים פתוחים יאפשרו שימוש מסוכן בלי בקרה.

במקביל, יש גם טענה הפוכה: דווקא החברות הגדולות הן אלה שמחזיקות ביכולות המסוכנות ביותר, ולכן דווקא עליהן צריכה להיות רגולציה כבדה יותר. אם אנתרופיק, OpenAI, גוגל או מטא מאמנות מודלים שיכולים להשפיע על שוק העבודה, סייבר, מדע, ביטחון ומידע ציבורי, אי אפשר להתייחס אליהן כמו לעוד חברת תוכנה.

• נחשפת לראשונה: Willow יוצאת לאור עם גיוס של 7 מיליון דולר כדי לפקח על סוכני AI
• הגיוס של Offroad: שבעה מיליון דולר לסוכני ה-AI שמנקים את עומס הזהויות בארגונים

האזהרה של אנתרופיק מגיעה בזמן שבו החברה עצמה צומחת בקצב מהיר. לפי הערכות, קצב ההכנסות השנתי שלה צפוי להגיע לכ-50 מיליארד דולר עד סוף החודש, לעומת כ-9 מיליארד דולר בסוף 2025. זינוק כזה מסביר למה המשקיעים מוכנים לתמחר אותה בשווי שמתקרב לטריליון דולר. החברה שמדברת על האטה נמצאת בעיצומו של מרוץ עסקי מואץ. היא מוכרת מודלים לארגונים, מתחרה על לקוחות מול OpenAI וגוגל, בונה תשתיות ענן, מושכת עובדים יקרים, ומתכוננת לשוק ציבורי שבו המשקיעים ירצו לראות צמיחה, לא עצירה.

זה מה שהופך את הקריאה שלה למורכבת. מצד אחד, ייתכן שהחברה באמת רואה מבפנים יכולות שמטרידות אותה. חברה שמפתחת את המודלים החזקים ביותר יודעת טוב יותר מרוב הציבור מה הם מסוגלים לעשות. מצד שני, ככל שהחברה גדולה יותר, כך קשה לנתק בין אזהרות בטיחות לבין אסטרטגיה עסקית.

גם דריו אמודיי, מנכ"ל אנתרופיק, כבר הזהיר בעבר שהבינה המלאכותית עלולה לפגוע בשוק העבודה, להגדיל אי שוויון ולמחוק חלק נרחב מהמשרות הלבנות בכניסה לשוק. הוא גם דיבר על סיכונים עמוקים יותר, כולל תרחישים שבהם מערכות חזקות מתנהגות בדרכים שקשה לחזות מראש. אלה אמירות שממקמות את אנתרופיק בצד המחמיר של הוויכוח.

עבור המשקיעים, הקריאה של אנתרופיק היא תזכורת לכך שתחום ה-AI כבר אינו רק סיפור של צמיחה. הוא גם סיפור של רגולציה, ביטחון, עבודה, תחרות גיאופוליטית והסכמות בינלאומיות. ככל שהמודלים נעשים חזקים יותר, כך גדל הסיכוי שממשלות יתערבו.

המשמעות הראשונה היא עלויות. חברות AI יידרשו להשקיע יותר בבטיחות, בדיקות, משפט, ציות, סייבר ואימות. זה יכול לפגוע בשולי הרווח, במיוחד אצל חברות שעדיין שורפות מזומנים. המשמעות השנייה היא האטה אפשרית בקצב ההשקות. אם מודלים מתקדמים יצטרכו לעבור בדיקות רחבות יותר, מחזור הפיתוח עשוי להתארך.

המשמעות השלישית היא יתרון לגודל. חברות עם תשתית ענן, שבבים, כסף וגישה לממשלות יוכלו להתמודד טוב יותר עם רגולציה. גוגל (GOOG), מיקרוסופט (MSFT), מטא (META), אנבידיה (NVDA) וחברות ענן גדולות עשויות דווקא להתחזק בסביבה כזו. מנגד, חברות קטנות יותר עלולות לגלות שהכניסה לתחום נהיית יקרה ומורכבת יותר.

אך יש כאן גם סיכון לחברות הגדולות עצמן. אם השיח הציבורי סביב AI יעבור מהתלהבות לחשש, אם ממשלות יתחילו לדבר על עצירות, רישיונות, בקרה על שבבים והגבלות על מודלים, השווי של החברות בתחום עלול לעמוד למבחן. שוק ההון אוהב צמיחה מהירה, אך פחות אוהב רגולציה לא צפויה.

עצם הקריאה חשובה. כאשר חברה שמוערכת בכמעט טריליון דולר, ומובילה בחזית ה-AI, אומרת שהעולם צריך לפחות לשקול בלם חירום, זה אומר שהשיח בענף משתנה. הבינה המלאכותית כבר לא מוצגת רק ככלי שמייעל עבודה, כותב קוד או עונה לשאלות. היא נתפסת יותר ויותר כתשתית כוח, בדומה לחשמל, שבבים, תקשורת ואפילו נשק אסטרטגי.

אנתרופיק מבקשת שהעולם יתכונן לפני שהמודלים יגיעו לשלב שבו קשה לעצור אותם. בינתיים, החברה ממשיכה לאמן את הגרסה הבאה של Claude.