אנתרופיק מזהירה בתשקיף: ייתכן שאנחנו קרובים לבינה מלאכותית שמאיצה את הפיתוח של עצמה
תשקיף הנפקה הוא בדרך כלל מסמך יבש של מספרים, סעיפים משפטיים ואזהרות סטנדרטיות. התשקיף המעודכן של אנתרופיק מכיל גם פסקה שנשמעת כמו תסריט מדע בדיוני. בפרק גורמי הסיכון כותבת החברה שהמודלים שלה עלולים בקרוב מאוד לעמוד בהגדרה שקבעה במדיניות הבטיחות שלה להאצה דרמטית של ההתקדמות המדעית שנובעת מבינה מלאכותית. בשפה של התעשייה, מדובר במצב שמכונה RSI, שיפור עצמי רקורסיבי: מערכת AI שמסוגלת לשפר את עצמה ולהאיץ את פיתוח הדור הבא שלה.
הסף הזה מופיע במדיניות ההרחבה האחראית של אנתרופיק, מסמך שהחברה פרסמה לראשונה ב-2023 ומעדכנת מדי פעם. המדיניות קובעת רמות סיכון ליכולות של המודלים, ולכל רמה צמודים אמצעי זהירות מחמירים יותר. האזהרה בתשקיף משמעותית במיוחד משום שהיא מגיעה מהחברה עצמה, במסמך משפטי שמחייב אותה לגלות למשקיעים כל סיכון מהותי. להרחבה: אנתרופיק מעדכנת את התשקיף: ההכנסות זינקו ב-1,200%, ההפסד הגיע ל-104 מיליארד דולר.
לפי התשקיף, אף אחד מהמודלים הנוכחיים של החברה עוד לא חצה את הסף. עם זאת, אנתרופיק מודה שבעבר היא זיהתה קפיצות ביכולות של המודלים שלה באיחור, כלומר הבינה שהמודל השתפר משמעותית אחרי שזה כבר קרה. המשמעות היא שקשה לדעת מראש מתי בדיוק יגיע הרגע הזה, וייתכן שהחברה תגלה אותו בדיעבד.
בהמשך החברה מבהירה שהיא אינה מצפה שתוכל לאפשר בבטחה לקלוד לפתח באופן עצמאי את הדורות הבאים של המודלים. לכן היא שוקלת עדכונים למדיניות שנועדו להבטיח שבני אדם ימשיכו לשלוט בתהליך הפיתוח. התשקיף אינו מפרט אילו שינויים בדיוק נבחנים, אבל הכיוון ברור: יותר בקרה אנושית דווקא בשלב שבו המכונות מסוגלות לעשות יותר. להרחבה: שבעה מייסדים, קול אחד לכל אחד: כך בנויה השליטה באנתרופיק אחרי ההנפקה.
הסיבה שהנושא מטריד את התעשייה פשוטה. כיום, כל דור חדש של מודלים מפותח על ידי צוותים של חוקרים ומהנדסים, בתהליך שנמשך חודשים ועולה מיליארדי דולרים. אם מודל יוכל לבצע חלק גדול מהעבודה הזו בעצמו, קצב ההתקדמות עשוי להאיץ באופן חד, ויהיה קשה יותר לבדוק כל שלב ולוודא שהמערכת בטוחה. חוקרי בטיחות רבים רואים בכך את אחת מנקודות המפנה החשובות בפיתוח הבינה המלאכותית, משום שבשלב כזה היכולת של בני אדם לעקוב אחרי מה שהמערכת עושה, ולעצור אותה במקרה הצורך, עלולה להישחק.
בשנה האחרונה מודלים של אנתרופיק, OpenAI וגוגל כבר משמשים לכתיבת חלק משמעותי מהקוד בחברות עצמן. מכאן ועד מערכת שמתכננת ומבצעת מחקר באופן עצמאי המרחק עדיין גדול, אבל האזהרה בתשקיף מרמזת שהחברה רואה אותו מצטמצם.
יש גם זווית עסקית. האזהרה מופיעה במסמך שנועד לשכנע משקיעים לקנות מניות בשווי של טריליוני דולרים, וייתכן שחלקם יקראו אותה גם כהבטחה ליכולות מתקדמות. מצד שני, היא יכולה לשמש בעתיד גם כהגנה משפטית: אם החברה תאט פיתוח או תעכב השקה משיקולי בטיחות, היא תוכל להצביע על כך שהזהירה מראש.
להרחבה: אנתרופיק רוצה להראות ללקוחות על מה הם משלמים: כלים חדשים שמודדים את התשואה על הוצאות ה-AI. ההנפקה של אנתרופיק צפויה להיות אחת הגדולות בהיסטוריה של וול סטריט, ומסע השיווק למשקיעים צפוי לצאת לדרך בשבוע הבא. ככל הנראה, לצד השאלות על הכנסות, הפסדים והתחייבויות למחשוב, המשקיעים ירצו לשמוע מהמנכ"ל דריו אמודיי גם איך החברה מתכוונת לזהות את הרגע שבו המודלים שלה יתחילו לשפר את עצמם, ומה היא תעשה כשזה יקרה.
