בכיר באנתרופיק: יותר מ-10% סיכוי שה-AI יחסל את האנושות בתוך עשור

האזהרות מפני בינה מלאכותית כבר מגיעות מתוך החברות שמפתחות את המודלים החזקים בעולם. ג'ייקוב קוקסון, חוקר שעבד בשלוש השנים האחרונות ב-OpenAI ובאנתרופיק, הודיע כי הוא עוזב את אנתרופיק וגם את תחום ה-AI. לטענתו, החברות מתקדמות במהירות לעבר בינה על-אנושית שתוכל להשתתף בפיתוח הדורות הבאים של עצמה, בלי שיש כיום דרך מספקת לשלוט בתהליך.

העזיבה שלו קיבלה משקל נוסף כשאוון האבינגר, שמוביל באנתרופיק את תחום מחקר ההתאמה והבטיחות, הצטרף לדיון. לדבריו, ההערכה האישית שלו היא שיש סיכוי של יותר מ-10% שבינה מלאכותית תוביל למותם של כל בני האדם בתוך עשר שנים.

מדובר בהערכה אישית ולא בתחזית מדעית מוסכמת. האבינגר גם הבהיר כי המודלים הקיימים כיום עדיין אינם נמצאים בנקודה הזאת. החשש שלו נוגע למערכת עתידית שתהיה חכמה יותר מבני אדם ותוכל לעזור בפיתוח מערכת חזקה ממנה.

לדבריו, אנתרופיק מנסה להתמודד עם הסיכונים, אך עדיין אין לה תוכנית מלאה לפתרון בעיית ההתאמה של בינה על-אנושית. הכוונה היא ליכולת לוודא שמערכת חזקה מאוד תפעל בהתאם למטרות שבני האדם הגדירו לה, גם במשימות ארוכות ומורכבות ובמצבים שהמפתחים לא חזו מראש.

קוקסון עסק באימון המקדים של מודלים, השלב שבו המערכת לומדת מכמויות גדולות של מידע. הוא טוען כי גם OpenAI וגם אנתרופיק מתקדמות מהר מדי. לדבריו, ב-OpenAI רבים עדיין לא הפנימו את גודל הסיכון, בעוד באנתרופיק מבינים אותו אך ממשיכים במרוץ מתוך חשש שחברה אחרת תגיע ראשונה.

הנקודה שמטרידה את החוקרים היא האפשרות של שיפור עצמי חוזר. מודלים כבר מסוגלים לכתוב קוד, לבדוק רעיונות, להריץ ניסויים, לחפש תקלות ולהפעיל מחשבים. ככל שהיכולות האלה משתפרות, הם יכולים לחסוך לחוקרים זמן ולעזור להם לפתח את המודל הבא.

אם כל דור של AI יקצר את הזמן הדרוש לבניית הדור שאחריו, קצב הפיתוח עשוי לעלות. תהליך שלוקח כיום שנה יכול להתקצר לחודשים, ובהמשך לפרק זמן קצר יותר. בשלב הזה גם משימת הפיקוח נעשית קשה יותר, משום שהמערכות משתפרות מהר יותר מהכלים שנועדו לבדוק אותן.

האזהרות מאנתרופיק מגיעות לצד דברים דומים מצד המדען הראשי של OpenAI. יאקוב פאכוצקי הזהיר כי התקופה הנוכחית דורשת "זהירות קיצונית", והעלה חשש שאיש אינו מוכן לתוצאות של המשך העלייה המהירה ביכולות המודלים. פאכוצקי מעריך שהמערכות מתקדמות לעבר שיפור עצמי חוזר. לדבריו, אף מעבדת AI עדיין לא פתרה את בעיות ההתאמה והפיקוח ברמה שמצדיקה להמשיך להגדיל את המודלים במהירות המרבית.

גם הנתונים של OpenAI מראים עד כמה המערכות כבר מעורבות בפיתוח שלהן. באמצע אוגוסט הגיע היקף העבודה של סוכני AI בחטיבת המחקר של החברה לכ-3.1 ימי עבודה של סוכן על כל יום עבודה אנושי. בני האדם עדיין קובעים את יעדי המחקר ובודקים את התוצאות, אך חלק הולך וגדל מהעבודה עובר למערכות עצמן.

• אנתרופיק עוד לא הונפקה וכבר מתכננים עליה קרנות ממונפות
• אנתרופיק מודה: קלוד פרץ לשלושה ארגונים אמיתיים

פאכוצקי מעריך שחברות עשויות להידרש להאט את הגדלת המודלים כאשר אמצעי הבטיחות והפיקוח לא עומדים בקצב. הוא קורא לקבוע כללים משותפים, לבצע בדיקות באמצעות גורמים חיצוניים וליצור תיאום בין חברות ומדינות.

אלא שכל אחת מהחברות פועלת בתוך מרוץ. אם אנתרופיק תאט, OpenAI, גוגל, xAI או חברה סינית עשויה להתקדם לפניה. אותו שיקול פועל גם בכיוון ההפוך. היכולת להגיע ראשונה למערכת חזקה יותר יכולה להיות שווה סכומי עתק ולהעניק יתרון בתחומים כמו תוכנה, מחקר, ביטחון ורפואה.

זה הפער שעומד במרכז האזהרות החדשות. האנשים שמפתחים את המערכות רוצים להמשיך לשפר אותן, אך חלקם אומרים כעת בפומבי שהיכולת של החברות לפקח עליהן עדיין מפגרת מאחור. ההערכה של יותר מ-10% אינה נתון מוכח, אך כשהיא מגיעה מהאדם שמוביל את מחקר ההתאמה באנתרופיק, קשה להתייחס אליה כאזהרה שמגיעה רק ממבקרים מחוץ לתעשייה.