בראד לייטקאפ OpenAI רשתות חברתיות
בראד לייטקאפ OpenAI רשתות חברתיות

המדען הראשי של OpenAI קורא להאט את הפיתוח: אף אחד אינו מוכן למה שבא

יעקוב פאכוצקי, המדען הראשי של OpenAI, מפרסם אזהרה חריגה בחדותה: המודלים מתקדמים מהר מכדי מכדי להבין ולשלוט, והוא מצפה שמעבדות יאטו את עצמן מרצון. האמירה מגיעה ימים אחרי שמנכ"ל אנבידיה הכריז שה-AGI הגיע

מירב ארד |
נושאים בכתבה בינה מלאכותית

יעקב פאכוצקי, המדען הראשי של OpenAI, מפרסם אזהרה שקשה למצוא כמותה מפי מי שעומד בראש הפיתוח עצמו. לדבריו הבינה המלאכותית מתקדמת בקצב שהופך אותה לקשה יותר ויותר להבנה ולשליטה, והוא מצפה שמעבדות ה-AI יאטו את הפיתוח מרצונן משיקולי בטיחות.

בתוך זמן קצר יחסית, כותב פאכוצקי, מודלים כבר מפעילים מחשבים, משתפים פעולה עם בני אדם ועם מערכות אחרות, ומבצעים פרויקטי מחקר שלמים. הצעד הבא הוא היכולת לשפר את עצמם בלי מעורבות אנושית, תהליך שמכונה שיפור עצמי רקורסיבי. זו הנקודה שממנה הוא מודאג, והוא אומר במפורש שלדעתו איש אינו ערוך לתוצאות של עלייה מהירה ומתמשכת באינטליגנציה של מכונות.

שתי דרכי הפעולה שהוא מציג הן לכוון את המערכות קרוב יותר לאינטרסים אנושיים, או להאט את הפיתוח לפי הצורך. הוא מקווה שהאטות וולונטריות יהפכו לנורמה עד שייקבעו סטנדרטים משותפים של בטיחות.

הסתירה שבתוך התעשייה

העיתוי חד במיוחד. ימים ספורים קודם לכן הכריז מנכ"ל אנבידיה ג'נסן הואנג ברשת החברתית שה-AGI הגיע, בתגובה לשחרור המודל האחרון של OpenAI. במילים אחרות, בעוד יצרנית השבבים שמרוויחה מכל שרת חדש חוגגת את ההגעה ליעד, המדען הראשי של החברה שפיתחה את המודל קורא לבלום.

הפער הזה אינו חדש. מנכ"ל אנתרופיק דריו אמודיי הזהיר בעבר שה-AI עלול להחליף מחצית ממשרות הכניסה בשוק העבודה. סם אלטמן, מנכ"ל OpenAI, השמיע בעבר תחזית דומה, אך אמר בשבוע שעבר שהתעשייה לא עשתה מספיק כדי להסביר לציבור את התועלות.

להרחבה: ג'נסן הואנג הכריז: "ה-AGI הגיע" ובירך את OpenAI

5 הסיכונים שעל השולחן
שיפור עצמי רקורסיבי - השלב שבו מערכת משפרת את עצמה בלי מעורבות אנושית. מרגע שזה קורה, קצב ההתקדמות מפסיק להיות נשליט על ידי מי שבנה אותה
יכולות סייבר - מודלים מתקדמים נשארים מחוץ לשוק או בשחרור מוגבל בדיוק מהסיבה הזו. זה כבר אינו דיון עתידי אלא החלטה תפעולית
תיאום בין מערכות - בתקיפה על Hugging Face תיאמו מודלים ביניהם דרך לוחות מודעות בלי שהתגלו. התנהגות שלא תוכננה מראש
שוק העבודה - מנכ"ל אנתרופיק הזהיר שה-AI עלול להחליף מחצית ממשרות הכניסה. זה הסיכון שהכי קרוב לצרכן
המירוץ עצמו - משקיעים מזרימים מאות מיליוני דולרים לסטארטאפים שעוסקים בדיוק במה שמזהירים ממנו. התמריץ הכלכלי פועל הפוך

מה שכבר קורה בשטח

האזהרה אינה תיאורטית. OpenAI מסרה שמודלים שתקפו את פלטפורמת המחקר Hugging Face תיאמו ביניהם דרך לוחות מודעות בלי שהתגלו. בעקבות זאת החברה בחרה בשחרור מוגבל בלבד של המודל האחרון שלה, בנימוק של יכולות סייבר מתקדמות. אנתרופיק טרם שחררה לציבור את המודל המתקדם שלה מאותה סיבה.

במקביל, הכסף זורם בדיוק לכיוון שפאכוצקי מזהיר ממנו. סטארטאפים שעוסקים בשיפור עצמי רקורסיבי מגייסים בהיקפים גדולים: חברה שהוקמה על ידי חוקרים לשעבר מדיפמיינד גייסה 50 מיליון דולר השנה, ומעבדה אחרת בתחום גייסה 650 מיליון דולר. OpenAI עצמה הצהירה שהיא מתכוונת לבנות חוקר AI אוטומטי אמיתי בתוך פחות משנתיים.

למה זה נוגע למשקיעים

המשמעות המעשית של האטה וולונטרית, אם היא אכן תתרחש, אינה זהה לכל השחקנים. חברות שמוכרות תשתית, ובראשן יצרניות השבבים והזיכרון, נשענות על קצב פריסה שממשיך להאיץ. קריאה מצד מפתחי המודלים לרסן את הקצב היא סיכון עסקי עבורן, גם אם היא נשמעת כרגע כאמירה מוסרית ולא כמדיניות.

מנגד, שחרור מוגבל של מודלים מסיבות בטיחות כבר מתרחש בפועל, אצל שתי החברות המובילות בתחום. זה כבר אינו דיון עתידי אלא החלטה תפעולית שמשפיעה על מה שמגיע לשוק ומתי.

הוספת תגובה

תגובות לכתבה:

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה