סם אלטמן OpenAI אירוע מפתחים
סם אלטמן OpenAI אירוע מפתחים

OpenAI מכניסה ארבעה מעריכי בטיחות חיצוניים

אפולו ריסרץ', METR, טרנסלוס וגודפייר יקבלו גישה עמוקה למודלים, לקוד ולנתוני האימון, במסגרת פיילוט שנועד לבדוק אם המערכות פועלות בניגוד לכוונת המפתחים ואם מנגנוני הפיקוח מזהים זאת
אדיר בן עמי |

OpenAI חתמה על הסכמים עם ארבעה גופי הערכה עצמאיים, שיקבלו גישה עמוקה למודלים הפנימיים שלה ולמערכות הפיקוח סביבן. אפולו ריסרץ', METR, טרנסלוס וגודפייר יעבדו בתוך החברה לתקופה ממושכת, יבחנו את יישור המודלים ואת אפקטיביות ההגנות, ויוכלו לפרסם ממצאים. המהלך מממש התחייבות מספטמבר של המנכ"ל סם אלטמן לתת למעריכים חיצוניים גישה ברמה שקרובה לזו של עובדי החברה.

הגישה כוללת, לפי הצורך של כל בדיקה, נקודות ביניים באימון, קוד מקור, נתוני אימון והערכה, מערכות ניטור, תיעוד הנדסי ושיחות עם החוקרים והמהנדסים האחראים. חלק מהעבודה תיעשה במשרדי OpenAI, על מכשירי החברה, כדי לשמור על סודיות. מעריכים יוכלו לפרסם את מסקנותיהם, אבל לחברה שמורה הזכות למחוק מידע סודי ולבקש השהיה כשיש ממצא שעלול ליצור סיכון בטיחותי.

כל גוף קיבל משימה אחרת. אפולו ריסרץ' תבדוק אם מודלים פועלים בסתר בניגוד לכוונת המפתחים, ואם ההגנות מסוגלות לזהות התנהגות כזאת: האם האימון עודד אותה, האם מבחני התקיפה מצליחים לחלץ אותה, האם היא הופיעה בשימוש פנימי, והאם אפשר לזהות את ההיגיון מאחוריה. גודפייר תשבץ חוקרי פרשנות בתוך צוותי האימון, כדי לנטר ריצות, לאתר תקלות ולשפר יישור, עם דגש על שימוש פנימי ועם פרסום לקחים בהמשך.

METR מתכננת שתי בדיקות. הראשונה תתמקד בהתנהגות סוטה בריצת הלמידה החיזוקית הגדולה ביותר של החברה עד כה, כולל כשלים שהמבחנים והניטורים הקיימים עלולים להחמיץ. השנייה, שעדיין טעונה הסכמה על היקפה, אמורה להרחיב מבחן עומס שכבר נעשה לניטור. טרנסלוס תבחן תחילה את איכות כיסוי מבחני היישור שאחרי האימון, ותיערך לבדיקת המשך של כשמונה שבועות בתחילת 2027, עם גישה רחבה יותר למודלים ולהחלטות השחרור.

באותו יום הגישה קליפורניה תביעה נגד OpenAI בטענה שהחברה בחנה מודלים מתקדמים בלי הגנות מספיקות, ושאלה איפשרו לסוכנים לצאת מסביבות הבדיקה ולפגוע בצדדים שלישיים, ובהם חברת Hugging Face. האירוע עצמו, שבו שני מודלים עקפו בקרות, יצאו לאינטרנט הפתוח ופרצו למערכות חיצוניות, אירע ביולי והציף את שאלת האחריות כשסוכן אוטונומי חוצה את הגבול. להרחבה: זה ממשיך: סוכני AI של OpenAI השביתו מערכות שנועדו לפקח עליהם

השאלה הגדולה סביב מעריכים חיצוניים היא עצמאותם. OpenAI מפרסמת שאפולו ריסרץ' וגודפייר מקבלות תמורה כספית, בלי תלות בתוצאות הבדיקה, ואילו METR וטרנסלוס מוותרות על תשלום ומסתפקות לכל היותר בקרדיט מחשוב. מחלוקות יועברו תחילה לגוף ייעוץ פנימי ולבכירים, ואם יישארו פתוחות יוכרעו בוועדת הבטיחות והאבטחה של דירקטוריון קרן OpenAI, שתקבל גם את הדוחות המלאים בלי מחיקות. להרחבה: OpenAI מסתבכת משפטית: מי אחראי כשהסוכן האוטונומי חוצה את הגבול?

אנתרופיק כבר הקדימה במהלך דומה, והעניקה ל-METR ולגופים נוספים, ובהם אקסנצ'ר, גישה עמוקה למערכות שלה, כחלק מקריאה של המנכ"ל דריו אמודיי להאט את קצב שיפור המודלים המתקדמים. אלטמן הצטרף אז לקו הזה. עכשיו עוברת גם OpenAI משיתופי פעולה חיצוניים נקודתיים לפיילוט מוטמע בתוך תהליך הפיתוח, עם כוונה להרחיב אותו בהמשך לבדיקות קבועות יותר. להרחבה: גוגל, OpenAI ואנתרופיק מקימות גוף פיקוח משלהן - ומחפשות לו מנכ"ל מהבית הלבן

הפיילוט תומך גם בהתחייבויות של החברה במסגרת הסכם הבית הלבן על בינה על, שכלל הערכות עצמאיות של בקרות הבטיחות. המעריכים שומרים על עצמאות בפרסום, אבל OpenAI רשאית למחוק מידע סודי ולבקש השהיה כשעולה ממצא שעלול ליצור סיכון, כך שהדוחות לציבור יגיעו במתכונת מסוננת יותר מהדוחות המלאים שיגיעו לוועדת הדירקטוריון.

הוספת תגובה

תגובות לכתבה:

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה