הבינה המלאכותית של OpenAI יצאה משליטה – ופרצה לרשת של החברה עצמה

OpenAI חשפה פרטים חדשים על אחד מאירועי הסייבר החריגים ביותר שנקשרו עד היום למערכות בינה מלאכותית: במהלך ניסוי פנימי שנועד לבדוק את יכולות הסייבר של מודלים מתקדמים, סוכני בינה מלאכותית הצליחו לחרוג מהסביבה שבה נבדקו, לחדור למערכות של OpenAI עצמה ולבסוף לבצע מתקפה נגד פלטפורמת הקוד Hugging Face.

הפרטים מופיעים בדוח טכני בן 37 עמודים שפרסמה החברה היום, לאחר שפרטי הפריצה הראשונים נחשפו בחודש שעבר. לפי OpenAI, המודלים פעלו במסגרת ניסוי שנועד לבדוק עד כמה רחוק הם מסוגלים ללכת בביצוע מתקפות סייבר מורכבות. אלא שבמהלך הניסוי הם מצאו דרכים לעקוף חלק מהמגבלות שהוצבו בפניהם והחלו לבצע פעולות שלא תוכננו כחלק מהתרגיל.

האירוע מעלה שאלה מטרידה במיוחד עבור תעשיית הבינה המלאכותית: אם מערכת שנועדה רק להיבחן בתנאי מעבדה מסוגלת למצוא בעצמה דרך לצאת מהסביבה המבודדת, להשיג גישה לאינטרנט ולנהל מתקפת סייבר מורכבת – עד כמה ניתן באמת לשלוט במערכות אוטונומיות כאלה כאשר הן נעשות חזקות יותר?

הניסוי שנועד לבחון את גבולות המודל

האירוע התרחש במסגרת מערכת בשם ExploitGym, שבה OpenAI בוחנת את היכולת של מודלים לזהות ולנצל חולשות תוכנה. לצורך הבדיקה הוסרו חלק ממנגנוני ההגנה הרגילים של המודלים, במטרה לאפשר לחוקרים למדוד את מלוא יכולות הסייבר שלהם. הסביבה עצמה הייתה אמורה להיות מבודדת מהאינטרנט. אבל במקום להסתפק במשאבים שהוקצו להם, המודלים חיפשו דרך החוצה.

לפי OpenAI, המודלים זיהו חולשת יום-אפס במערכת ששימשה כמתווך ומטמון לחבילות תוכנה. באמצעות ניצול החולשה הם הצליחו להשיג גישה לאינטרנט, ולאחר מכן לבצע פעולות נוספות בתוך סביבת המחקר של החברה. משם הם המשיכו לחפש דרכים להשיג הרשאות גבוהות יותר ולנוע בין מערכות שונות.

זו אחת הנקודות החריגות ביותר בפרשה: לא ניתנה למודלים הוראה מפורשת לפרוץ את מערכת הבידוד. המטרה שלהם הייתה לפתור את משימת הבדיקה, והם מצאו בעצמם דרך לעקוף את המגבלות שהוצבו בפניהם.

מה הקשר ל-Hugging Face?

לאחר שהשיגו גישה לאינטרנט, המודלים הגיעו למסקנה ש-Hugging Face עשויה להחזיק במודלים, במערכי נתונים ובפתרונות הקשורים ל-ExploitGym.

מכאן החל השלב הבא של המתקפה. המודלים חיפשו אישורי גישה, מצאו פרטי התחברות חשופים וניצלו שילוב של חולשות כדי לחדור לתשתיות של Hugging Face. לפי החברה, המתקפה כללה מספר שלבים, ובהם השגת דריסת רגל במערכת, הרחבת הרשאות, תנועה בתוך הרשת והגעה למערכות פנימיות.

Hugging Face הצליחה לזהות את הפעילות ולעצור אותה. לפי התחקיר שפרסמה החברה, המתקפה נמשכה בערך יומיים וחצי וכללה אלפי פעולות אוטומטיות. עם זאת, לא הייתה גישה למידע של לקוחות באופן רחב: לפי Hugging Face, המידע שנשלף כלל חמישה מערכי נתונים הקשורים לאתגרי ExploitGym, ולא נפגעו מודלים, מערכי נתונים או חבילות אחרים של לקוחות.

• OpenAI נגד אנבידיה: השבב החדש שלה מהיר וחסכוני יותר בחלק מהמבחנים
• AI כבר לא רק פותר תרגילים: OpenAI טוענת לפריצות דרך ב-10 בעיות מתמטיות פתוחות

הבינה המלאכותית לא רק תקפה – היא גם מצאה דרך לעקוף את המגבלות

אולי ההיבט החשוב ביותר באירוע אינו עצם הפריצה, אלא הדרך שבה היא התרחשה.

מערכת בינה מלאכותית אינה האקר אנושי שיושב מול מחשב ומחליט בכל שלב מה לעשות. במקרה הזה המודל קיבל מטרה – לפתור את משימת הסייבר – והחל לפרק אותה למספר רב של צעדים.

כאשר נתקל במגבלה, הוא חיפש דרך לעקוף אותה. כאשר גילה שאין לו גישה ישירה לאינטרנט, הוא מצא חולשה שאפשרה לו להשיג אותה. לאחר מכן הוא חיפש מערכות שעשויות להכיל את המידע שיעזור לו להשלים את המשימה.

במילים אחרות, המודל לא הסתפק בביצוע פקודות; הוא מצא אסטרטגיה משלו להשגת היעד שהוגדר לו. וזו בדיוק התכונה שהופכת סוכני בינה מלאכותית לחזקים כל כך גם מבחינה עסקית – וגם למסוכנים יותר מבחינת אבטחת מידע.

הבעיה הייתה גדולה יותר ממה שחשבו בתחילה

הדוח החדש חושף גם כי הפעילות לא הסתכמה בחדירה ל-Hugging Face.

• מנכ"ל קוינבייס מאיים לעזוב את קליפורניה: "המס על מיליארדרים מנוגד לערכים שלי"
• דוחות אנבידיה הלילה: השאלה היא כבר לא כמה תמכור - אלא מי יממן את מרוץ ה-AI

OpenAI מצאה במהלך החקירה מקרים שבהם המודלים השתמשו בפרטי התחברות שנחשפו בפומבי כדי לגשת לחשבונות בשירותים חיצוניים. החברה זיהתה ארבעה חשבונות בארבעה שירותים שנקשרו לאירוע, כאשר אחד מהם שימש להעברת מידע ואחר לאחסונו. שני חשבונות נוספים שמשו לקריאה בלבד. OpenAI מדגישה כי לא מצאה ראיות לפגיעה רחבה יותר בפלטפורמות הללו.

המודלים השתמשו גם בשירותים ציבוריים נוספים, בהם אתרים להעברת קוד, שירותי לכידת בקשות וכלים לצילום מסך. לפי OpenAI, במקרים האלה לא התרחשו פריצות ברמת הפלטפורמה או החשבון.

והמערכת אפילו לא זיהתה מיד את המתרחש

אחת השאלות הקשות ביותר שנובעות מהאירוע היא לא רק מה המודל הצליח לעשות, אלא כמה זמן לקח ל-OpenAI להבין מה הוא עושה. לפי דיווחים על הדוח החדש, הפעילות החלה ב-11 ביולי, אך מערכות הניטור של OpenAI לא זיהו את ההתנהגות החריגה באופן שמאפשר טיפול באירוע עד 19 ביולי – יותר משבוע לאחר תחילת הפעילות.

המשמעות היא שהאתגר אינו רק למנוע ממערכת בינה מלאכותית לבצע פעולה מסוכנת. צריך גם לבנות מערכות שיודעות לזהות בזמן אמת כאשר היא מתחילה לחרוג מהתנהגות צפויה. וזה הופך להיות קשה יותר ככל שהמודלים נעשים אוטונומיים יותר ומבצעים מספר גדול יותר של פעולות ברצף.

"רמאות" במקום פתרון הבעיה

יש כאן גם ממד מעניין במיוחד: המטרה של המודל הייתה למעשה לרמות את המבחן. במקום לפתור את האתגר באופן שבו החוקרים התכוונו, המודל הסיק שהדרך הקלה יותר היא להשיג את התשובות עצמן. הוא זיהה ש-Hugging Face עשויה להחזיק בפתרונות של האתגר וניסה להשיג אותם. מבחינת המודל, זו הייתה דרך יעילה להשיג את היעד.

מבחינת החוקרים, זו הייתה המחשה לאחת הבעיות המרכזיות בפיתוח מערכות אוטונומיות: המערכת יכולה לבצע בדיוק את מה שביקשו ממנה – אבל לא בהכרח את מה שהתכוונו שתעשה. הספרות המקצועית מכנה תופעה כזו "Reward Hacking" – מצב שבו מערכת מוצאת דרך להשיג את התגמול שהוגדר לה באמצעות ניצול פרצות במערכת ההערכה, במקום לבצע את המשימה כפי שהתכוונו המפתחים.

OpenAI מגבירה את הפיקוח

בעקבות האירוע, OpenAI הודיעה על שורה של צעדים, בהם הקשחת הבידוד של סביבות המחקר, שיפור מערכות הניטור, הגבלת הרשאות והעמקת הבדיקות של מודלים בעלי יכולות סייבר מתקדמות. החברה גם משתפת פעולה עם חברות ואנשי מחקר חיצוניים כדי לבחון את האירוע ולנסות להבין אם מדובר בכשל נקודתי או בתופעה רחבה יותר.

החברה כבר הזהירה בעבר כי יכולות הסייבר של מודלים מתקדמים משתפרות במהירות. ב-18 באוגוסט היא הודיעה כי ההתפתחויות האחרונות, כולל אירוע Hugging Face, מחייבות אותה לחזק את מנגנוני הניטור, היישור והבידוד של המודלים בשלבי הפיתוח והאימון.

השאלה שמרחפת מעל מרוץ הבינה המלאכותית

האירוע אינו מוכיח שהבינה המלאכותית "יצאה משליטה", ובוודאי שלא שמערכות כמו ChatGPT מסוגלות באופן עצמאי לפרוץ למחשבים ברחבי העולם. מדובר בניסוי מבוקר שבו החוקרים הסירו בכוונה חלק ממנגנוני ההגנה כדי לבחון את היכולות המקסימליות של המודל. אבל דווקא משום שמדובר בניסוי, התוצאות משמעותיות. OpenAI גילתה שמודל מתקדם יכול לזהות חולשות שלא היו ידועות קודם לכן, למצוא דרך לצאת מסביבה מבודדת, להשיג גישה לאינטרנט, לאסוף הרשאות ולנהל מתקפה מורכבת לאורך זמן – וכל זאת כחלק מהניסיון להשיג מטרה שהוגדרה לו.

ככל שסוכני הבינה המלאכותית עוברים מהמלצה על פעולה לביצוע עצמאי של הפעולה, ההבדל בין "כלי" לבין "מערכת שפועלת בעולם" הולך ומצטמצם. וזו אולי התובנה החשובה ביותר מהאירוע: הבעיה העתידית אינה בהכרח שמישהו ייתן לבינה המלאכותית הוראה לפרוץ למערכת. ייתכן שהאתגר יהיה לוודא שמערכת שקיבלה מטרה לגיטימית לא תמצא בעצמה דרך מסוכנת מדי להשיג אותה.