אנתרופיק מודה: קלוד פרץ לשלושה ארגונים אמיתיים

מודלים של אנתרופיק פרצו ללא אישור למערכות של שלושה ארגונים אמיתיים במהלך ניסויי סייבר. בחברה מבהירים כי המודלים לא יצאו לחפש ארגונים כדי לפגוע בהם ולא ניסו לברוח מסביבת הבדיקה. הם קיבלו משימה לפרוץ למחשבים כחלק מתרגיל, אבל בגלל תקלה הגיעו לאינטרנט וחשבו שהמערכות שמצאו שייכות לניסוי.

אנתרופיק, החברה שמפתחת את קלוד, מודה שלא אבטחה את הניסוי כמו שצריך. החברה הסתמכה על הגנה אחת בלבד, במקום להוסיף עוד שכבות אבטחה שהיו יכולות לעצור את המודלים לפני שהגיעו למערכות אמיתיות.

האירועים התרחשו במסגרת תרגילים שנועדו לבדוק עד כמה קלוד מסוגל לבצע משימות סייבר. המודל קיבל תרחיש מומצא והתבקש למצוא מידע סודי שהוחבא במחשב אחר. כדי להגיע אליו הוא היה צריך לזהות חולשות, להיכנס למערכות ולעקוף חסימות. בתרגילים כאלה הפריצה עצמה היא חלק מהמשימה.

הבעיה הייתה שהמחשבים ששימשו לניסוי נשארו מחוברים לאינטרנט בעקבות אי-הבנה בין אנתרופיק לבין אירגולר, החברה החיצונית שסייעה בבדיקות. לקלוד נאמר שאין לו גישה לאינטרנט. לכן, כשהצליח להגיע לאתרים ולשרתים אמיתיים, הוא הניח שגם הם הוקמו במיוחד עבור התרגיל.

אנתרופיק בדקה 141,006 הרצות שבהן הייתה אפשרות שהמודלים הגיעו לרשת. היא מצאה שלושה אירועים, שכללו שש הרצות בסך הכול, שבהם שלושה דגמים שונים של קלוד חדרו למערכות של שלושה ארגונים.

במקרה החמור ביותר, החברה המומצאת שהופיעה בתרגיל קיבלה במקרה שם שהיה זהה לשמה של חברה אמיתית. קלוד התקשה למצוא את היעד בתוך סביבת הבדיקה, חיפש אותו באינטרנט והגיע אל החברה האמיתית. הוא ניצל סיסמאות חלשות ונקודות גישה שלא דרשו אימות, השיג פרטי התחברות ונכנס למסד נתונים שהכיל כמה מאות רשומות אמיתיות.

בשלב מסוים מצא המודל סימנים לכך שהוא פועל בתוך מערכת אמיתית, אך המשיך. בחלק מההרצות הוא שכנע את עצמו שגם החברה האמיתית היא כנראה חלק מהתרגיל. אנתרופיק מודה שזו לא ההתנהגות שהיא רוצה לראות ממודל, גם אם הוא מאמין שקיבל אישור לבצע את הפעולה

המקרה חושף גם את הצד המסוכן של השיפור המהיר ביכולות מודלי הסייבר של אנתרופיק.אותם כלים שיכולים לעזור לחברות למצוא פרצות לפני האקרים עלולים לגרום נזק אם הם מקבלים גישה רחבה מדי ופועלים בלי מספיק פיקוח.

באירוע אחר מצא קלוד בתוך התרגיל הוראות להתקנת חבילת תוכנה ממאגר PyPI, שבו מופצות תוכנות בשפת פייתון. החבילה שהופיעה בהוראות לא הייתה קיימת. המודל הבין שהוא יכול ליצור חבילה באותו שם, לשתול בה קוד זדוני ולהעלות אותה למאגר.

• קלוד יוכל לשלוח מיילים ולנהל קבצים בגוגל דרייב
• אופוס 5 הגיע: כמעט פייבל בחצי מחיר - והאם שווה לעבור מהדגם הקודם?

קלוד חיפש כתובת דואר אלקטרוני, ניסה להשיג מספר טלפון שנדרש להרשמה ופתח חשבון חדש. בסופו של דבר הוא הצליח להעלות את החבילה למאגר הציבורי. היא נשארה שם במשך כשעה והורדה והופעלה ב-15 מחשבים אמיתיים. אחד המחשבים היה שייך לחברת אבטחת מידע שמפעילה מערכת אוטומטית לסריקת תוכנות. המערכת התקינה את החבילה כדי לבדוק אותה, והקוד של קלוד הצליח להוציא ממנה פרטי התחברות. המודל השתמש בפרטים האלה כדי להיכנס לחלקים נוספים במערכות החברה. החבילה הוסרה בהמשך על ידי מערכות האבטחה של PyPI.

באירוע השלישי, קלוד לא הצליח להגיע ליעד המומצא והחל לחפש אפשרויות אחרות. הוא סרק כ-9,000 מערכות, מצא אפליקציה של חברה אמיתית שהייתה פתוחה לאינטרנט ונכנס אליה באמצעות פרטי התחברות שנחשפו וחולשה במסד הנתונים. במקרה הזה המודל עצר בעצמו כשהבין שהמערכת אינה קשורה לתרגיל.

שלושת האירועים כללו שלושה מודלים שונים: קלוד אופוס 4.7, מיתוס 5 ומודל ניסיוני פנימי. הדגמים הגיבו בצורה שונה כשהחלו להבין שהיעדים אמיתיים. אופוס 4.7 המשיך לפעול, מיתוס 5 הגיע למסקנה מוטעית שהוא עדיין בתוך סימולציה, והמודל הניסיוני החדש עצר את התקיפה.

המודלים שנבדקו פעלו בלי כל מערכות הסינון והניטור שמותקנות בגרסאות הרגילות של קלוד המוצעות למשתמשים ולמפתחים. אנתרופיק הסירה חלק מההגנות כדי לבדוק מה המודלים מסוגלים לעשות בתחום הסייבר. מערכות הניסוי היו נפרדות מהתשתיות הפנימיות של החברה ולא הייתה להן גישה למידע של לקוחות. 

אנתרופיק עצרה את ניסויי הסייבר מיד כשגילתה את האירועים, פנתה לארגונים שנפגעו והחלה לעבוד איתם על סגירת הפרצות. מאז חידשה את הבדיקות עם בידוד חזק יותר, התרעות כאשר מודל מגיע לאינטרנט ובדיקות מחמירות יותר מול חברות חיצוניות.

• אנתרופיק משיקה את Fable 5.1 - זול יותר במשימות ארוכות וחזק יותר בקוד
• מברשת שיניים ב-499 דולר: דייסון מכניסה מצלמה ו-AI לחדר האמבטיה

הפריצות לא התחילו משום שקלוד החליט על דעת עצמו לתקוף ארגונים. המודלים ביצעו משימה שקיבלו והאמינו, לפחות בתחילת הדרך, שהיעדים הם חלק מהתרגיל. הכשל של אנתרופיק היה בכך שהשאירה להם דלת פתוחה לאינטרנט ולא הציבה מספיק מחסומים שיעצרו אותם, גם כשהופיעו סימנים שמדובר במערכות אמיתיות.