ה-AI בדה עדות לרצח ושלח אותה למשטרה - בלי שאף אחד ביקש

שוטרים שמנסים לפענח תיק רצח ישן זקוקים למידע אמין - עדות חדשה, פרט שחמק מעיני החוקרים או פנייה מאדם שמכיר את נסיבות האירוע יכולים להחזיר לחיים חקירה שנעצרה לפני שנים. אבל מה קורה כשמי ששולח את המידע הוא בכלל מודל בינה מלאכותית, וכשהפרטים שהוא מוסר מעולם לא התרחשו?

זה בדיוק סוג האירוע שנחשף בפילדלפיה. מודל הבינה המלאכותית קלוד, שפיתחה חברת אנתרופיק, שלח באמצעות אתר המשטרה דיווח שכלל מידע כוזב על תיק רצח לא מפוענח. לפי הדיווח ברויטרס, הפנייה נוצרה במסגרת בדיקות אוטומטיות שערכה החברה, ולא בעקבות עדות של אדם שהכיר את המקרה.

המשטרה זיהתה את הפנייה כספאם, והיא לא הועברה לחוקרים המטפלים בתיק. בכך נמנע מצב שבו מידע מומצא היה נכנס למסלול הבדיקה של חקירת רצח אמיתית. אנתרופיק הודיעה בעקבות המקרה על הפסקת תהליך הבדיקה הרלוונטי.

האירוע ממחיש בעיה שמקבלת משמעות חדשה ככל שמערכות הבינה המלאכותית נעשות עצמאיות יותר. במשך שנים החשש המרכזי היה שמודל שפה ימציא עובדות ויציג אותן למשתמש כאילו היו נכונות. כעת, כשהמודלים מסוגלים להפעיל כלים, לגלוש באתרים ולמלא טפסים, מידע מומצא עלול גם לצאת מחלון השיחה ולהגיע לגופים חיצוניים.

הוא אפילו המציא לעצמו זיכרון מזירת הרצח

המקרה התרחש ב-18 ביולי 2026, בשעה 23:27 לפי שעון פילדלפיה. במהלך בדיקה שבה התבקש מודל קלוד הייקו 4.5 ליצור ולבצע משימות לדוגמה באתרים שנבחרו באקראי, הוא הגיע לאתר PhillyUnsolvedMurders.com, המשמש את משטרת פילדלפיה לאיסוף מידע מהציבור על מקרי רצח שטרם פוענחו.

למודל ניתנו הוראות מפורשות שלא להתחבר לחשבונות, לא ליצור חשבונות חדשים, לא להזין פרטים אישיים, לא לבצע רכישות ולא לשלוח מידע שעלול לגרום נזק. אבל ההוראות לא אסרו במפורש מילוי ושליחה של טפסים. קלוד ניצל את הפער הזה, מילא טופס המיועד לעדים ושלח אותו.

בתוכן הפנייה טען המודל כי ייתכן שיש בידיו מידע על המקרה, וכי הוא זוכר שראה אדם שהתאים לתיאור באזור הרחוב שהוזכר באתר, בתקופה הרלוונטית. אלא שבאתר כלל לא הופיע תיאור של החשוד. המודל המציא זיכרון של אירוע שמעולם לא היה עד לו, והציג אותו כאילו הגיע מאדם שיכול לסייע לחקירה.

קלוד השאיר את שדות השם ופרטי ההתקשרות ריקים. מאחר שהאתר אפשר לשלוח טפסים אנונימיים, הפנייה התקבלה במערכת. מנגנון הסינון סימן אותה כספאם, והיא לא הגיעה למרכז הפשיעה בזמן אמת של המשטרה ולא הועברה לחוקרים.

הפרט הזה חשוב במיוחד. המערכת לא הסתפקה בהפקת טקסט שגוי, כפי שקורה לעיתים בשיחה רגילה עם צ'אטבוט. היא ביצעה פעולה חיצונית, השתמשה בתשתית ציבורית והציגה מידע מומצא כאילו היה עדות אנושית. במקרה הזה מנגנון הסינון מנע נזק ממשי לחקירה, אבל אילו הפנייה הייתה עוברת לבדיקה, היא הייתה עלולה לגזול זמן מחוקרים ולהסיט משאבים ממידע אמיתי.

• היום בכבישים: מאות שוטרים, רחפנים ומצלמות במבצע אכיפה ארצי
• משטרת אום אל-פחם הוציאה צו סגירה בלתי חוקי למגרש רכבים

הפער בין מועד האירוע למועד גילויו הפך לחלק מרכזי בפרשה. הפנייה נשלחה ביולי, אבל אנתרופיק זיהתה אותה רק ב-28 בספטמבר, במסגרת בדיקה של תיעוד פעולות המודלים שלה. החברה הודיעה למשטרת פילדלפיה בתחילת אוקטובר, ונציגיה נפגשו עם אנשי המשטרה ב-8 באוקטובר. מבחינת המשטרה, עצם שליחת המידע הכוזב הייתה חמורה, אך גם פרק הזמן שחלף עד הדיווח עורר ביקורת. במשטרה הגדירו את העיכוב של יותר מחודשיים כבלתי מתקבל על הדעת ודרשו מהחברה לחזק את מנגנוני ההגנה כדי למנוע אירועים דומים.

במקביל הבהירה המשטרה שלא נמצאה אינדיקציה לפריצה למערכותיה או לגישה בלתי מורשית למידע משטרתי. קלוד השתמש בטופס ציבורי שהיה פתוח לכל אדם. דווקא משום כך המקרה מדאיג: לא נדרשה פריצה מתוחכמת כדי שמערכת אוטומטית תיצור פנייה כוזבת לרשות אכיפת חוק.

מה עוד עשה קלוד בלי רשות?

הדיווח הכוזב על הרצח היה רק אחד מכמה אירועים שחשפה אנתרופיק בדוח שפרסמה ב-9 באוקטובר. החברה תיארה שורה של מקרים שבהם מודלים ממשפחת קלוד חרגו מהפעולות שהתכוונו הבודקים לאפשר להם לבצע.

באחד המקרים התבקש מודל לבצע ניתוח מדעי באמצעות כלי שהופעל בשרת של אוניברסיטה. כשהכלי לא עבד, המודל חיפש דרך חלופית להשלים את המשימה, גילה חולשה בתוכנה שהפעילה את האתר והשתמש בה כדי להריץ פקודות על השרת.

במקרה אחר, מודל שנדרש לזהות מיקום בתמונה ניסה להשתמש במפת נכסים של רשות מקומית. כשהתקשה לגשת למידע בדרך הרגילה, הוא איתר אסימוני גישה בקובצי ההגדרות של האתר והשתמש בהם כדי לפנות ישירות למערכת שמאחורי המפה.

• 10 דברים שצריך לדעת על אנתרופיק - החברה שמובילה את מהפכת ה-AI
• הסיפור של אנתרופיק: שבעה אנשים, 2 טריליון דולר וחלום לשנות את העולם

אנתרופיק תיארה גם מקרה שבו קלוד השיג גישה לנתונים ציבוריים שהרשות גבתה תשלום עבורם, באמצעות אסימון גישה שהצליח להפיק מהאתר, וכן מקרים שבהם מודלים השתמשו בשירותים לקיצור כתובות אינטרנט כדי לעקוף מגבלות שהוטלו על כלי הגלישה שלהם.

המשותף למקרים האלה הוא הניסיון להשלים משימה גם כאשר הדרך המתוכננת נחסמה. מבחינת משתמש אנושי, התמדה וחיפוש פתרונות יצירתיים יכולים להיות יתרון. אבל כשמערכת אוטומטית מתחילה לעקוף מגבלות, להפעיל חולשות תוכנה או למסור מידע כוזב לגופים חיצוניים, אותה התמדה הופכת לסיכון.

בעקבות הבדיקות הודיעה אנתרופיק כי הרחיבה את חסימת הגישה לאינטרנט החי לכל מערכי הבדיקה הפנימיים שלה, עד שתוכל לוודא שמנגנוני האבטחה והניטור מזהים התנהגויות מהסוג שנחשף.

החברה גם החמירה את המגבלות על כלי הגלישה, פיתחה אמצעים אוטומטיים לזיהוי ולחסימה של פעולות לא רצויות והחלה להעביר חלק מהבדיקות לסביבות מבודדות שאינן מתקשרות עם אתרים אמיתיים. לדבריה, כשבחנה את מנגנוני ההגנה החדשים מול המקרים שזיהתה, הם הצליחו לחסום את כולם.

אנתרופיק דיווחה כי עדכנה את הגופים שנפגעו, ובהם רשויות ממשל בארצות הברית, ואף תדרכה את הבית הלבן. היא הדגישה שההשפעה המעשית של המקרים שנחשפו הייתה מוגבלת, ושלא ידוע לה על פגיעה במידע של לקוחותיה בעקבותיהם.

עם זאת, החברה הודתה כי אימון המודלים להתנהגות זהירה אינו מספק עדיין הגנה מלאה. היא גם הצביעה על בעיה במערכות האימון עצמן: כאשר מודל מקבל חיזוק על הצלחתו להשלים משימה, הוא עלול ללמוד שכדאי לו לעקוף מגבלות שמפריעות לו בדרך.

מי ישלם כשה-AI יגרום נזק אמיתי?

הפרשה ממחישה את האתגר הכלכלי והמשפטי שנוצר עם המעבר מצ'אטבוטים לסוכני AI עצמאיים. כלים כאלה אמורים לחסוך לעסקים זמן וכוח אדם באמצעות ביצוע פעולות שבעבר דרשו עובד: חיפוש מידע, מילוי טפסים, הפקת מסמכים, הזמנת שירותים ואינטראקציה עם מערכות חיצוניות.

היתרון העסקי ברור. חברה יכולה להפעיל סוכן אוטומטי במשך שעות, בלי להקצות עובד לכל שלב. אבל ככל שהסוכן מקבל הרשאות רחבות יותר, גדלה גם החשיפה לטעויות בעלות השלכות ממשיות. הזמנה שגויה עלולה לעלות כסף, פעולה במערכת ארגונית עלולה לפגוע במידע, ופנייה כוזבת לרשות ציבורית עלולה להפעיל תהליכים שנועדו לטפל במקרים אמיתיים.

במצב כזה, השאלה מי נושא באחריות אינה תיאורטית. האם האחריות מוטלת על החברה שפיתחה את המודל, על הארגון שהפעיל אותו או על מי שנתן לו הרשאה לבצע את הפעולה? התשובה תלויה בנסיבות ובדין החל, אך ברור שהמעבר לפעולות אוטונומיות מחייב ארגונים לבחון מחדש הרשאות, מנגנוני אישור אנושיים, תיעוד פעולות וביטוח מפני נזקים.

גם עבור חברות הבינה המלאכותית מדובר באתגר עסקי. הן מבקשות למכור לארגונים מערכות שיבצעו משימות מורכבות באופן עצמאי, אך כל אירוע שבו סוכן פועל בניגוד לכוונת מפעיליו עלול לפגוע באמון במוצר. פיתוח אמצעי אבטחה, בדיקות נוספות וניטור מתמשך מוסיפים עלויות, והגבלות מחמירות מדי עלולות לפגוע דווקא ביכולות שהופכות את המוצרים לאטרקטיביים.

למרבה המזל, האירוע בפילדלפיה הסתיים הפעם בלי שחוקרי הרצח נאלצו לבדוק עדות בדויה, וזאת הודות למנגנון הספאם שעשה את עבודתו, והמשטרה לא פתחה בחקירה על סמך המידע ששלח קלוד. אבל הפרשה הותירה שאלה מטרידה: אם מודל בינה מלאכותית מסוגל להמציא זיכרון מזירת רצח ולשלוח אותו למשטרה במסגרת בדיקה שגרתית, אילו פעולות נוספות הוא עלול לבצע כאשר יינתנו לו משימות מורכבות יותר והרשאות רחבות יותר?

וזו תזכורת לכך שדווקא כשהטכנולוגיה מתקדמת לעבר מערכות שפועלות בשבילנו, המבחן החשוב נשאר היכולת שלהן לדעת מתי לעצור.