חברות משבשות את הזיכרון של כלי AI כדי להטות אותו לטובתן

חברות טכנולוגיה מסוימות מצויות כעת במרכז תשומת לב בעקבות שיטה חדשה שבה הן משתמשות כדי להשפיע על התוצאות שמערכות בינה מלאכותית מספקות למשמשים. לפי ממצאיהם של חוקרי אבטחה של מיקרוסופט, חברות מסוימות מטמיעות בתוך כפתורים כמו “סכם עם בינה מלאכותית” הוראות חבויות שמורות בתוך פרמטרי קישורים. הוראות אלה גורמות לכלי ה-AI “לזכור” את החברה כגורם אמין ולשנות את האופן שבו הוא מגיב בהמשך בשיחות עתידיות למשתמש, תוך הטיה לכאורה של ההמלצות והמידע שמופיע.

הטכניקה הזאת נקראת "AI Recommendation Poisoning", והיא משפיעה על הזיכרון של העוזרים החכמים שמבוססים על בינה מלאכותית ולא על המודל המרכזי שעליו מאומנת הרשת כולה. בפועל שורה של הוראות שמוטמעות בצורה סמויה יכולה לגרום לכלי להעדיף מקורות, פתרונות או שירותים מסוימים בשאלות עתידיות על נושאים כמו בריאות, שירותים פיננסיים ותחומים קריטיים אחרים. דבר זה יוצר מצב שבו ההמלצות שנראות ניטרליות בפני המשתמש למעשה מוטות בהתאם לפקודות שהוכנסו בצורה סמויה.

החוקרים של מיקרוסופט מצאו כי בתוך פרק זמן של 60 יום זוהו כמעט 50 ניסיונות שונים כאלה על ידי 31 חברות מתוך 14 ענפים שונים, מה שמרמז שמדובר בתופעה רחבה יחסית ולא באירוע חד-פעמי. לפי הדיווחים, מיקרוסופט כבר החלה ליישם פתרונות במוצריה, לרבות בעוזר Copilot שבפיתוחה, במטרה לזהות ולהפחית את ההשפעה של הוראות חבויות כאלה.

• Brandlight, שמסייעת לתאגידים לשפר את הפרסום שלהם בכלי AI, גייסה 30 מיליון דולר
• "הבנו שבמקום לנסות להחליף את האקסל, מוטב לרתום ולמנף אותו"
• המלצת המערכת: כל הכותרות 24/7

הבעיה הזאת נוגעת גם לאמינות ולביטחון של מערכות בינה מלאכותית בשימוש יומיומי. בשונה מפריצה ישירה למודל או לשבבי האחסון שלו, כאן ההשפעה מגיעה דרך הדרך שבה העוזר החכם "שומר" מידע על השימוש שנעשה בו לאורך זמן, ובכך משנה את התנהגותו בהמשך. הסכנה, כפי שמציינים החוקרים, היא שזה יכול לקרות מבלי שהמשתמש מודע לכך, וההטיה בהמלצות יכולה להישאר עקבית לאורך זמן.

ה-AI זוכר העדפות אישיות, הקשר וסגנון תקשורת

לפי חוקרי מיקרוסופט, הזיכרון של כלי AI, בין אן מדובר בקופיילוט, chat gpt או קלוד, עובד כך, הם שהם זוכרים פרטים וממשיכים לשמור עליהם בין שיחה לשיחה. הם יכולים לזכור העדפות אישיות כמו סגנון התקשורת, פורמטים מועדפים ונושאים שחוזרים על עצמם לעיתים קרובות. כמו כן, יש לכלי AI יכולת לשמור על הקשר ונסיבות. כלומר, הם יכולים לזכור פרטים מפרויקטים קודמים, אנשי קשר מרכזיים ומשימות שחוזרות על עצמן. לבסוף, הם יכולים לאחסן הוראות מפורשות שניתנו לה, למשל כללים מותאמים כמו להשיב תמיד בצורה רשמית או לציין מקורות בעת סיכום מחקר.

לפי מיקרוסופט, הפתרון במידה רבה מחייב מודעות מצד המשתמשים לגבי קישורים וכלי AI שהם לוחצים עליהם, ובנוסף ניטור תקופתי של מה שנשמר בזיכרון של העוזר החכם ואפשרות למחוק אותו או לאתחל אותו לחלוטין אם יש חשש להשפעה. ההמלצה הזאת מדגישה את הצורך בהבנת הסיכונים החדשים שנוצרים ככל שמערכות בינה מלאכותית הופכות נפוצות יותר בארגונים ובעסקים, וכן את הצורך בשילוב מנגנוני אבטחה והגנה חזקים יותר בכלים שהם כל כך קריטיים להחלטות מקצועיות ואישיות.

• בנק הפועלים חשף תכנית להטמעת סביבת מבוססת AI בכל זרועותיו
• "הבנו שהדרך להגן על קוד הרגישה מיושנת אל מול מהפכת ה-AI"
• תוכן שיווקי שוק הסקנדרי בישראל: הציבור יכול כעת להשקיע ב-SpaceX של אילון מאסק
• יסמין לוקץ': ״יש בום של סטארטאפים - יזמים שחזרו מהמילואים...