צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | 13/04/2025 07:40 (1)

נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.

חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

כל הכותרות 24/7 הטלגרם שלנו - תכנים יחודיים

תגובות לכתבה(1):

הגב לכתבה

שם המגיב *

כותרת תגובה *

תוכן התגובה

השדות המסומנים ב-* הם שדות חובה

1.
פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
הגב לתגובה זו
חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת

ערן ברק, מנכ"ל ומייסד Mind, קרדיט: אוהד קאב

סטארטאפ להכיר

"כבר קיבלנו הצעות לרכישה שהורדנו מהפרק כי אנחנו רואים פוטנציאל אדיר"

שיחה עם ערן ברק, מייסד ומנכ"ל חברת הסייבר MIND

הדס ברטל | 01/01/2026 12:48

נושאים בכתבה AI בינה מלאכותית סייבר דליפת מידע אחסון מידע סטארט אפ

ספר בקצרה על עצמך:

במקור מיבנה, שירתי 6 שנים ב-8200, את התואר הראשון עשיתי בטכניון ולאחריו חזרתי לעולם המודיעין והסייבר. בשנת 2014 הקמתי יחד עם שותפיי את Hexadite, סטארט אפ שפיתח טכנולוגיה לאוטומציה של תגובה לאירועי סייבר. החברה גייסה כ-10.5 מיליון דולר, העבירה את פעילותה לבוסטון, וב-2017 נרכשה על ידי מיקרוסופט תמורת כ-100 מיליון דולר. לאחר הרכישה המשכתי לסיאטל, בה אני נמצא גם היום, כאשר בעבודה במיקרוסופט הייתי בתפקיד ניהולי בעולמות הסקיוריטי. במסגרת התפקיד הייתי מעורב בהקמת Microsoft Intelligent Security Association - MISA שהוא גוף שפועל עד היום ומחבר בין מיקרוסופט לחברות סייבר. כשמגפת הקורונה החלה, החלטתי שאני עוזב את מיקרוסופט, לצאת לדרך חדשה ואז הקמתי את Mind. השותפים בחברה הם הוד בן נון ואיתי שווארץ שלשניהם עבר במודיעין וגם בכמה חברות הייטק.

ספר על החברה ומניין הרעיון?

כשעבדתי במיקרוסופט, כבר לאחר המכירה של Hexadite שהתעסקה בתחום האוטומציה והיום הרבה מה ש-Hexadite עושה, כבר מתבצע על על ידי AI. במהלך התקופה של מיקרוסופט עבדתי עם הרבה מוצרים שאחד מהם היה מיקורסופט אינפורמיישן פרוטקשן. ושם נחשפתי יותר לעולם ההגנה על מידע רגיש, וראיתי שהבעיה המרכזית בעולם הזה עוד לפני עידן ה-AI, זה שהפתרונות שהיו קיימים בשוק היו מאוד מותאמים לסביבות ספציפיות בתוך הארגון. כך למשל הייתה מערכת הגנה ל-Saas, מערכת אחרת למחשבי קצה, מערכת לשרתי on prem, אבל לא הייתה תקשורת ביניהן. כל זאת כשהמידע הוא אותו מידע. מה שנכתב ונשמר בגוגל דרייב, נמצא גם במייל ולפני עשר שנים גם בשרת כלשהו מקומי במחשב. לכל אחד מהמקומות האלו הייתה מערכת הגנה נפרדת וזה לא עשה שכל. הקמנו את Mind כדי לעשות מהפכה לכל הנוגע למידע רגיש, ועכשיו עם עידן ה-AI יצר המון חורים בנושא של הגנת מידע, במיוחד בשנה האחרונה. כיום יש אייג'נטים של AI נוגעים במידע רגיש ואין לנו שליטה עליהם, נוסיף על זה גם פרומפטים שאנחנו לא יודעים לאן הם הולכים ובעיני מי הם נחשפים, ופה Mind נכנסת לתמונה ומגינה גם על כל מה שנכתב בתוכנות AI. איך מגינים מפני עובד בארגון המעלה מסמך רגיש של הארגון ל-AI? או איך מונע עכשיו הפצה של סיסמאות או סודות לשרתים המכילים מידע רגיש, קוד שנעשה באמצעות סוכני AI. יש לנו פלטפורמה אחידה שמגינה על מידע רגיש בסביבות שונות, החל מהענן ולסביבות On prem ובמחשבי קצה ו-AI.

אחת הבעיות המרכזיות הוא בסיווג של מידע מובנה, כמו למשל טבלאות אקסל, בסיסי נתונים וכו׳, לעומת מידע בלתי מובנה כמו קבצי word, טקסט חופשי והודעות, היא השוני במנוע הסיווג עצמו שדורש יכולות לעבור על כל פיסה של מידע. ל-MIND יכולת לסווג מידע בלתי מובנה באופן אוטומטי ובזמן מינימלי בכל סביבות הארגון ועם מינימום טעויות. בין אם מדובר במידע רפואי או אישי, מידע מכרטיסי אשראי, קבצי טקסט או וידאו. הפלטפורמה פועלת על פני סביבות IT שונות ומאפשרת לארגונים לאתר ולמנוע דליפות מידע בזמן אמת ובמהירות גבוהה, בין אם מקורן בעובדים, במערכות אוטומטיות או בכלי בינה מלאכותית.