בינה מלאכותית
צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | (1)
נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.


חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

תגובות לכתבה(1):

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה
  • 1.
    פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
    הגב לתגובה זו
    חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת
ניקש ארורה, מנכ"ל פאלו אלטו  (קרדיט: מולי גולדברג)ניקש ארורה, מנכ"ל פאלו אלטו (קרדיט: מולי גולדברג)
ראיון

מנכ"ל פאלו אלטו: "ריכוז הטאלנט הגדול בעולם בסייבר נמצא בישראל"

ניקש ארורה הביא את פאלו אלטו מ-18 מיליארד דולר ל-130 מיליארד דולר ומפרגן לניר צוק - “אי אפשר לדבר על פאלו אלטו בלי ניר צוק, בדיוק כמו שאי אפשר לדבר על אפל בלי סטיב ג’ובס. המורשת שלו חיה בחברה עד היום”

כשניקש ארורה מנכ"ל פאלו אלטו, נכנס לתפקיד לפני כשבע שנים הוא קיבל חברה גדולה, מרשימה, צומחת בשווי של 18 מיליארד דולר. היום הוא מנהל את החברה המובילה בתחום הסייבר ששווה 130 מיליארד דולר. זה הניהול שלו, זו האסטרטגיה של ניר צוק מייסד החברה והרוח החיה בארגון שזז לתפקיד הסמנכ"ל מו"פ  ונתן לארורה לנהל בהתאם לאסטרטגיה - צמיחה פנימית לצד צמיחה דרך רכישות. צוק פרש השנה במקביל לרכישת הענק של פאלו אלטו - סייבר ארק בתמורה ל-25 מיליארד דולר. 

ארורה פועל לשמר את כוחה של פאלו אלטו מול התחרות החזקה מהצדדים והוא מחזק את היתרון הגדול של החברה - תתפלאו זה לא הטכנולוגיה. טכנולוגיה טובה יש לחברות רבות, לפאלו אלטו יש פלטפורמה. היא מספקת מערכת רחבה ומלאה  של מוצרים. לא רק איזה פיצ'ר, ולא פתרון נקודתי, אלא את הכל.  אם חסר משהו - היא קונה. עכשיו היא הפנימה שתחום האימות זהויות קריטי בגלל מהפכת ה-AI) אז היא הציעה לסייברארק הצעה שאי אפשר לסרב לה. 

ארורה מתייחס במסיבת עיתונאים איתו להשלמת המיזוג וצופה שזה יהיה בין פברואר למאי. הוא מסביר שעובדי סייברארק יכולים להיות רגועים מבחינת תנאים, תגמול באופציות וכו', והוא מספק רמז לגבי ההמשך - "ריכוז הטאלנט הגדול ביותר בעולם בתחום הסייבר נמצא בישראל". במילים אחרותף, פאלו אלטו תמשיך לגייס עובדים תמשיך לרכוש חברות והסניף המקומי הגדול שלה שיגדל עכשיו בזכות המיזוג עם סייבר ארק רק יגדל בהמשך. 


מה היתרון של פאלו אלטו על פני מתחרות, המתחרות עלולות להשיג אתכם?

"תמיד קיים חשש שמישהו יחדש מהר יותר ממך, אך אנחנו סבורים שלחברה יש יתרון זמן ויתרון סקייל שמאפשרים לנו להוציא לפועל טוב יותר מרוב המתחרים. אנחנו חלק מאקוסיסטם של פלטפורמות לא של מוצרים בודדים ובזה ה יתרון שלנו". 

מייסדי Echo, צילום: ג'ני רוכליןמייסדי Echo, צילום: ג'ני רוכלין

חברת הסייבר Echo גייסה 50 מיליון דולר תוך 10 חודשים מאז הקמתה

החברה מפתחת מערכת הפעלה מאובטחת ליישומי ענן, המבוססת AI, ונוסדה על ידי צמד היזמים שהקים את Argon ב-2020 ונמכרה תוך שנה בסכום של 100 מיליון דולר


הדס ברטל |

חברת הסייבר Echo, המפתחת תשתיות תוכנה מאובטחות מבוססות AI, גייסה 35 מיליון דולר בסבב מסדרה A. הסבב הובל על ידי קרן N47 ובהשתתפות המשקיעים Notable Capital, Hyperwise Ventures ו-SentinelOne. גיוס סבב A נעשה ארבעה חודשים בלבד לאחר גיוס סיד בהיקף 15 מיליון דולר, והוא מביא את סך ההשקעות בחברה ל-50 מיליון דולר בתוך עשרה חודשים מאז הקמתה. 

Echo הוקמה בתחילת 2025 על ידי אילון אלחדד, מנכ"ל ועילם מילנר, CTO, יוצאי יחידות 8200 ואופק עם ניסיון של עשור בתחום הסייבר. אילון ועילם הקימו בשנת 2020 את Argon שנמכרה תוך שנה לאקווה סקיוריטי בסכום של 100 מיליון דולר. הפתרון של Echo כבר מותקן ופועל בהצלחה בעשרות ארגונים בהם Vectra AI, EDB, Port, UiPath, Varonis ועוד. בין שותפי החברה שביצעו עימה אינטגרציה נמנות החברות Wiz, Orca, Aqua, Mend, Anchor ורבים נוספים. Echo מעסיקה כיום 35 עובדים בישראל ובניו יורק ותשתמש בכספי ההשקעה לגיוס כוח אדם, האצת הפיתוח והתרחבות בשוק. 

החברה משתמשת בסוכני בינה מלאכותית ייעודיים שפועלים באופן אוטונומי לבניית תשתיות ענן מאובטחות מאפס ולתחזוקתן עם הופעת פגיעויות חדשות. כאשר חולשה (CVE) חדשה מתגלה בעולם, הסוכנים של Echo חוקרים אוטומטית את הפגיעות, מזהים את האימג'ים שמושפעים ממנה, מוצאים או מפתחים תיקונים, כולל ממקורות בלתי שגרתיים כמו תגובות ב-GitHub, פורומים ובלוגים, מיישמים פאצ'ים, מריצים בדיקות תאימות מלאות, ופותחים Pull Request לסקירה אנושית. הגישה מבוססת AI מאפשרת לצוות של 35 עובדים בלבד לתחזק יותר מ-600 אימג'ים מאובטחים, משימה שהייתה דורשת קודם לכן מאות חוקרי אבטחה.

“מחקרים מראים באופן עקבי שלמעלה מ-90% מהפגיעויות בקונטיינרים מקורן בשכבת ה-base image ולא בקוד האפליקציה,” אמר עילם מילנר, שותף-מייסד ו-CTO של Echo. “המשמעות היא שארגונים גדולים עם אלפי שירותי ענן מקבלים בירושה מיליוני בעיות אבטחה עוד לפני שהמהנדסים שלהם כתבו שורת קוד אחת.”

“ה-Time-to-Value שלנו הוא מיידי כאשר לקוחות רואים את מספר הפגיעויות שלהם צונח לאפס ברגע שהם עוברים להשתמש ב-Echo,” אמר אילון אלחדד, שותף-מייסד ומנכ״ל Echo. “צוותי האבטחה אוהבים אותנו כי אנחנו מעצימים אותם בן רגע והמפתחים אוהבים אותנו כי הם מפסיקים לבזבז זמן על תיקון פגיעויות בתשתית שהם בכלל לא יצרו.”