בינה מלאכותית
צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | (1)
נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.


חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

תגובות לכתבה(1):

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה
  • 1.
    פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
    הגב לתגובה זו
    חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת
קלטורה
צילום: יחצ

קלטורה רוכשת את הסטארטאפ הישראלי eSelf.ai ב-27 מיליון דולר

eSelf.ai, המפתח טכנולוגיות ומודלים של בינה מלאכותית ליצירת אווטרים ריאליסטיים לאינטראקציה בזמן אמת 

רן קידר |
נושאים בכתבה קלטורה

חברת קלטורה, המפתחת טכנולוגיות וידאו על ענן עבור ארגונים, חתמה על הסכם לרכישת הסטארטאפ הישראלי eSelf.ai, המפתח טכנולוגיות ומודלים של בינה מלאכותית ליצירת אווטרים ריאליסטיים לאינטראקציה בזמן אמת. 

 

חברת eSelf מציעה פלטפורמה לארגונים להטמעה מהירה של סוכנים וירטואליים ויזואליים, מציאותיים ואינטראקטיביים. הסוכנים תומכים בשיחות בלמעלה מ-30 שפות ובצורה מותאמת למידע ולז׳רגון הארגוני. השיחות יכולות לסייע לחברות, לדוגמא, בשיווק, מכירות, תמיכה והדרכת לקוחות, גיוס והדרכת עובדים, ותקשורת פנים ארגונית. מוסדות חינוך יכולים להשתמש בסוכנים כעוזרי הוראה ומתרגלים אישיים; חברות מדיה - להגשת שידורים והמלצות תוכן אישיות; ומוסדות פיננסיים ורפואיים - לייעוץ ותמיכה אישית.

 

eSelf הוקמה על ידי ד״ר אלן בקר, מנכ״ל החברה, ואילון שושן, סמנכ״ל הטכנולוגיה. החברה, שהחלה לפתח בשנת 2023, ביצעה עד היום גיוס סיד אחד של כ-4 מיליון דולר. צוות החברה כולל למעלה מ-15 מומחי בינה מלאכותית בתחומי ראייה ממוחשבת, עיבוד שפה טבעית (NLP) וטכנולוגיות קול.  ד״ר בקר מחזיק דוקטורט בלמידת מכונה ובינה מלאכותית, עם התמחות במנועים של קול, שפה וראייה ממוחשבת. לפני שהקים את eSelf, ייסד בקר את Voca.ai הישראלית, מהחברות החלוצות בתחום סוכני קול למוקדי שירות, שנרכשה על ידי Snap (סנאפצ'אט), שם הוביל בהמשך את פיתוח הבינה המלאכותית השיחתית. שושן הוא בוגר תוכנית "פסגות" היוקרתית של צה"ל, בעל תואר שני מהטכניון עם התמחות בלמידת מכונה, ויוצא יחידת 8200, שם זכה גם בפרס ביטחון ישראל.

 

eSelf חוברת לקלטורה על מנת להאיץ את מסחור המוצר והתאמתו להטמעה בארגונים גדולים, תחומים בהם קלטורה מנוסה מאוד בהיותה ספקית מוצרי וידאו מובילה לארגונים גדולים, לרבות ענקיות טכנולוגיה כגון אמאזון, אנבידיה, אורקל, סיילספורס, ואדובי; חמשת הבנקים הגדולים בארה"ב; ארבעת משרדי רואי החשבון הגדולים בעולם; מאות מהאוניברסיטאות המובילות בארה"ב; חברות תקשורת גדולות כגון Vodafone; וארגונים ממשלתיים וללא מטרות רווח גדולים כגון האו"ם. קלטורה השיקה בשנה האחרונה משפחת סוכנים חכמים מבוססי AI בשם Genie המנגישים בזמן אמת תכני מולטימדיה רלוונטיים ומותאמים אישית לעובדים, סטודנטים, וצופי טלוויזיה. הטכנולוגיה זכתה להוקרה ולפרסים על יכולתה פורצת הדרך. eSelf מתוכננת להעניק לסוכני הGenie החכמים של קלטורה גם יכולות שיחתיות בזמן אמת, לרבות ממשק אווטרי חזותי וקולי, ויכולת שיתוף מסך. שילוב שתי הטכנולוגיות מייצר סוכנים שיחתיים ייחודיים ועוצמתיים שגם בנויים מווידאו, בהיותם אווטרים, וגם מנגישים למשתמשים בזמן אמת תכני וידאו ומולטימדיה מותאמים אישית. בנוסף מתכננת קלטורה להשיק בעזרת הטכנולוגיה של eSelf יכולות ליצירת קבצי וידאו מוקלטים הכוללים אווטרים, תחום חם נוסף בשוק. המוצרים והיכולות החדשים מיועדים לאפשר לארגונים אינטראקציה מוצלחת ויותר עם לקוחות ועובדים, ייעול גדול יותר של תהליכים, הפחתת עלויות, והגדלת הכנסות. 

 

סוכני הGenie החדשים מתוכננים להימכר כמוצרים עצמאיים וגם להיטמע בתוך מוצרי קלטורה הקיימים, הכוללים פלטפורמה לניהול תוכן ארגוני וטלוויזיוני, פורטלי וידאו, אפליקציות וידאו למערכות LMS ו-CMS, פתרון וידאו לאירועים וכנסים וירטואליים, כיתות לימוד וירטואליות ואפליקציות סטרימינג לטלוויזיה. לקוחות היעד של המוצרים הללו הם גם תאגידים גדולים, השוק בו התמקדה קלטורה עד היום, וגם עסקים קטנים ובינוניים.

 

עובדי חברת Tenzai. קרדיט: אלעד מלכהעובדי חברת Tenzai. קרדיט: אלעד מלכה

חברת הסייבר הישראלית Tenzai מגייסת 75 מיליון דולר

חברת הסייבר החדשה של מייסדי Guardicore גייסה את סבב הסיד הגדול ביותר בתחום הסייבר, בהובלת Battery Ventures, Greylock ו-Lux Capital; הפלטפורמה של החברה מדמה האקר אמיתי שתוקף ומאתר חולשות אבטחה בארגונים באופן רציף ; ההון שגויס ישמש להתרחבות לצפון אמריקה ואירופה ולחיזוק היכולות ההתקפיות של המערכת

רן קידר |
נושאים בכתבה סייבר

חברת הסייבר Tenzai, שהוקמה רק במאי השנה, מודיעה היום על גיוס עתק של 75 מיליון דולר בסבב סיד, הסבב הראשוני הגדול ביותר שנרשם עד כה בתחום הסייבר. את ההשקעה הובילו קרנות Battery Ventures, Greylock Partners ו־Lux Capital, בהשתתפות Swish Ventures, Jibe Ventures ומשקיעים נוספים.

החברה מפתחת פלטפורמת בינה מלאכותית המדמה האקר אמיתי, מערכת התקפית-אוטונומית שתוקפת, מזהה ומתקנת חולשות אבטחה במערכות תוכנה ארגוניות, עוד לפני שתוקפים אמיתיים מספיקים לנצל אותן. הפלטפורמה פועלת ברציפות, מאתרת חורי אבטחה מורכבים וקשים לגילוי, ומאפשרת לארגונים לפעול בקצב הפיתוח המהיר של עידן ה-AI.

לדברי החברה, השימוש בבינה מלאכותית בשלב פיתוח התוכנה שינה את חוקי המשחק: כיום יותר מ-30% מהקוד הארגוני נכתב בעזרת כלים מבוססי AI, אך בדיקות האבטחה נותרו איטיות ומבוססות עבודה אנושית ידנית. המשמעות היא שתוקפים אמיתיים הם לעיתים הראשונים שמגלים את החולשות, מה שמותיר “שטחים מתים” מסוכנים בארגונים.

Tenzai פועלת בתחום ה-penetration testing (בדיקות חדירה יזומות למערכות), שוק עולמי שמוערך בכ-8 מיליארד דולר בשנה. כיום רובו מתבצע על ידי מומחים אנושיים שמועסקים לתקופות מוגבלות. הפתרון של Tenzai משנה את התמונה: הוא מאפשר לארגונים לבצע בדיקות עומק מתמשכות בכל רגע נתון, בלי מגבלות זמינות כוח אדם ועם רמת דיוק גבוהה משמעותית.

פבל גורביץ', מנכ״ל ושותף מייסד של Tenzai: ״בדיקות האבטחה כמעט לא השתנו בעשרים וחמש השנים האחרונות- מאז שאני בעצמי עבדתי כ-penetration tester. עד כה הן בוצעו ידנית ובאופן נקודתי, והיום ניתן להשתמש בבינה מלאכותית כדי להפוך אותן לתהליך רציף ומדויק שמזהה ומתקן חולשות במהירות בארגונים עם מאות מערכות שמתעדכנות מדי יום, רק מערכות אוטונומיות מסוגלות לספק ביטחון אמיתי בזמן אמת. את Tenzai הקמנו כדי לעזור לארגונים לעבוד מהר ובטוח, עם אבטחה שמתאימה לקצב הפיתוח של היום.״