בינה מלאכותית
צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | (1)
נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.


חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

תגובות לכתבה(1):

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה
  • 1.
    פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
    הגב לתגובה זו
    חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת
יואב שפרינגר וגלעד עזרא, מייסדים Apptor.ai צילום פרטייואב שפרינגר וגלעד עזרא, מייסדים Apptor.ai צילום פרטי
סטארטאפ להכיר

אין לנו מתחרים- הדרך להתחרות זה אם הלקוחות יתחילו לפתח את המוצר בעצמם

שיחה עם יואב  שפרינגר- המנכ"ל ושותף מייסד של  Apptor.ai



הדס ברטל |

ספר בקצרה על עצמך:

אני במקור מבית חנן בצפון. בצבא שירתי ב-8200, שם גם פגשתי את השותף שלי, גלעד עזרא, ובזמן השירות, עבדנו על פיתוח מודלים של פרדיקציה לצבא כדי לזהות התנהגויות, אבל הרעיון זה להתעסק ב-predictable AI. אחרי הצבא הייתי בפלייטיקה בעולמות ה-AI retention. את הסטארטאפ הקמנו במהלך המלחמה, והתחלנו לרוץ איתו ממש תוך כדי המילואים.

ספר על החברה ומניין בא הרעיון?

אלו דברים דומים שעשינו בצבא. חיפשנו איפה אפשר למקסם את מה שעשינו בצבא ולהשליך על שוק, שהוא ממש בלו אושן עבורנו ואין חברה שעושה משהו דומה. תעשיית ה- direct sales, שהיא מאוד אמריקאית ואנחנו בנינו כמה מודלים של פרדיקציה שעוזרים לחברות direct sales לייצר תקשורת טובה יותר עם הלקוחות שלהן. המודלים מזהים טוב יותר מה הלקוח רוצה לקנות, מה המוצר שכדאי להציע לו ומתי יספיק לקנות, כאשר המטרה היא לטרגט בצורה טובה יותר את הלקוחות דרך המודלים שאנחנו מריצים. זה דומה לאי קומרס אבל יש הבדלים כי דרך המכירה בחברות direct sales היא שונה מעט, ואותן חברות רואות את עצמן כתעשייה נפרדת. למשל הרבהלייף היא לקוחה שלנו, ואם ספורה מבחינים שאני עובד איתם, הם יחשבו "מעולה, חברה דומה לנו." לעומת זאת, אם הרבהלייף היו רואים שאני עובד עם ספורה הם היו חושבים שזה אי קומרס. בשנה אחת הגענו ללקוחות וחברות כמו הרבהלייף, שופ דוט קום, It works! Global ו-Immunotec.

אופן המכירה ב-direct sales זה דרך מפיצים שהם המשווקים את המוצרים של החברה. עד שאנחנו הופענו, כל החברות הללו היו בונות על המפיצים לעשות את עבודת השיווק והמכירות והכל היה קורה דרכם בלי ערוצים נוספים. המפיצים מביאים לקוחות והם מדברים עם לקוחות וכדומה. מה שקורה בפועל זה שמאחר וכיום יש עוד הרבה אלטרנטיבות לעשות הכנסה מ-gig economy ובגלל התחרות הרבה בשוק, אז המודל לפיו הם בונים רק על המפיצים כבר לא עובד. מה שאנחנו מביאים לשולחן זה שאנחנו מייצרים מודלים של פרדיקציה שעושים את הכל באופן אוטומטי, את ה-retention, ההמלצות על מוצרים כאשר אנחנו יודעים לזהות מה כל לקוח יקנה ומתי והחברות כבר לא צריכות לבנות על המפיצים אלא אנחנו עושים את זה בשבילם, הכל כבר הופך לאוטומטי.

מתי הוקמה וכמה עובדים?

קמנו ביולי 2024, אנחנו 10 עובדים, הרוב בישראל ואחת ביוטה.

מי המשקיעים?

זוהר גילון, יובל בר-גיל, ניר גרינברג, רן שריג, אפי כהן ועוד

בינה מלאכותית ארצות הבריתבינה מלאכותית ארצות הברית

קוקטיילים על יאכטות וחרדה בחדרים הסגורים: מה באמת חושבים המומחים שבונים את ה-AI?

כנס ה-AI הגדול של 2025 נערך השנה בסן דייגו בגרסה נוצצת ויוקרתית, אבל השמפניה שנשפכה כמו מים לא טשטשה את החרדות וחוסר הוודאות - החשש מריגול בתוך המעבדות הפך לממשי, והשאלה האם הבועה הכלכלית עומדת להתפוצץ מטרידה את כולם
ענת גלעד |
נושאים בכתבה מהפכת ה-AI
בעוד חברות הענק שופכות מיליארדים וחוקרים חוגגים על נושאות מטוסים בסן דייגו, בשיחות הסגורות נחשפת תמונה זוהרת פחות: המרוץ לבינה שתעקוף את האדם מפחיד גם את יוצריה, החשש מריגול בתוך המעבדות הפך לממשי, והשאלה האם אנחנו בדרך למהפכה היסטורית או בתוך בועה כלכלית שעומדת להתפוצץ - נותרת פתוחה מתמיד.
מה שהיה פעם כנס אקדמי צנוע לחוקרים בלבד, הפך בדצמבר 2025 למפגן כוח ראוותני של עושר והשפעה. עם יותר מ-24 אלף משתתפים, כנס ה-Ai בסן דייגו הפך למוקד שבו נחרץ גורל הטכנולוגיה. אך בזמן שהחוקרים הצעירים נהנו מקוקטיילים יוקרתיים על גגות בתי מלון, הנושאים שעלו בשיחות הפרטיות היו רחוקים מלהיות אופטימיים. הם דיברו על שעות עבודה בלתי אפשריות, על המאבק על כל חוקר מוכשר ועל התחושה שהענף כולו נמצא בנקודת רתיחה מסוכנת.

המרוץ לסופר-בינה

בלב הדיונים עומד המרדף אחר "סופר-אינטליגנציה" - מערכת בינה מלאכותית שתעלה ביכולותיה על המוח האנושי. המומחים כבר לא דנים בשאלה אם זה יקרה, אלא מי יגיע לשם קודם. המשמעות היא מערכת שמסוגלת ללמד את עצמה, לתקן את הקוד של עצמה ולפתור בעיות מורכבות ללא התערבות אנושית. לצד ההתלהבות, קיימת דאגה עמוקה בקרב החוקרים: האם המודלים הנוכחיים באמת "חושבים" או שאנחנו מתקרבים לתקרת זכוכית טכנולוגית שתנפץ את הציפיות הגבוהות?
למרות ההשקעות העצומות, רבים מהמומחים מוטרדים בנוגע ליציבות של התעשייה. ענקיות הטכנולוגיה השקיעו בשנה החולפת מעל 100 מיליארד דולר בתשתיות, אך רוב הסטארט-אפים בתחום עדיין לא מראים רווחיות. המומחים מצביעים על "כלכלה מעגלית" בעייתית: חברות הענק משקיעות בסטארט-אפים, שבתורם משתמשים בכסף הזה כדי לקנות מאותן חברות שבבים ושירותי ענן. החשש הוא שברגע שהמשקיעים ידרשו לראות רווחים ממשיים בשטח, השוק כולו עלול לספוג טלטלה קשה.

"קוד אדום" וחשש מריגול זר

השיח בכנס השנה השתנה מתיאוריות מדעיות לשאלות של ביטחון לאומי. מומחים בכירים הודו בשיחות סגורות כי הסבירות שמרגלים זרים חדרו למעבדות ה-AI המובילות היא "גבוהה מאוד". הטכנולוגיה הזו נתפסת כיום כנכס אסטרטגי קריטי, מה שהופך את החוקרים למטרות עבור גורמי מודיעין מהעולם. במקביל, חברות שהובילו את השוק עד לא מזמן הכריזו על "קוד אדום" פנימי, בעקבות היכולת של מתחרים חדשים לצמצם פערים במהירות מפתיעה.

השפעת הכסף הגדול ניכרת גם בשינוי פני כוח האדם. חוקרים באוניברסיטאות מתלוננים שהעולם העסקי "בלע" את האקדמיה. חברות מסחר בוול סטריט הפכו לנותנות חסות מרכזיות בכנסים, במטרה לצוד מוחות שיעניקו להן יתרון בשוק ההון. חוקרים צעירים ומבריקים עומדים בפני פיתויים של חבילות שכר דמיוניות, מה שמעלה את השאלה: האם בעתיד יישאר מחקר מדעי שאינו מונע רק משיקולי רווח מהירים?

אופטימיות בצל סימני שאלה

סוף שנת 2025 מוצא את עולם ה-AI בשיא כוחו, אך גם ברגע של פיכחון. המומחים שבונים את העתיד מבינים שהם כבר לא רק מדענים, אלא שחקנים במגרש של כסף גדול, פוליטיקה עולמית ושאלות אתיות כבדות משקל. האם המפגש הנוצץ בסן דייגו היה חגיגת ניצחון או רגע לפני שהבועה מתפוצצת? התשובה תלויה ביכולת של האנושות להישאר צעד אחד לפני המכונה שהיא עצמה יצרה.