בינה מלאכותית
צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | (1)
נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.


חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

תגובות לכתבה(1):

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה
  • 1.
    פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
    הגב לתגובה זו
    חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת
האקר סייבר האקרים פריצה מחשבים הייטק אבטחת מידע
צילום: Istock

האקרים מצפון קוריאה השתמשו ב-ChatGPT לייצור תעודת זהות מזויפת

חוקרי סייבר בדרום קוריאה חשפו כי האקרים מצפון קוריאה ניצלו את ChatGPT להפקת מסמכים מזויפים לצורכי פישינג והציגו באיזו קלות ניתן לעקוף מנגנוני הגנה בבינה מלאכותית ולבצע מתקפות ריגול דיגיטליות

אדיר בן עמי |

חוקרי אבטחת מידע דרום קוריאניים חשפו השבוע מקרה בו קבוצת האקרים צפון קוריאנית השתמשה ב-ChatGPT ליצירת תעודת זהות צבאית מזויפת. המסמך המזויף שימש במסגרת התקפת סייבר שכוונה נגד יעדים בדרום קוריאה. המקרה מצטרף למגמה גוברת של שימוש בכלי בינה מלאכותית לפעילות ריגול.


קבוצת האקרים הידועה בשם "קימסוקי" יצרה מסמך מזויף של תעודת זהות צבאית דרום קוריאנית. המסמך היה אמור להפוך הודעת פישינג לאמינה יותר. ההודעה הכילה קישור לתוכנה זדונית המסוגלת לחלץ מידע ממחשבי הקורבנות. זו אינה הפעם הראשונה שצפון קוריאה עושה שימוש בבינה מלאכותית למטרות כאלה. באוגוסט דיווחה חברת אנתרופיק כי האקרים צפון־קוריאנים השתמשו בכלי Claude Code כדי להתחזות לעובדי טכנולוגיה ולהתקבל לעבודה בחברות אמריקניות, שם ביצעו משימות טכניות לאחר שהתקבלו.


OpenAI מסרה בפברואר כי חסמה חשבונות חשודים של גורמים מצפון קוריאה. לפי החברה, המשתמשים יצרו קורות חיים ומכתבי פנייה מזויפים כדי לגייס עובדים למיזמים שלהם. במקרה האחרון כוונו ההתקפות לעיתונאים, חוקרים ופעילי זכויות אדם העוסקים בנושאי צפון קוריאה. ייתכן שהנפגעים נבחרו בשל עיסוקם בפרסום מידע על המשטר.


הממשל האמריקני טוען כי צפון קוריאה משתמשת בהתקפות סייבר, בגניבת מטבעות דיגיטליים ובשירותי קבלנות טכנולוגית כדי לאסוף מידע ולממן את תוכניותיה, לרבות פיתוח נשק גרעיני, ובכך לעקוף סנקציות.


במהלך המחקר, החוקרים ביצעו ניסוי כדי להבין איך נוצר המסמך המזויף. כאשר ביקשו מ-ChatGPT ליצור תעודת זהות ממשלתית - פעולה הנחשבת בלתי חוקית בדרום קוריאה - המערכת סירבה לבקשה. אולם כשהם שינו מעט את אופן ניסוח הבקשה, המערכת הסכימה ליצור את המסמך הרצוי. הממצא מעלה חששות לגבי הקלות שבה ניתן לעקוף מנגנוני הבטיחות של כלי בינה מלאכותית ולנצל אותם למטרות זדוניות. זה מדגים פער בין המדיניות המוצהרת של חברות הטכנולוגיה לבין היכולת הפרקטית לאכוף אותה.

בינה מלאכותית
צילום: טוויטר

הנחת הענק חושפת: מהפכת ה-AI עומדת להוזיל דרמטית את שירותי התוכנה

הממשל האמריקאי קיבל 70% הנחה על שירותי AI - והשאלה החשובה היא מתי גם אנחנו נזכה למחירים האמיתיים של הטכנולוגיה שעלות ייצורה כמעט אפסית

מנדי הניג |
נושאים בכתבה בינה מלאכותית

חברת ServiceNow הודיעה לאחרונה על הסכם חסר תקדים עם הממשל הפדרלי האמריקאי: הנחה של עד 70% על חבילת שירותי AI מתקדמים. ההסכם, שנחתם עד ספטמבר 2028, הוא חלק ממאמץ רחב של ממשל טראמפ לשלב טכנולוגיות בינה מלאכותית בכל זרועות הממשל. אבל מעבר לחדשות העסקיות, ההסכם חושף עובדה מטרידה: העלות האמיתית של שירותי AI נמוכה בהרבה ממה שרוב הלקוחות משלמים עליהם כיום.

השאלה המתבקשת היא פשוטה - אם הממשל האמריקאי מצליח לקבל את אותם שירותים מתקדמים במחיר של כמעט חינם, למה עסקים ומשתמשים פרטיים ממשיכים לשלם מאות ואלפי דולרים למשתמש?

מאחורי הקלעים של עסקת הענק

ServiceNow, ענקית האוטומציה האמריקאית שכבר משרתת 75% מהמשרדים הפדרליים, לא סתם מציעה הנחה אקראית. מדובר במהלך אסטרטגי שנועד להטמיע את הטכנולוגיות המתקדמות ביותר של החברה - אלו המבוססות על AI עמוק בלב הממשל האמריקאי. ההסכם נחתם דרך ה-GSA, מנהל השירותים הכלליים של ארה"ב, ומבטיח לחברה נוכחות דומיננטית במערכות הממשלתיות לשנים הבאות.

החברה מעריכה ששילוב הטכנולוגיות שלה יכול להעלות את היעילות הממשלתית ב-30% בתחומים כמו טיפול בתקלות IT, אוטומציה של תהליכים ביורוקרטיים וניהול משאבים. במילים אחרות, הממשל מצפה לקבל יותר תפוקה עם פחות עובדים ובעלות נמוכה משמעותית.

ביל מקדרמוט, מנכ"ל ServiceNow, הבהיר שההנחות נועדו לאפשר את האימוץ המהיר של המוצרים המתקדמים ביותר של החברה - אלה שמשלבים בינה מלאכותית מתקדמת. החברה מוכנה להפסיד כסף בטווח הקצר כדי להפוך לתשתית הבסיסית של הממשל האמריקאי, מה שיבטיח לה יתרון אסטרטגי לשנים קדימה.


לא רק ServiceNow - כל הענקיות במרוץ