צילום: טוויטר

מה זה 'AI רעיל', ומה אפשר לעשות כדי למנוע אותו?

כמו שיש תוכן רעיל יש גם AI רעיל שנסמך על התכנים ברשת. האם מניעה או רגולציה יכולה לעכב את מהפכת ה-AI, מה קורה באירופה ואצלנו

רוי שיינמן | 13/04/2025 07:40 (1)

נושאים בכתבה מהפכת ה-AI

בתוך ים ההתלהבות מהבינה המלאכותית — עם היכולת שלה לכתוב, לתרגם, לצייר, להמליץ, להפתיע — צץ מושג חדש שמטריד רגולטורים, ממשלות וחברות טכנולוגיה: AI רעיל.

המונח הזה, שעד לאחרונה נשמע בעיקר באקדמיה ובכנסים סגורים, כבר מופיע במסמכים רשמיים של נציבות האיחוד האירופי. ובזמן שבישראל עוד מתווכחים אם צריך בכלל לפקח על GPT או לתת לו לזרום חופשי, באירופה יש מי שממש מודאגים.

אבל רגע לפני, מה זה אומר ש-AI הוא "רעיל"? למה זה פתאום נחשב לאיום אמיתי? ואיך בכלל בינה מלאכותית — מכונה חסרת כוונה — יכולה להפיץ שנאה, הסתה או מידע שגוי?

בינה מלאכותית לא "רעה" – אבל היא כן עלולה להזיק

המשמעות של "רעילות" בתחום הבינה המלאכותית היא לא שהמודל מקולקל, או שיש בו כוונה לפגוע. הכוונה היא לכך שבלי לשים לב — או בלי שבכלל מישהו התכוון — המודל עלול להפיק תכנים בעייתיים.

זה יכול להיות ניסוחים גזעניים, סטריאוטיפים מגדריים, שפה פוגענית, עידוד לאלימות, שיח אנטישמי, הפצת תיאוריות קונספירציה, הצגת עובדות שגויות, או פשוט מידע מעוות שמתחזה לאמת.

וזה קורה לא רק במודלים קטנים או פרוצים. גם מודלים של החברות הגדולות — OpenAI, Anthropic, Meta, Google — עדיין מייצרים לעיתים תכנים כאלה, גם אחרי תהליכי סינון והכשרה.

למה כולם מדברים על זה עכשיו?

כי אנחנו בשלב שבו המודלים הפכו נגישים, חזקים וזמינים לכולם. לא רק אנשי טכנולוגיה, אלא גם ילדים, קמפיינרים פוליטיים, בעלי אתרים, תלמידים ומורים – כולם משתמשים ב-GPT ובדומיו. ובדיוק כשהשימושים מתפשטים, מגיע גל של תקלות: תשובות שכוללות "בדיחות" אנטישמיות, תיאורים שמרמזים שנשים פחות מתאימות לניהול, או הצגת אירועים היסטוריים בצורה חלקית ומוטה. לפעמים אלה טעויות. לפעמים — תוצאה של דאטה לא מפוקח שעליו המודלים עברו אימון.

קיראו עוד ב"BizTech"

הבעיה היא שלמרות מאמצים לשפר, אי אפשר לחזות מראש מה יצא. ובמערכת של מיליארדי בקשות ביום, כל מקרה בעייתי עלול להפוך לויראלי, להשפיע על דעת קהל או לייצר נזק תדמיתי, פוליטי או חברתי.

באירופה כבר לא מחכים — הם פועלים

האיחוד האירופי לקח על עצמו להוביל רגולציה עולמית בתחום הבינה המלאכותית. הם ניסחו חוק בשם AI Act שמנסה להגדיר איזה שימושים מותרים, אילו מסוכנים, ומה דורש פיקוח. אבל החקיקה הזו נבנתה בקצב רגוע, והמציאות – דוהרת.

לאחרונה, עם השקת מודלים חדשים כמו GPT-4.5 ו־Claude 3, רגולטורים בגרמניה, צרפת, הולנד ואיטליה נשמעים לחוצים הרבה יותר. הם דורשים שקיפות, הגבלות, סנקציות – ואפילו אחריות פלילית במקרים מסוימים. ברקע, מתנהלים מגעים להקמת גוף בקרה אירופי עצמאי שיפקח על תכני בינה מלאכותית – בדומה למה שנעשה בתחום ההגבלים העסקיים.

מקרים שקרו באמת

בכמה כלי תקשורת באירופה דווח על כך שמודלים פופולריים הפיצו מידע שגוי על פוליטיקאים ערב בחירות, או נתנו המלצה מרומזת על גזע מסוים בבחירת מועמדים לעבודה.

באחד המקרים, GPT חיבר כתבה דמיונית על עיתונאית אמיתית, שבה נטען כי סילפה עובדות בכנס בינלאומי – למרות שהאירוע כלל לא קרה. התוכן הופץ בפורומים אנטי-תקשורתיים, וגרם לה לאיומים אישיים.

ומה קורה בישראל?

כרגע, אין רגולציה מסודרת לבינה מלאכותית. רשות החדשנות פרסמה מסמך עקרונות כללי. משרד המשפטים מקיים דיונים שקטים. אבל בפועל – אין חוק, אין גוף מפקח, ואין מדיניות מחייבת.

עם זאת, במגזר הציבורי כבר מתחילים להבין את הסיכון. גופים ממשלתיים וחלק מהאוניברסיטאות מטמיעים מנגנוני בקרה פנימיים – במיוחד על תכנים שנוצרים אוטומטית.

חברות הטכנולוגיה מוסיפות שכבות סינון, מגבילות גישה למודלים פתוחים, ומנסות לחנך את המשתמשים איך להפעיל את ה-AI בצורה אחראית. הבעיה היא שהרבה מהשיח מתנהל בדיעבד – אחרי שהתוכן כבר הופץ, פגע או השפיע. ולכן, מדינות רבות – לא רק באירופה – מתחילות לדרוש: מנגנוני שקיפות – לדעת מאיפה מגיע המידע שעליו ה-AI מתבסס, הגדרות אחריות – האם החברה אחראית למה שהמודל מייצר? סימון תכנים – חובה לציין כשמדובר ביצירה של AI, סנקציות – קנסות במיליונים על מקרים חמורים במיוחד.

האם זה פתיר?

התשובה מורכבת. בינה מלאכותית לומדת מתוך דאטה – וכשמאמנים אותה על האינטרנט, כולל טוקבקים, פורומים, סרטונים ורשתות חברתיות – הרעילות היא חלק מהמציאות. לא צריך כוונה רעה בשביל שזה יקרה.

האם אפשר לנקות לגמרי? כנראה שלא. אבל כן אפשר לצמצם, לפקח, ולוודא שלפחות בדברים הרגישים – יש בקרה אנושית.

כל הכותרות 24/7 הטלגרם שלנו - תכנים יחודיים

תגובות לכתבה(1):

הגב לכתבה

שם המגיב *

כותרת תגובה *

תוכן התגובה

השדות המסומנים ב-* הם שדות חובה

1.
פשוט מאוד להבין מה זה AI רעיל 13/04/2025 10:46
הגב לתגובה זו
חברות הימורים כמו PLAYTIKA MOONACTIVE משתמשות בצוותי AI כדי לגרום למשתמשים לבזבז יותר כסף על הימורים הם לא מודים בזה רשמית אבל מהכרות עם השוק זה בידיוק מה שעושים שםוזו רק דוגמא אחת

הונאה ברשת (AI)

ככה לא תיפלו בהונאות פיננסיות דיגיטליות - מדריך חשוב

אינסוף הונאות פיננסיות מפילות המוני אנשים בארץ ובעולם - איך מזהים הונאה, איזה פעולות צריך לעשות כדי "לצאת" מההונאה ואיך לא להיות הקורבן הבא? שיטות ההונאה הקיימות כיום וכלים להתמודד עם הונאות עתידיות

רן קידר | 05/12/2025 09:16

נושאים בכתבה הונאה

הקדמה: עידן חדש של הונאות מתוחכמות

בשנים האחרונות, עולם ההונאות הדיגיטליות והפיננסיות עבר מהפכה טכנולוגית שאין דומה לה בהיסטוריה. השילוב בין בינה מלאכותית מתקדמת, טכנולוגיות Deepfake, פסיכולוגיה מתוחכמת ומידע אישי זמין ברשת, הפך את הרמאים המודרניים ליצורים מסוכנים במיוחד. הם כבר לא פושעים חובבניים - מדובר בארגוני פשיעה בינלאומיים מתוחכמים, המעסיקים מאות עובדים, משתמשים בטכנולוגיות מתקדמות ומפעילים מרכזי תקשורת שלמים.

ההונאות של היום אינן מסתפקות בסכומים קטנים. מדובר בפעולות מתוכננות בקפידה שמטרתן לגזול מהקורבן את כל חסכונות חייו, תוך שימוש בלחץ פסיכולוגי עז, טכנולוגיות הזדהות מתוחכמות ותסריטים מדויקים שנבנו על בסיס מחקר עמוק של התנהגות אנושית. בעוד שבעבר ניתן היה לזהות הונאה בקלות יחסית - איות גרוע, דומיינים חשודים, או טענות לא הגיוניות - כיום ההונאות מושלמות עד כדי כך שאפילו אנשי מקצוע מנוסים, אנשי אקדמיה ואנשי עסקים נופלים בפח.

הנתונים מדברים בעד עצמם: בשנת 2025 בלבד, הנזק הכלכלי העולמי מהונאות דיגיטליות הגיע לסכום מדהים של כ-500 מיליארד דולר. זהו סכום גבוה פי שניים מהנזק שנגרם ב-2023. בישראל, הנזק השנתי עומד על מיליארדי שקלים, כאשר עשרות אלפי אזרחים נופלים קורבן מדי שנה. המגמה הצפויה רק הולכת ומתעצמת: ככל שהטכנולוגיה מתקדמת, כך גם שיטות ההונאה משתכללות, והגבול בין אמת לשקר הופך מטושטש יותר ויותר.

מדריך זה שמחולק לשני חלקים (בסוף החלק הזה יש הפנייה לחלק ב') נועד לספק לכם את כל הידע, הכלים והאסטרטגיות הנדרשים כדי להגן על עצמכם, אבל צריך להגיד את האמת - ההונאות נעשות מורכבות יותר, וקשות יותר לגילוי. היכולות של הפושעים עולות מדראגה באופן מרשים ומעבר להכרת השיטות והזהירות, אתם צריכים להיות חשדניים. התחכום בהונאות רק ילך ויעלה.

נסקור כאן לעומק את ההונאות המתוחכמות ביותר שמוכרות עד כה, נלמד כיצד לזהות אותן בשלבים המוקדמים, ונבין מה עושה אותן כל כך מסוכנות. חשוב להבין: החשדנות והידע הוא הנשק החזק ביותר שלכם. רמאים מסתמכים על בורות, פחד ותגובות רגשיות מהירות. כשאתם מבינים את שיטות הפעולה שלהם, אתם כבר לא מטרה קלה.

להמשך הכתבה לחץ כאן

הילה חדד חמלניק, מנכ"לית וקו-פאונדרית Moonshot, צילום: רמי זרנגר

ראיון

"Moonshot הוקמה כדי לשגר אובייקטים לחלל בדרכים יעילות יותר"

ראיון עם הילה חדד חמלניק, מייסדת ומנכ"לית Moonshot

הדס ברטל | 05/12/2025 12:00

נושאים בכתבה חלל סטארט אפ

רקע קצר:

מהנדסת חלל ואווירונאוטיקה, מנכ"לית משרד החדשנות לשעבר וחברה בצוות הפיתוח של כיפת ברזל. מנכ"לית ו-Co founder של Moonshot.

ספרי על החברה, מה המוצר ואיך נולד הרעיון?

הרעיון נולד אחרי שיצאתי מהממשלה בינואר 2023 והשותף שלי, שחר בהירי, הבין שזו הזדמנות לעבוד יחד, אנחנו מכירים עשור ותמיד היה ברקע הרעיון שנרצה מתישהו לעבוד ביחד. הוא היה כבר ב-ideation ובתהליך של להבין את תעשיית החלל, להבין מה הגאפ ומה הצורך שלה. שנינו הכרנו בעולם התחבורה והיה לנו קל לדבר במונחים של תחבורה ומה צריך לפתור בשרשרת האספקה של התעשייה, והבנו שצריך עוד דרכים לשנע דברים. לקחנו את הקונספט שהיה לנו, שהספיק לעבור וריאציות שונות, ובמשך שנה פגשנו את כל מי שאפשר כדי לעשות בדיקת היתכנות ולוודא שאנחנו לא מפספסים משהו, לוודא שהפיזיקה מאפשרת ושהרעיון שלנו אפשרי.

לאורך הדרך פגשנו את פרד סימון, שמאוד התלהב מהרעיון והחל לחקור את הנושא שנים אחורה. פנינו אליו עוד בתחילת הדרך בשביל השקעה אבל לאחר כמה שבועות אינטנסיביים, אמרנו לו להצטרף והוא עזב את Jfrog, שזה בכלל לא מובן מאליו, והוא הצטרף כ-CTO. באמצע הדרך גם היה את ה-7 באוקטובר ואני נכנסתי למילואים והקמתי קרן חירום (קרן Safedom להשקעה בסטארטאפים במהלך המלחמה), ואז שחר עבד בצורה אינטנסיבית. לאחר שהחלטנו שהולכים על זה ומקימים את החברה גייסנו את צוות העובדים שלנו מאוד מהר. הרבה אנשים שבזמן שרק הצגנו בפניהם את הרעיון, הם השיבו לנו שאם אנחנו הולכים על זה, אז הם ירצו להצטרף. ככה הצטרף אלינו גיל עילם שהיה העובד הראשון בחברה אחרי המייסדים, אותו הדבר גם עם רן ליבנה שההיכרות שלו עם תעשיית החלל היא פנומנלית. מהר מאוד הקמנו צוות מצוין של מומחים בתחומם ואנשים עם הרבה ניסיון ומיילים בתעשייה. כשמביאים אנשים ממש טובים ועם ניסיון ומטרה מטורפת מול העיניים נוצרים קסמים. בשנה אחת יצרנו המון ערך ויכולות חדשות, בין אם בסימולטור מאוד מתקדם שפיתחנו ובין אם בתובנות המדעיות שלנו על יכולות של מימוש הפתרון.

המוצר שלנו בא לענות על צורך לשגר אובייקטים בדרכים חדשות. תעשיית החלל מתפתחת, אבל עד היום, יש דרך אחת פיזיקלית לשגר אובייקטים לחלל, וזה עם טילים ששורפים דלק. הטילים האלה יכולים לקחת 4% מטען של מה שרוצים להביא לחלל, ושאר המשקל, 90% זה דלק ששורף דלק ששורף שדלק ובעצם כדי לנוע הטיל שורף את כל הדלק שהוא צריך. יש לדרך הזו את היתרונות שלה אבל ככל שהתעשייה מתפתחת ברור שצריך עוד דרך. צריך גם להבדיל בין סוג המטען ששולחים לחלל. אם למשל מטיסים אנשים עם מזוודות או אם מדובר במטוסי קארגו או אובייקטים אחרים ככה שמתחיל להיווצר הצורך באבחנה. אנחנו יוצרים מערכת שבאמצעות הנעה קינטית במקום דלק אנחנו פורקים חשמל לתוך סלילים ואז נוצר שדה אלקטרומגנטי שדוחף קדימה את הקפסולה. הדרך הזו יכולה להתאים לשילוח של דברים כמו דלק או מים, אלקטרוניקה, בשביל להניע אנשים זה תאוצות גבוהות מדי, כמו שלא היינו חושבים לצאת לקרוז בקונטיינר. אבל אפשר יהיה להבחין ולפנות שטח ומשקל למערכת הזו, והיא מערכת משלימה לצורך הזה. היום משוגרים לחלל המון המון לוויינים כי השיגור שלהם נהיה יותר זול. הצורך בשרשרת אספקה, בדלק גדל וזה המענה שמהערכת מנסה לתת.

מתי Moonshot הוקמה, כמה עובדים ואיפה יושבים:

התחלנו לעבוד ב-2023 אבל החברה הוקמה רשמית ביוני 2024. יש לנו 31 עובדים ואנחנו יושבים בקיסריה.

להמשך הכתבה לחץ כאן