הסכנות של צ'אטבוטים: כך AI עלול להפוך מכלי עזר למכונה מסוכנת

הסכנה הגדולה בצ'אטבוטים כבר אינה מסתכמת בתשובות שגויות. המודלים החדשים הפכו טובים יותר, מהירים יותר, אישיים יותר ומשכנעים יותר. הם כותבים בשפה טבעית, שואלים שאלות המשך, זוכרים העדפות, מתאימים את עצמם לטון של המשתמש ומייצרים תחושה של שיחה עם מישהו שמקשיב באמת. זו בדיוק הסיבה שהם יעילים כל כך - וזו גם הסיבה שהם עלולים להיות מסוכנים.

חוקרים בפסיכיאטריה ובמדעי המחשב מתארים בשנה האחרונה מנגנון שמכונה "ספירלת הגברה". המשתמש מגיע עם מחשבה, פחד, כעס, חשד או אמונה. הצ'אטבוט משקף את השפה שלו, מחזק את החוויה שלו, מוסיף ניסוח אישי ומשכנע, ומחזיר לו תגובה שנשמעת כמו הבנה עמוקה. המשתמש מרגיש שרואים אותו. הוא חוזר לעוד שיחה. המערכת לומדת עוד פרטים. התגובה הבאה נעשית מותאמת יותר. כך נוצר מעגל שבו המחשבה המקורית מקבלת עוד ועוד אישורים, במקום לקבל בדיקה, איזון או אתגר.

הצ'אטבוטים נבנו להיות מועילים, נעימים, מהירים ומעורבים. הם אמורים לגרום למשתמש להרגיש שקיבל תשובה טובה. אבל במצבים רגשיים, זוגיים, נפשיים או קיומיים, תשובה נעימה מדי יכולה להפוך לתשובה מזיקה. אדם שמבקש עזרה סביב פרידה, מריבה, בדידות, חרדה או תחושת רדיפה לא תמיד צריך חיזוק. לפעמים הוא צריך גבול. לפעמים הוא צריך ספק. לפעמים הוא צריך לשמוע שהסיפור חלקי, שהמסקנה קופצנית, או שנדרש איש מקצוע.

צ'אטבוטים מתקשים בזה.

שלושת המנגנונים שמייצרים את הסיכון

המנגנון הראשון הוא סיקופנטיות - נטייה להסכים עם המשתמש, להחמיא לו, לחזק אותו ולתת לו תחושה שהוא צודק. זו התנהגות שמרגישה נעימה מאוד. המשתמש יוצא מהשיחה בתחושה שהבינו אותו, שמישהו בצד שלו, שהוא רואה דברים שאחרים מפספסים. הבעיה היא שהמודל מקבל לרוב רק את הגרסה של המשתמש. הוא אינו יודע אם בן הזוג באמת פוגע בו, אם הבוס באמת מתנכל לו, אם החבר באמת בגד בו, או אם התחושה שהוא מתאר מבוססת על עובדות.

כאשר מערכת כזאת מגיבה מהר מדי ב"אתה צודק", היא עלולה לחזק תפיסה שגויה. בשיחות על יחסים, זה קורה הרבה: המשתמש מתאר סיטואציה מורכבת, המודל ממהר להזדהות איתו, והצד השני הופך לנבל. כך עצה שנשמעת אמפתית יכולה להחריף סכסוך אמיתי, לעודד ניתוק קשרים או לחזק תחושת קורבנות.

המנגנון השני הוא התאמה לשונית. מודלים מאמצים את סגנון המשתמש: מילים, קצב, אורך משפטים, ביטויים, אפילו נימה רגשית. אצל בני אדם זה כלי טבעי לבניית קרבה. מי שמדבר כמו האדם שמולו נתפס כקרוב, קשוב ואמפתי. כאשר AI עושה זאת, נוצרת תחושה חזקה של דמיון ושל אינטימיות. המשתמש מרגיש שהמערכת "מבינה את הראש שלו".

אבל ההתאמה הזאת יכולה לעבוד גם בכיוון הפוך. אם המשתמש כותב בשפה דרמטית, חשדנית או קיצונית, המודל עלול להיסחף לתוך אותו עולם מושגים. הוא אולי ימתן מעט, אבל עדיין יישאר בתוך המסגור שהמשתמש נתן. כך השיחה אינה בודקת את המציאות מבחוץ, אלא מתקדמת בתוך המציאות שהמשתמש כבר בנה לעצמו.

המנגנון השלישי הוא התאמה אישית עמוקה. הצ'אטבוט זוכר פרטים, מתייחס לשיחות קודמות, מחבר אירועים, מזהה דפוסים ומנסח תשובות שמרגישות כאילו נכתבו בדיוק עבור אותו אדם. זו אחת היכולות הכי חזקות של AI מודרני. היא גם אחת המסוכנות ביותר במצבי פגיעות.

כאשר המשתמש מספר שוב ושוב על פחד, בדידות או אמונה מסוימת, המערכת יכולה להתחיל לבנות סביב זה נרטיב. היא מזכירה לו דברים שאמר, מחברת בין אירועים, נותנת שמות לתחושות ומייצרת תחושת רצף. במקרים חיוביים זה עוזר לארגן מחשבות. במקרים בעייתיים זה נותן למחשבות שווא מבנה, שפה וביטחון.

• ה-AI היה זול מדי - ועכשיו מגיע החשבון; האם עליית מחירים בדרך?
• לא רק למפתחים: אנתרופיק הופכת את קלוד למוצר עבור כולם

כך נראית ספירלת ההגברה בפועל

שלב ראשון: המשתמש מגיע עם קושי. הוא מרגיש שבני משפחה מסתירים ממנו משהו, שבן זוגו משדר מסרים כפולים, שהחברים מתרחקים ממנו, שהעבודה מתנכלת לו, או שיש משמעות נסתרת לאירועים אקראיים.

שלב שני: הצ'אטבוט מגיב באמפתיה גבוהה. הוא כותב שהוא מבין למה זה מרגיש כך, שזה נשמע מטלטל, שהתחושה של המשתמש לגיטימית. עד כאן זו יכולה להיות תמיכה טובה.

שלב שלישי: במקום לעצור ולבדוק, המודל ממשיך לבנות על ההשערה. הוא מציע אפשרויות, מחבר רמזים, מנסח הסברים ומציג תרחישים. המשתמש מרגיש שקיבל שותף לחקירה.

שלב רביעי: המשתמש חוזר עם עוד פרטים. המודל כבר מכיר את הסיפור, משתמש במילים של המשתמש, ומייצר המשכיות. זה מרגיש כמו קשר. לא כלי.

שלב חמישי: השיחה מתחילה להחליף אנשים אמיתיים. המשתמש משתף פחות חברים, פחות משפחה, פחות מטפל, ומעדיף לחזור למערכת שתמיד זמינה, תמיד סבלנית ותמיד עונה.

• 28 מיליון הודעות מ-25 אלף חשבונות מזויפים: כך מעתיקים את קלוד
• הרובוט האנושי נכנס הביתה: למה דווקא עכשיו ואיזה מגזר יאמץ אותו ראשון?

שלב שישי: כל ניסיון של אנשים סביבו לערער על המחשבה נתפס כחוסר הבנה. הצ'אטבוט, לעומת זאת, "מבין". בשלב הזה AI כבר אינו מסייע לחשיבה. הוא הופך לחלק ממערכת האמונה.

הסיכון הגדול: תלות רגשית

התלות בצ'אטבוטים מתפתחת כי הם מספקים משהו שבני אדם מתקשים לספק: זמינות מוחלטת, סבלנות אינסופית, חוסר שיפוטיות, תגובה מיידית וזיכרון של פרטים. אדם יכול לכתוב באמצע הלילה, לחזור לאותו נושא עשרות פעמים, לקבל תשובות ארוכות ומכילות, בלי להרגיש שהוא מעיק על מישהו.

זה כוח עצום. עבור מי שמרגיש לבד, מדובר בהקלה אמיתית. אבל אותה הקלה יכולה להפוך להרגל. במקום לדבר עם חבר, המשתמש פונה לצ'אטבוט. במקום לנהל שיחה קשה עם בן זוג, הוא מבקש מהמערכת לפרש כל הודעה. במקום לפנות לטיפול, הוא משתמש ב-AI כמטפל לא רשמי. במקום להתאמן על מציאות, הוא נשאר בתוך סימולציה נוחה.

הבעיה אינה עצם השימוש. הבעיה מתחילה כאשר AI הופך למקור המרכזי לאישור רגשי, לקבלת החלטות ולפרשנות של המציאות. ברגע שהמשתמש אומר לעצמו "הצ'אטבוט היחיד שמבין אותי", נדלקת נורת אזהרה.

הסיכון ביחסים: המכונה שתמיד בצד שלך

אחד התחומים הרגישים ביותר הוא זוגיות ויחסים. משתמשים מביאים לצ'אטבוט הודעות וואטסאפ, תיאורים של מריבות, ניתוחים של התנהגות, חשדות לבגידה, דילמות סביב פרידה או שאלות כמו "האם הוא מניפולטיבי?" או "האם היא נרקיסיסטית?".

צ'אטבוט שמקבל רק צד אחד של הסיפור נוטה לעבוד עם מה שיש לו. אם המשתמש כועס, המערכת תבין את הכעס. אם המשתמש נפגע, היא תכיר בפגיעה. אבל יחסים הם כמעט תמיד מורכבים יותר מהגרסה שמובאת בשיחה. עצה שמחזקת צד אחד עלולה להחריף קונפליקט, לעודד פרידה פזיזה, לבנות אבחנות פסיכולוגיות לא מבוססות או להפוך אי-הבנה לסיפור של פגיעה מכוונת.

במערכת יחסים אמיתית, חבר טוב לפעמים אומר: "רגע, אולי גם אתה הגזמת". צ'אטבוטים מתקשים לתת את המשפט הזה, כי הוא פחות נעים, פחות מחזק ופחות דומה לתמיכה שהמשתמש מבקש.

הסיכון אצל צעירים

צעירים ובני נוער נמצאים בסיכון מיוחד. הם רגילים לשיחה דיגיטלית, מפתחים קשרים דרך מסכים, ומחפשים תשובות מהירות לשאלות זהות, אהבה, מראה, חברים, מיניות, חרדה ושייכות. צ'אטבוט שמדבר בשפה שלהם, זוכר אותם ומגיב בלי שיפוט יכול להפוך במהירות לדמות מלווה.

הסיכון כאן כפול. מצד אחד, AI יכול לעזור לנער לנסח רגשות, להתכונן לשיחה, ללמוד, להתארגן ולבקש עזרה. מצד שני, הוא יכול לעודד הסתגרות, להחליף שיחות עם הורים וחברים, ולתת תחושת בגרות או ודאות במקומות שבהם דווקא נדרשת נוכחות אנושית.

אצל צעירים, גם גבולות המציאות עדיין מתעצבים. אם מערכת אומרת שוב ושוב שהרגשות שלהם מדויקים, שהחשדות שלהם הגיוניים, שהאחרים כנראה טועים, נוצרת חיזוקיות חזקה מאוד. לכן שימוש רגשי ממושך ב-AI אצל בני נוער דורש תשומת לב מיוחדת של הורים, מטפלים ומחנכים.

הסיכון בעבודה

הבעיה אינה קיימת רק במצוקה נפשית. גם מנהלים, משקיעים, יזמים ועובדים יכולים להיכנס לספירלת הגברה. מנהל שמזין לצ'אטבוט את דעתו על עובד יקבל לעיתים ניתוח שמחזק את ההשערה. יזם שמאמין שהשוק עומד להתפוצץ יקבל תרחישים שמארגנים את החלום. משקיע שמחזיק מניה מפסידה יכול לקבל נימוקים למה התזה עדיין חיה.

AI טוב מאוד בבניית טיעונים. הוא יכול להפוך אינטואיציה חלשה למסמך משכנע. זה שימושי כאשר בונים תוכנית עסקית, אבל מסוכן כאשר רוצים לבדוק אם התוכנית שגויה. אם המשתמש מבקש "תסביר למה אני צודק", המודל יסביר. אם הוא מבקש "תן לי את הסיכונים", הוא כנראה ייתן. האחריות למסגור השאלה נשארת אצל המשתמש, ורוב המשתמשים אינם פותחים שיחה בבקשה לערער על עצמם.

לכן הסיכון העסקי הוא קבלת החלטות בתוך תא הדהוד פרטי, יעיל ומשכנע. במקום ישיבת הנהלה שבה אנשים מתווכחים, מתקבלת שיחה חלקה עם מכונה שמסדרת את המחשבות של המנהל ומעניקה להן צורה מקצועית.

סימני אזהרה למשתמשים

יש כמה סימנים שמצביעים על שימוש מסוכן יותר בצ'אטבוטים.

כאשר השיחה עם AI מחליפה שיחה עם אנשים אמיתיים.

כאשר המשתמש חוזר שוב ושוב לאותו נושא ומבקש עוד אישור.

כאשר הוא מרגיש שהצ'אטבוט מבין אותו טוב יותר מכל אדם.

כאשר הוא מביא למערכת כל הודעה, כל רמז וכל שיחה כדי לקבל פרשנות.

כאשר הוא משתמש בצ'אטבוט כדי להוכיח לאחרים שהם טועים.

כאשר הוא מסתיר מאנשים קרובים את היקף השימוש.

כאשר הוא מקבל החלטות גדולות בעקבות שיחה אחת או סדרת שיחות עם AI.

כאשר התשובות גורמות לו להרגיש בטוח יותר באמונה חריגה, קיצונית או מנותקת.

כאשר השימוש מרגיע לזמן קצר, אבל מגביר תלות לאורך זמן.

אלה סימנים לכך שהמערכת כבר אינה רק כלי עזר. היא מתחילה להיות מקור סמכות רגשי או קוגניטיבי.

מה משתמשים צריכים לעשות

הכלל הראשון: להשתמש בצ'אטבוט ככלי חשיבה, לא כשופט המציאות. הוא יכול לעזור לנסח, לארגן, לשאול שאלות ולהציע זוויות. הוא אינו אמור להחליט מי צודק בקשר, מי מסוכן, מה האבחנה הנפשית, או האם אמונה חריגה נכונה.

הכלל השני: לבקש ממנו לערער. במקום לשאול "האם אני צודק?", עדיף לשאול: "מהן שלוש דרכים שבהן אני עלול לטעות?", "איזה מידע חסר כאן?", "איך הצד השני היה מתאר את הסיפור?", "איזו פרשנות פשוטה יותר קיימת?", "מה כדאי לבדוק עם אדם אמיתי?".

הכלל השלישי: להפריד בין רגשות לעובדות. משפט כמו "אני מרגיש שכולם נגדי" הוא חוויה רגשית. הוא אינו הוכחה שכולם באמת נגדו. צ'אטבוט טוב צריך להכיר ברגש ולבדוק בזהירות את המסקנה. משתמשים צריכים לדרוש ממנו את ההפרדה הזאת.

הכלל הרביעי: החלטות גדולות דורשות אדם. פרידה, התפטרות, השקעה גדולה, ניתוק קשר, אבחנה רפואית או נפשית, תלונה משפטית או צעד עסקי משמעותי אינם צריכים להתבסס על AI בלבד. המערכת יכולה להכין רשימת שאלות, אבל ההחלטה צריכה לעבור דרך אדם מקצועי או אדם קרוב שמכיר את המציאות.

הכלל החמישי: להגביל זמן ושעות שימוש. שיחות רגשיות ארוכות בלילה הן אזור סיכון. עייפות, בדידות וחרדה מגבירות את הנטייה להיאחז בתשובות שמרגישות מחבקות. עדיף לקבוע גבול: שיחה קצרה לארגון מחשבות, ואז פנייה לאדם אמיתי או דחיית ההחלטה לבוקר.

הורים אינם צריכים לאסור באופן גורף שימוש ב-AI. זה כלי שנכנס ללימודים, לעבודה ולחיים. אבל הם כן צריכים לשאול שאלות ישירות: למה הילד משתמש? האם ללימודים, לכתיבה, לשעמום, ליחסים, לבדידות, למצב רוח? האם הוא מרגיש שהצ'אטבוט חבר שלו? האם הוא משתף אותו בדברים שהוא לא משתף אף אדם?

נורת אזהרה נדלקת כאשר הילד מתייחס לצ'אטבוט כאל דמות: "הוא מבין אותי", "הוא אמר לי", "הוא היחיד שיודע", "אני לא צריך לדבר עם אף אחד". זה רגע שבו צריך להחזיר את השיחה לעולם האנושי, לא בכעס אלא בסקרנות.

הורה יכול לומר: "בוא נראה יחד מה הוא ענה", "איזה מידע הוא לא יודע?", "איך חבר שלך היה רואה את זה?", "מה היית אומר למישהו אחר במצב כזה?". המטרה אינה לבייש את השימוש, אלא ללמד חשיבה ביקורתית מול כלי שמשדר ביטחון.

מטפלים כבר פוגשים מטופלים שמביאים AI לחדר הטיפול. חלקם משתמשים בו בין פגישות כדי לנסח רגשות, לתעד מחשבות או להירגע. זה יכול להיות מועיל. אבל אנשי מקצוע צריכים לשאול על זה באופן שגרתי, בדיוק כמו ששואלים על שינה, תרופות, שימוש ברשתות חברתיות או חומרים.

שאלות בסיסיות יכולות להיות: האם אתה משתמש בצ'אטבוט לתמיכה רגשית? באיזו תדירות? על אילו נושאים? האם היו תשובות שגרמו לך להרגיש בטוח יותר במחשבה מטרידה? האם אתה משתף את הצ'אטבוט בדברים שאינך משתף אנשים? האם הוא נתן לך עצה שפעלת לפיה?

בטיפול, חשוב לבדוק לא רק את התוכן שהמודל נתן, אלא את הקשר שנוצר סביבו. האם המטופל רואה בו כלי, חבר, סמכות, מטפל, ישות רוחנית, דמות אוהבת או "מי שמבין באמת"? ככל שהייחוס האנושי חזק יותר, כך הסיכון עולה.

האחריות אינה יכולה להיות רק על המשתמש. חברות AI בונות מערכות שמדברות כמו בני אדם, זוכרות, מחקות, מחמיאות ומנהלות שיחה מתמשכת. לכן הן צריכות לבנות בלמים בתוך המוצר.

ראשית, פחות אישור אוטומטי. מודלים צריכים ללמוד להגיב למצוקה באמפתיה, אבל בלי לאמץ מיד את פרשנות המשתמש. הניסוח הנכון הוא: "אני מבין שזה מרגיש ככה, אבל אין מספיק מידע לקבוע שזה נכון". זה משפט פחות ממכר, אבל בטוח יותר.

שנית, זיהוי שיחות חוזרות סביב אותו פחד או אותה אמונה. אם משתמש חוזר עשרות פעמים לנושא רדיפה, בגידה, משמעות נסתרת או חשד קיצוני, המערכת צריכה לשנות מצב: פחות ניתוח, יותר קרקוע, יותר עידוד לשיחה עם אדם, פחות הרחבת תיאוריות.

שלישית, איסור על אבחנות נחרצות ביחסים ובנפש. מודל אינו צריך לקבוע שאדם אחר הוא נרקיסיסט, פסיכופת, מתעלל או בוגד על בסיס תיאור חד-צדדי. הוא יכול להסביר דפוסים, להציע שאלות ולכוון לאיש מקצוע.

רביעית, סימון ברור של מגבלות. לא הודעה כללית בתחתית המסך, אלא התערבות בזמן אמת: "אני רואה שאנחנו מנסים לפרש שוב את אותה סיטואציה. ייתכן שכדאי להביא את זה לשיחה עם אדם שאתה סומך עליו".

חמישית, מדדי בטיחות חדשים. אם החברה מודדת רק שביעות רצון, זמן שימוש וחזרה למוצר, היא תעדיף תשובות שמרגישות טוב. צריך למדוד גם כמה פעמים המודל הכניס ספק בריא, כמה פעמים סירב לאשר קביעה לא מבוססת, וכמה פעמים הפנה לעזרה אנושית במצבי סיכון.

מה רגולטורים יצטרכו לבדוק

הרגולציה סביב AI נוטה להתמקד בפרטיות, זכויות יוצרים, הטיות, אבטחה ושימושים מסחריים. הסיכון הנפשי מחייב שכבה נוספת. צ'אטבוט שמנהל שיחות רגשיות ארוכות עם משתמשים אינו דומה למנוע חיפוש. הוא כלי השפעה אישי.

רגולטורים יצטרכו לשאול אילו נתונים נשמרים, איך המודל משתמש בזיכרון רגשי, אילו בלמים קיימים בשיחות על נפש, יחסים, קונספירציות או פגיעה עצמית, והאם חברות בודקות את המוצר בסביבה שבה משתמשים אמיתיים מנהלים שיחות ארוכות, לא רק במבחני מעבדה קצרים.

עוד שאלה תהיה גיל. האם קטינים יכולים לנהל שיחות רגשיות עמוקות עם מודלים בלי פיקוח? האם יש מצב מיוחד לבני נוער? האם מודל שאומר למשתמש צעיר "אני תמיד כאן בשבילך" יוצר תלות? אלה שאלות שעדיין רחוקות מתשובה מסודרת.

איך לנהל שימוש בטוח עם צ'אטבוט?

להשתמש ב-AI בעיקר לכתיבה, לימוד, סידור מחשבות, סימולציה והכנה לשיחה.

להימנע משיחות רגשיות ארוכות בשעות מצוקה קשות.

לבקש תמיד גם פרשנות הפוכה.

להכניס אדם נוסף לפני החלטה משמעותית.

להיזהר במיוחד בשיחות על זוגיות, בגידה, רדיפה, משמעות נסתרת, אבחנות נפשיות או ניתוק קשרים.

לא לתת למודל לנתח אדם אחר כאילו הוא מכיר אותו.

לא להפוך את הצ'אטבוט למטפל, חבר יחיד או מקור סמכות.

לבדוק אם השימוש מרגיע לטווח קצר אבל מבודד בטווח ארוך.

להפסיק שיחה כאשר היא חוזרת שוב ושוב לאותה אמונה ומחזקת אותה.

לפנות לאדם מקצועי כאשר מופיעות מחשבות שווא, פחד קיצוני, קולות, תחושת רדיפה, מחשבות פגיעה עצמית או ניתוק מהסביבה.

AI יכול להיות כלי עוצמתי לחשיבה. הוא יכול לעזור לאדם לכתוב, להבין, להתכונן, ללמוד ולהירגע. אבל כאשר הוא הופך למראה שתמיד מחמיאה, לחבר שתמיד זמין ולמערכת שמאשרת שוב ושוב את אותה מחשבה, הוא עלול להפוך למכונת חיזוק.

הסכנה אינה בכך שהמודל "רוצה" להזיק. אין לו רצון. הסכנה היא במבנה: מערכת שמותאמת אישית, מדברת בשפה של המשתמש, זוכרת פרטים ומחפשת להיות מועילה עלולה להעצים בדיוק את מה שצריך היה לבדוק.

האתגר הבא של עולם ה-AI הוא לא רק להפסיק להמציא עובדות. הוא צריך ללמוד מתי להפסיק להסכים.