OpenAI השקיעה לא מעט בבניית סביבת צ'אטGPT שמיועדת לבני 17-13. משתמש ששייך לקבוצת הגיל הזו או שהמערכת מעריכה שהוא צעיר מגיל 18 מקבל סביבת שימוש עם הגנות מחמירות יותר, מגבלות על תוכן מיני ואלים, התייחסות מיוחדת להפרעות אכילה ולפגיעה עצמית וגם אפשרות לחבר את החשבון לחשבון של הורה. על הנייר, אלה בדיוק הכלים שאמורים לאפשר להורים להיות מעט יותר רגועים. אבל בדיקה חיצונית חדשה מראה שהמערכת עדיין משאירה פערים, בעיקר בשיחות ארוכות ורגישות.

קומון סנס מדיה, גוף אמריקאי שעוסק בשימוש של ילדים ובני נוער במדיה ובטכנולוגיה, בדק את גרסת הנוער באמצעות יותר מ-4,000 פרומפטים בחשבונות של משתמשים בגילים 17-13, והגדיר אותה "סיכון בלתי מתקבל על הדעת". הבדיקה התמקדה בין היתר במצבי קיצון ובשאלה האם מנגנוני ההגנה באמת פועלים כפי שהורה עשוי לצפות ממוצר שמוצג כמותאם לצעירים.

אחד הממצאים המרכזיים עסק בהתראות להורים. בחשבון נוער שמחובר לחשבון של הורה, המערכת אמורה לזהות מצבי מצוקה חריגים ובמקרים חמורים להפעיל מנגנוני התראה. מבחינת הורה, זה אחד המרכיבים שאמורים לספק תחושת ביטחון: גם אם הילד מנהל שיחה שההורה אינו רואה, המערכת אמורה לזהות מתי הדברים חוצים קו מסוכן.

אולם בבדיקות של הארגון נמצאו מקרים שבהם שיחה על פגיעה עצמית הגיעה לרמה מדאיגה בלי שהתראה להורה הופעלה כנדרש. נמצאו גם מקרים שבהם הצ'אט המשיך לנהל את השיחה במקום להפנות בצורה ברורה ומהירה יותר לקבלת עזרה בעולם האמיתי. דווקא כאן, במקום שבו הורה מצפה שמנגנוני הבטיחות יהיו המחמירים ביותר, נמצאו חלק מהפערים המשמעותיים.

הבעיה רחבה יותר מתשובה אחת שגויה. בני נוער יכולים לנהל עם הצ'אט שיחות שנמשכות זמן רב, ולשתף אותו במתח בבית, חרדה, חברויות, דימוי גוף או קושי בבית הספר. ככל שהשיחה מתארכת, הצ'אט נחשף ליותר פרטים והחוויה עשויה להפוך אישית יותר. עבור הורים מודאגים, זה גם המקום שבו הגבול בין כלי עזר טכנולוגי לבין גורם שהנער או הנערה נשענים עליו רגשית נעשה פחות ברור.

OpenAI מנסה לצמצם תלות כזאת באמצעות כללים שמונעים מהמערכת להציג את עצמה כבעלת רגשות או לעודד קשר רומנטי, לצד תזכורות להפסקה והפניה לאנשים אמיתיים במצבי מצוקה. אלא שהבדיקה מעלה את השאלה אם הכללים האלה מספיקים כאשר שיחה נמשכת לאורך זמן ומשנה בהדרגה את אופייה.

הבדיקה העלתה גם בעיה הרבה יותר יומיומית: שיעורי בית. גרסת הנוער כוללת Study Mode שנועד להוביל תלמיד דרך שאלות, רמזים והסברים במקום למסור פתרון מוכן. המטרה היא שהצ'אט ישמש כלי ללמידה ולא פשוט יעשה את העבודה במקום התלמיד. למרות זאת, בחלק מהמקרים שנבדקו המערכת עדיין השלימה משימות עבור המשתמש.

OpenAI חולקת על חלק מהממצאים וטוענת כי מנגנוני ההגנה במוצר ממשיכים להתעדכן. החברה מדגישה כי המוצר כולל זיהוי גיל, בקרת הורים, שעות שקטות, אפשרות לשלוט בחלק מהפיצ'רים והתראות במצבי סיכון חריגים. בגרסת הנוער קיימות גם הגנות בתחומים כמו פגיעה עצמית, אלימות, הפרעות אכילה ותוכן מיני, והחברה מפרסמת מבחני בטיחות ייעודיים למשתמשים צעירים.

הוויכוח הופך משמעותי יותר ככל שהשימוש בצ'אטבוטים הופך לחלק מהשגרה. בני נוער משתמשים בהם ללימודים, מידע, עצות ופתרון בעיות, ובחלק מהמקרים גם לשיחות אישיות מאוד. מוצר שנועד להסביר משוואה או לעזור בעבודה בהיסטוריה יכול בתוך דקות לעבור לתפקיד אחר לגמרי.

• ביקש לתבוע 3.5 מיליארד שקל מגוגל ו-OpenAI - אך לא לשלם אגרה
• סרבראס קפצה 9% אחרי שאלטמן הרגיע: מי היא המתחרה הקטנה של אנבידיה, ולמה היא שווה חצי מיום ההנפקה

עבור הורים, השאלה בסופו של דבר פשוטה יותר מכל מנגנון טכנולוגי: האם אפשר לתת לבני נוער להשתמש בכלי כזה בלב שקט, או שגם כאשר מדובר בגרסה שמוגדרת כמותאמת לצעירים עדיין נדרשת מעורבות פעילה של ההורים. הבדיקה החדשה מצביעה לפחות כרגע על האפשרות השנייה.