למה לבינה המלאכותית שלכם יש הפרעת קשב - ואיך גורמים לה לעבוד נכון?

כל מי שניסה לעבוד עם מודל שפה בצורה רצינית מכיר את הרגע המייאש הזה: הגדרתם משימה, ביקשתם ממנו להמתין שנייה, אבל הוא כבר דוהר קדימה ב-200 קמ"ש, קוטע אתכם ומקיא טקסט ארוך ומלא בביטחון עצמי מופרז, שפשוט מפספס את הנקודה. הוא מפגין אישיות דיגיטלית תזזיתית, קפריזית וחסרת סבלנות; ברגע אחד מבריק עם רעיונות יצירתיים שאף אדם לא היה חושב עליהם, וברגע השני מתנהג כמו תלמיד עצלן שמעגל פינות ומסרב לקרוא את חומר הרקע. הניסיון לרסן את המוח המבוזר שלו, לנהל איתו ויכוחים עקרים שבהם הוא תמיד חייב להגיד את המילה האחרונה ולהתמודד עם חוסר היכולת שלו להתרכז בעיקר, הופך את חוויית המשתמש לרכבת הרים מתסכלת שנעה בין התפעלות לתסכול ולפעמים גורמת לכם להרגיש קצת כמו מורה לחינוך מיוחד.

הרבה פוטנציאל, אבל המימוש בעייתי

מהפכת הבינה המלאכותית הגיעה לשוק העבודה עם הבטחה גדולה: יעילות שיא, דוחות מבוססי דאטה בלחיצת כפתור ואוטומציה מלאה של משימות קוגניטיביות מורכבות. חברות הענק משקיעות מאות מיליארדי דולרים בפיתוח מודלי שפה, מניות השבבים בוול סטריט שוברות שיאים וההייפ בשיאו. הבעיה - כל מנהל או עובד שהתיישב לעבוד בצורה אינטנסיבית עם כלי ה-AI המובילים בשנים האחרונות גילה מהר מאוד שהעבודה עם המודל המתוחכם ביותר בעולם מרגישה פחות כמו הפעלת מחשב-על ויותר כמו ניהול של עובד גאון הסובל מהפרעת קשב וריכוז חמורה במיוחד.

פרופיל המועסק: מבריק, שטחי ולא מסוגל להתאפק

המדע מאשר: ה-AI לא עושה לכם דווקא, הוא פשוט בנוי ככה

מנגנון תשומת הלב וקריסת הריכוז הסטטיסטי: מודלי שפה מעבדים טקסט באמצעות מנגנון קשב עצמי. המנגנון הזה מחשב את מידת הרלוונטיות של כל מילה לכל מילה אחרת במשפט. הבעיה היא שהחישוב הזה גדל בצורה מעריכית (ריבועית) ככל שהטקסט מתארך. כתוצאה מכך, המודל נאלץ לבצע פשרות מתמטיות. פונקציית ה-Softmax, שמחלקת את משקולות הקשב, יוצרת מצב שבו המודל פשוט מדלל את הריכוז שלו על פני היריעה, מה שמסביר מתמטית את החשיבה האסוציאטיבית והשטחית. כשהעומס גדול, ההסתברויות הסטטיסטיות נמרחות והמודל מתחיל לפלוט קלישאות גנריות.

אפקט אובדן הריכוז במרכז: מחקר מפורסם של אוניברסיטת סטנפורד ואוניברסיטת קליפורניה בברקלי חשף אנומליה קוגניטיבית במכונות. בניסויים שבהם נדרשו מודלים לשלוף נתון ספציפי מתוך מסמכים ארוכים, המודלים הצטיינו כאשר המידע הופיע ב-20% הראשונים של הטקסט או ב-20% האחרונים שלו. ברגע שהנתון הוטמן במרכז המסמך, אחוז הדיוק צנח בצורה דרסטית. המחשב פשוט מרחף מעל מרכז הפרומפט, בדיוק כמו אדם עם ADHD שמנסה לקרוא ספר ארוך ומוצא את עצמו מגיע לסוף העמוד בלי לזכור מה קרה באמצע.

ניקוז של קשב ודילול זיכרון העבודה: מחקרים של המכון הטכנולוגי של מסצ'וסטס (MIT) וחטיבת ה-AI של מטא חשפו פגם מובנה נוסף: ככל שהשיחה הולכת ומתארכת, המערכת סובלת ממה שמכונה דילול קשב. בשל חוסר היכולת להכיל את כל ההיסטוריה בבת אחת, האלגוריתם נוטה לנעול חלק עצום ממשאבי החישוב שלו על הטוקנים (מילים) הראשונים ביותר שנכתבו אי פעם בצ'אט (כמו המילה "שלום" או הפקודה ההתחלתית). המילים הראשונות הללו הופכות לבורות ניקוז ששואבים את הקשב, בעוד שהמידע החדש והקריטי שסיפקתם לו דקה לפני כן נדחק הצידה.

חלון ההקשר והשחיקה האנושית: חברות הטכנולוגיה מתחרות ביניהן על הגדלת חלון ההקשר - היכולת הטכנית להזין מודלים במיליוני מילים בבת אחת. אולם, מחקרים מראים כי הגדלת הקיבולת הטכנית רק מחמירה את פיזור הקשב של המכונה ומגדילה את אחוז ההזיות והמצאת הנתונים. במקביל, העבודה מול מכונה כל כך מהירה ותזזיתית מקצרת באופן אירוני את טווח הקשב של המנהלים האנושיים, שמפתחים בעצמם הרגלי עבודה שטחיים ואסוציאטיביים.

"אתה עוזר עסקי קפדן וממוקד. אנו הולכים לבצע משימה מורכבת, ואני דורש ממך לעמוד בחוקים הבאים:

אל תתפרץ: אל תענה על כל המשימה בבת אחת. המתן לאישור שלי לאחר כל שלב.

היצמד לעובדות: אל תפגין חופש יצירתי ואל תנחש נתונים. אם חסר מידע, תשאל אותי.

• ביהמ"ש מבהיר לגוגל: תשובת AI שגויה עלולה לעלות לה
• מרוץ הסוכנים האוטונומיים: גוגל ומטא משנות כיוון, אנתרופיק ו-OpenAI שומרות על ההובלה

עומק על פני שטח: הימנע מסיסמאות כלליות, התמקד במספרים ובנתונים יבשים. המשימה הראשונה שלך היא רק לבנות ראשי פרקים עבור (הכנס את המשימה שלך כאן). אל תרחיב מעבר לראשי הפרקים".