19% לאט יותר: המחקר שחשף את אשליית הבינה המלאכותית

ארגון המחקר האמריקאי METR פרסם את אחד הניסויים המפתיעים בשנה האחרונה בכל הנוגע לשילוב בינה מלאכותית בעבודה. במקום להסתמך על מבחני ביצועים סינתטיים או על תחושות של משתמשים, החוקרים בנו ניסוי מבוקר אקראי - שיטת המחקר המחמירה שמקובלת בעיקר בבדיקת תרופות - כדי לענות על שאלה פשוטה: האם כלי בינה מלאכותית באמת מזרזים מתכנתים ותיקים בעבודה על קוד שהם מכירים היטב.

התוצאה הייתה מנוגדת למה שכמעט כולם ציפו שתהיה. המפתחים עבדו 19 אחוז לאט יותר כשהותר להם להשתמש בכלי בינה מלאכותית, בהשוואה למשימות שבהן עבדו בלעדיהם. הפער בין הציפייה למציאות הפך את המחקר לאחד הנדונים בתחום.

צוות המחקר, בהובלת ג'ואל בקר ונייט ראש מ-METR, גייס 16 מפתחי תוכנה מנוסים מפרויקטי קוד פתוח גדולים. אלו לא היו מתכנתים מתחילים - הוותק הממוצע שלהם בפרויקטים שעליהם עבדו עמד על כחמש שנים, והם הכירו את המערכות על בוריין. כל אחד מהם קיבל משימות אמיתיות מתוך הפרויקטים שלו עצמו: תיקוני באגים, הוספת תכונות ושכתובי קוד. בסך הכול נמדדו 246 משימות, שכל אחת ארכה בממוצע כשעתיים.

המשימות חולקו באקראי לשתי קבוצות. באחת הותר למפתחים להשתמש בכל כלי בינה מלאכותית שרצו, בעיקר Cursor Pro עם המודלים המתקדמים של אותה תקופה. בשנייה נאסר עליהם להיעזר בבינה מלאכותית לחלוטין. החוקרים תיעדו במדויק את הזמן שלקח לסיים כל משימה, שילמו למשתתפים 150 דולר לשעה, וקיבלו הקלטות מסך כדי לוודא שהכללים נשמרו.

לפני תחילת הניסוי התבקשו המפתחים לנחש עד כמה הבינה המלאכותית תזרז אותם. הם העריכו שיפור של 24 אחוז. גם לאחר שסיימו את כל המשימות, כשכבר ידעו כמה זמן לקח להם, הם עדיין העריכו שהכלים זירזו אותם בכ-20 אחוז. אבל המדידה האובייקטיבית סיפרה סיפור הפוך לגמרי.

פער של 40% בין תחושה למציאות

"מפתחים חשבו שהם מהירים ב-20 אחוז עם כלי בינה מלאכותית, אך למעשה הם היו איטיים ב-19 אחוז כשהייתה להם גישה אליהם, בהשוואה למצב שבו לא הייתה", כתבו החוקרים בסיכום הממצאים. זהו פער עצום - כמעט 40 נקודות אחוז בין התחושה הסובייקטיבית לבין מה שקרה בפועל.

הפער הזה, ולא רק ההאטה עצמה, הוא מה שהפך את המחקר לחשוב כל כך. אנשי מקצוע מנוסים, שמכירים את עבודתם לעומק, טעו בהערכת הפריון של עצמם בכיוון החיובי. הם הרגישו יעילים יותר בזמן שהאטו. "כשמותר למפתחים להשתמש בכלי בינה מלאכותית, לוקח להם 19 אחוז יותר זמן להשלים משימות", ניסחו זאת החוקרים בפשטות בבלוג הרשמי של הארגון.

כדאי לשים לב למגבלות שהחוקרים עצמם ציינו. מדובר במפתחים ותיקים שעובדים על קוד מוכר ומורכב, לא במשתמשים חדשים או במשימות פשוטות. במחקרים אחרים, דווקא עובדים פחות מנוסים ובמשימות סטנדרטיות הרוויחו מהבינה המלאכותית שיפור משמעותי בזמן. הממצא כאן ספציפי: כשמדובר במומחה שמכיר את השטח, הכלי עלול להאט אותו.

אתגר ה-AI: תלוי במשימה ובמומחיות

הצוות בדק 20 גורמים אפשריים שיכולים להסביר את ההאטה, ומצא עדות לכך שחמישה מהם תרמו לה. "בחנו 20 גורמים פוטנציאליים שעשויים להסביר את ההאטה, ומצאנו עדות לכך שחמישה כנראה תורמים", כתבו החוקרים. בין הגורמים: הזמן שנדרש כדי לנסח בקשה טובה למודל, הזמן שהושקע בבדיקה ובתיקון של הקוד שהמודל הציע, והפער בין ידע עמוק של המפתח על הפרויקט לבין ההצעות הכלליות שהמודל סיפק.

• לקראת עונת הדוחות בשבבים: מי המניות המומלצות; חמש מניות עם פוטנציאל עלייה של עד 45%
• האנליסט אדם ווד פתח את הסיקור בהמלצת "תשואת יתר" ומחיר יעד של 600 דולר; לדבריו אז'ור, קופיילוט ומגמת

מתכנת שמכיר קובץ קוד בן חמש שנים יודע בדיוק היכן לגעת. כשהוא מקבל הצעה מבינה מלאכותית, הוא נדרש לקרוא אותה, להבין אותה, לוודא שהיא אינה שוברת דבר במקום אחר, ולעיתים לתקן אותה. כל השלבים האלה גוזלים זמן שלא היה נדרש אילו כתב את הקוד בעצמו מלכתחילה.

המחקר הצטרף לגוף מחקרים גדל שמכונה פרדוקס פריון הבינה המלאכותית. מצד אחד, ניסויים רבים מתעדים זינוק בתפוקה כשעובדים נעזרים בכלים חכמים, במיוחד בכתיבה, בשירות לקוחות ובמשימות שגרתיות. מצד שני, כשמדובר במומחים שעובדים על חומר שהם מכירים לעומק, אותם כלים עלולים להאט. הפער בין שני הממצאים אינו סתירה אלא רמז לכך שהתועלת תלויה מאוד בסוג המשימה ובמידת המומחיות של העובד.

נקודה שהחוקרים ציינו היא שהתוצאה נמדדה על מודלים של תחילת 2025, וכלים חדשים יותר עשויים לשנות את התמונה. השיעור המרכזי אינו נוגע לגרסה מסוימת של מודל, אלא לפער העקבי בין תחושת פריון למדידת פריון. גם אם דור הכלים הבא יזרז מומחים, הנטייה של אנשים להעריך יתר על המידה את התועלת של כלי חדש צפויה להישאר.

איך כדאי ליישם במקומות עבודה

המסקנה המעשית אינה שיש לזנוח כלי בינה מלאכותית, אך כדאי למדוד את התועלת שלהם באופן אובייקטיבי במקום להסתמך על תחושה. ארגונים שמכניסים כלים כאלה נוטים לשאול את העובדים כמה הם עוזרים, אך המחקר מלמד שתשובות כאלה עלולות להטעות בכיוון החיובי. עובד שמרגיש יעיל יותר אינו בהכרח יעיל יותר.

לגבי משקיעים ומנהלים, הממצא נוגע ישירות להערכות השווי של חברות טכנולוגיה שבנויות על הבטחת פריון. אם חלק מהשיפור המדווח הוא תחושתי ולא ממשי, ההשלכות על תמחור ועל תחזיות צמיחה משמעותיות. הדרך לבדוק זאת אינה סקר שביעות רצון אלא מדידה של תפוקה בפועל, לפני ואחרי, בתנאים מבוקרים.

ההמלצה שעולה מהמחקר פשוטה ליישום: מי שרוצה לדעת אם כלי מסוים באמת עוזר לו, כדאי שיתעד את הזמן שלוקח לו לבצע משימות דומות עם הכלי ובלעדיו, לאורך כמה שבועות. המספרים, ולא התחושה, הם שיגלו את התמונה האמיתית. בעולם שבו כל חברה מבטיחה זינוק בפריון, היכולת להבחין בין שיפור נמדד לבין שיפור מדומה הופכת ליתרון של ממש.