97 ניסויים הצליחו במקור, 36 שרדו את השחזור: מה נשאר מהכלכלה ההתנהגותית

מאה ניסויים בפסיכולוגיה נבחרו משלושה כתבי עת מובילים, וצוותים ברחבי העולם הריצו אותם מחדש בקפידה, לפי הפרוטוקול המקורי ובאישור החוקרים המקוריים. בפרסום הראשון, 97 מהם הניבו תוצאה מובהקת סטטיסטית. בסבב השחזור נותרו 36. גודל האפקט הממוצע התכווץ בערך למחצית ממה שדווח בפעם הראשונה, מסביבות 0.4 לסביבות 0.2 במונחי מתאם.

הפרויקט, Open Science Collaboration, פורסם בכתב העת Science בשנת 2015 בהובלת בריאן נוסק (Brian Nosek) מאוניברסיטת וירג'יניה, מייסד מרכז המדע הפתוח. מאות חוקרים לקחו בו חלק, והמאמרים שנבחרו הגיעו משלושה כתבי עת מרכזיים בתחום: Psychological Science, Journal of Personality and Social Psychology ו-Journal of Experimental Psychology. מאז הוא המספר שכולם מצטטים בוויכוח על אמינות המדע ההתנהגותי.

הוויכוח הזה יצא מזמן מגבולות האקדמיה. שורה ארוכה של מוצרים פיננסיים נשענת על ההנחה שהתנהגות אנושית מגיבה בצורה צפויה לעיצוב הבחירה: אפליקציות שמעגלות עודף מכל קנייה ומעבירות אותו לחיסכון, ברירות מחדל בהצטרפות לפנסיה, מסכי מסחר שמבליטים דווקא את ההפסד היומי, קמפיינים ממשלתיים שמנוסחים בשפה של אובדן במקום בשפה של רווח. השאלה אילו מהממצאים האלה עמדו במבחן חוזר נוגעת ישירות לכסף.

המאמר שהתחיל את הכל

בשנת 1979 פרסמו דניאל כהנמן ועמוס טברסקי מאמר בכתב העת Econometrica תחת הכותרת "תורת הערך: ניתוח של החלטה בתנאי סיכון". השניים, שהחלו את שיתוף הפעולה שלהם באוניברסיטה העברית בירושלים ובזמן הפרסום כיהנו באוניברסיטת בריטיש קולומביה ובאוניברסיטת סטנפורד, הציעו חלופה לתיאוריית התועלת הצפויה ששלטה בכלכלה.

הטענות המרכזיות שלהם היו פשוטות למדי. אנשים שופטים תוצאות ביחס למצב הפתיחה שלהם, במקום במונחים מוחלטים של עושר. הם מגיבים בעוצמה גדולה יותר להפסד מאשר לרווח בסכום זהה. והם מייחסים משקל מוגזם להסתברויות קטנות. שנאת ההפסד, החלק המוכר ביותר בתיאוריה, אומרת שהכאב מאובדן אלף שקל עולה על ההנאה מרווח של אלף שקל. עבודות המשך של השניים העריכו את היחס בסביבות 2 ל-1.

המאמר הפך לאחד המצוטטים בתולדות הכלכלה, וכהנמן קיבל עליו את פרס נובל לכלכלה בשנת 2002. טברסקי הלך לעולמו שש שנים קודם לכן, והפרס מוענק לחיים בלבד. מהתשתית הזאת צמח ענף שלם: כלכלה התנהגותית, אדריכלות בחירה, יחידות התנהגות במשרדי ממשלה, ותעשייה של ייעוץ שמוכרת התערבויות זולות עם הבטחה לשינוי התנהגות.

מה עמד ומה התפוגג

אחד הקורבנות הבולטים של גל השחזורים הוא רעיון דלדול האגו. המאמר המכונן, של רוי באומייסטר (Roy Baumeister) ועמיתיו מאוניברסיטת קייס ווסטרן ריזרב, פורסם ב-Journal of Personality and Social Psychology בשנת 1998. נבדקים שנדרשו להתאפק מול צלחת עוגיות טריות ולאכול צנוניות במקומן ויתרו מהר יותר על חידה חסרת פתרון שהוגשה להם אחר כך. המסקנה הייתה שכוח הרצון מתנהג כמו שריר שמתעייף, וממנה נגזרו המלצות על תזמון החלטות פיננסיות לשעות הבוקר.

בשנת 2016 פורסם ב-Perspectives on Psychological Science דוח שחזור רשום בהובלת מרטין הגר (Martin Hagger) וניקוס צ'טזיסרנטיס מאוניברסיטת קרטין באוסטרליה. 23 מעבדות, 2,141 נבדקים, פרוטוקול אחיד שאושר מראש בידי כל הצדדים. גודל האפקט שהתקבל עמד על 0.04, ורווח הסמך שלו הכיל את האפס. באומייסטר פרסם תגובה חריפה באותו גיליון וטען שהפרוטוקול שנבחר החליש את המניפולציה מלכתחילה.

הפרימינג החברתי ספג מכה דומה. ג'ון בארג' (John Bargh) פרסם ב-1996, גם הוא ב-JPSP, ניסוי שבו נבדקים שהרכיבו משפטים ממילים הקשורות לזִקנה יצאו מהחדר בהליכה איטית יותר. בשנת 2012 פרסמו סטפאן דוין (Stéphane Doyen) ועמיתיו מהאוניברסיטה החופשית של בריסל ניסיון שחזור ב-PLOS ONE. כשזמן ההליכה נמדד בחיישני אינפרה-אדום, האפקט התפוגג. הוא הופיע מחדש דווקא כשהניסוי הועבר בידי מפעילים שידעו מה התוצאה המצופה.

• המוח העייף מהמר: כיצד חוסר שינה דוחף להימורים בשוק ולקנייה אימפולסיבית
• 65 אלף דולר ביד או הטלת מטבע ל-1.3 מיליון: מה באמת בוחר המוח שלנו

תנוחות הכוח הן המקרה שהגיע הרחק מחוץ לאקדמיה. המאמר של דנה קרני (Dana Carney), איימי קאדי ואנדי ייפ פורסם ב-Psychological Science בשנת 2010 ונשען על 42 נבדקים. הוא דיווח שתנוחת גוף פתוחה למשך שתי דקות מעלה טסטוסטרון, מורידה קורטיזול ומגבירה נכונות ליטול סיכון. הרצאת TED שנשענה עליו נצפתה עשרות מיליוני פעמים והפכה לחומר קבוע בסדנאות הכנה לראיונות עבודה. בשנת 2015 פרסמו אווה רנהיל (Eva Ranehill) ועמיתיה מאוניברסיטת ציריך שחזור על מדגם גדול פי כמה, ובו ההשפעות ההורמונליות וההתנהגותיות נעדרו. מה שנשאר היה תחושת כוח מדווחת.

בספטמבר 2016 פרסמה קרני עצמה, אז מאוניברסיטת ברקלי, הצהרה קצרה באתר הסגל שלה: "אינני מאמינה שאפקטים של 'תנוחת כוח' הם אמיתיים" (במקור: I do not believe that 'power pose effects' are real).

המנגנון שייצר את הפער

ההסבר לכך שכל כך הרבה ממצאים התכווצו בסבב השני מתחיל בגודל המדגם. מחקר שנשען על ארבעים נבדקים מסוגל לזהות אפקט אמיתי בגודל בינוני בהסתברות נמוכה, ולכן כשהוא בכל זאת מחזיר תוצאה מובהקת, סביר שהיא מנופחת. תוסיפו לכך את מדיניות הפרסום הוותיקה, שהעדיפה ממצאים חיוביים ומפתיעים על פני תוצאות אפס, ומתקבל מאגר ספרות שמייצג את הקצה המזל של ההתפלגות במקום את מרכזה.

הרובד השני הוא חופש הפעולה של החוקר. בשנת 2011 פרסמו ג'וזף סימונס (Joseph Simmons), ליף נלסון ואורי סימונסון מאמר ב-Psychological Science בשם "פסיכולוגיה של תוצאות חיוביות כוזבות", ובו הראו שההחלטות הקטנות שמתקבלות תוך כדי עבודה - מתי להפסיק לאסוף נבדקים, אילו משתני בקרה לכלול, איזה מדד לדווח - מספיקות כדי להוציא תוצאה מובהקת כמעט מכל השערה, ובכלל זה השערות אבסורדיות שהם בדקו בכוונה. הכלים שנולדו מאז, ובראשם רישום מוקדם, נועדו לחסום בדיוק את מרחב ההחלטות הזה.

כהנמן היה בין המתריעים המוקדמים. בספטמבר 2012 שלח מכתב פתוח לחוקרי הפרימינג החברתי, ובו כתב: "הסיבה שאני כותב את המכתב הזה היא שאני רואה תאונת רכבת מתקרבת" (במקור: My reason for writing this letter is that I see a train wreck looming). הוא הוסיף שהתחום שלהם הפך לילד הפוסטר של הספקות בנוגע ליושרה של המחקר הפסיכולוגי, וקרא לחוקרים לארגן בעצמם סבב שחזורים מסודר בין מעבדות, לפני שגורמים אחרים יעשו זאת עבורם.

• שעונים וטבעות חכמות מודדים דופק, תנועה, טמפרטורה וחמצן ומתרגמים אותם לציון שינה. המחירים נעים ממאות
• מה זה "דחיינות שינה" ועל מה היא מלמדת?

חמש שנים אחר כך הגיעה הודאה חדה יותר. אולריך שימאק (Ulrich Schimmack) מאוניברסיטת טורונטו ועמיתיו פרסמו ניתוח של הכוח הסטטיסטי של המחקרים שכהנמן ציטט בפרק הרביעי של ספרו "לחשוב, מהר ולאט". כהנמן הגיב בגוף הבלוג בפברואר 2017: "אני מקבל את המסקנות הבסיסיות של הבלוג הזה" (I accept the basic conclusions of this blog). הוא הוסיף שהראיות הניסוייות לרעיונות שהציג באותו פרק היו חלשות משמעותית ממה שהאמין כשכתב אותו, וכתב: "ידעתי כל מה שהייתי צריך לדעת כדי למתן את ההתלהבות שלי מהממצאים המפתיעים והאלגנטיים שציטטתי, אבל לא חשבתי את זה עד הסוף".

מה כישלון שחזור באמת אומר

כאן נדרשת זהירות. שחזור שהניב תוצאה חסרת מובהקות מלמד שהניסוי הזה, בגודל המדגם הזה ובאוכלוסייה הזאת, כשל באיתור האפקט. זו אמירה על יכולת האיתור, והיא שונה מהוכחה שהאפקט נעדר מהעולם. בכלים הסטטיסטיים המקובלים, היעדר מובהקות משמעו שהנתונים מתיישבים גם עם אפס וגם עם אפקט אמיתי אבל קטן. כדי לטעון שאפקט נעדר צריך כלים אחרים: מדגם גדול במיוחד, ניתוח בייסיאני, או מבחן שקילות שמראה שהאפקט קטן מסף שהוגדר מראש.

מנגד, ההגנה הרווחת על המחקרים המקוריים, שלפיה אפקטים פסיכולוגיים רגישים להקשר, לתרבות ולתקופה, נחלשה בשנים האחרונות. פרויקט Many Labs השני, בהובלת ריצ'רד קליין (Richard Klein) ועמיתיו, פורסם בשנת 2018 ובחן 28 ממצאים ביותר מ-60 מעבדות ב-36 מדינות, עם 15,305 נבדקים. 14 מהם השתחזרו. המעניין יותר הוא שכאשר אפקט אכן הופיע, הוא הופיע בעקביות גבוהה על פני מדגמים והקשרים שונים. כלומר, הרעיון של משתנים מתערבים נסתרים שמסבירים את הכישלונות התברר כרעוע.

יש גם צד שהחזיק. הסבב הראשון של Many Labs, שפורסם בשנת 2014 בכתב העת Social Psychology ובחן 13 אפקטים ב-36 מדגמים ובאלפי נבדקים, החזיר תוצאה טובה בהרבה עבור שני ממצאים מבית מדרשם של כהנמן וטברסקי. אפקט המסגור, שבו אותה החלטה בדיוק מנוסחת פעם במונחי הצלה ופעם במונחי תמותה ומקבלת העדפות הפוכות, השתחזר בגודל אפקט גדול. גם אפקט העיגון, שבו מספר שרירותי שנחשף לנבדק מושך את האומדן שלו לכיוונו, החזיק היטב.

שנאת ההפסד עצמה נמצאת במקום מורכב. דיוויד גל (David Gal) מאוניברסיטת אילינוי בשיקגו ודרק ראקר מאוניברסיטת נורת'ווסטרן פרסמו בשנת 2018 ב-Journal of Consumer Psychology מאמר בשם "אובדן שנאת ההפסד". הם טענו שהגרסה החזקה, שלפיה הפסדים תמיד שוקלים יותר מרווחים, חורגת ממה שהראיות מאפשרות, ושבהקשרים מסוימים דווקא הרווח שוקל יותר. התגובות בכתב העת היו חלוקות, והוויכוח על התנאים שבהם האפקט מופיע נמשך גם היום.

עבור התעשייה, המקרה המטריד ביותר נוגע דווקא לדחיפה העדינה. בשנת 2022 פורסמה ב-PNAS מטא-אנליזה בהובלת סטפני מרטנס (Stephanie Mertens) מהמכון הטכנולוגי הפדרלי בציריך, שסקרה יותר מ-200 מחקרים והציגה אפקט ממוצע בינוני, סביב 0.43, עם מסקנה שאדריכלות בחירה עובדת ברוב התחומים. באותה שנה ובאותו כתב עת פרסמו מקסימיליאן מאייר, אריק-יאן ואגנמייקרס ועמיתיהם ניתוח חוזר של אותם נתונים בדיוק. אחרי תיקון להטיית פרסום, האפקט המשוער התכווץ עד לאפס. הכותרת שלהם הייתה ישירה: היעדר ראיות ליעילות הדחיפה אחרי תיקון להטיית פרסום.

ההשלכות מעשיות. יחידות התנהגות ממשלתיות, גופים שמשווקים כלים פיננסיים בטענה שהם מבוססי מדע, וסטארטאפים בתחום החיסכון האוטומטי מוכרים התערבויות שנשענות על ספרות שחלקה עומד במבחן חוזר וחלקה מתפוגג בו. מוצר שנבנה על הנחת אפקט בגודל 0.4 ומתגלה כעומד על 0.05 ימשיך לפעול מבחינה תפעולית, אבל ההבטחה שנמכרה לרגולטור, למעסיק או ללקוח תזדקק לניסוח מחדש, וגם התמחור שלה. ההבדל בין השניים הוא ההבדל בין תוכנית שמזיזה שיעור השתתפות בעשרות אחוזים לבין תוכנית שמזיזה אותו בשבריר אחוז, ושתיהן נראות זהות בשקף מכירות.

מה שהשתנה מאז 2015 הוא בעיקר תשתית: רישום מוקדם של השערות לפני איסוף הנתונים, שיתוף נתונים גולמיים, מדגמים גדולים בהרבה, ודוחות שחזור רשומים שכתבי עת מתחייבים לפרסם עוד לפני שהתוצאה ידועה. הדור הבא של ממצאים בכלכלה התנהגותית ייבחן בכלים האלה. השאלה הפתוחה נוגעת לספרות שנצברה בעשורים שקדמו לכך, זו שעליה נשענים כרגע מוצרים, תוכניות הדרכה ותקנות, ומי ייקח על עצמו למיין אותה ממצא אחר ממצא.