המוח נכנס לחדר האימון של ה-AI: מחקר חדש שיפר חשיבה של מודלי שפה בעזרת אותות מהמוח
רוב מהפכת הבינה המלאכותית נבנתה עד היום על טקסטים, תמונות, וידאו, קוד וכמויות עצומות של מידע שיצרו בני אדם. מחקר חדש שפורסם באוגוסט ב-Nature Machine Intelligence מציע חומר גלם מסוג אחר: הפעילות של המוח עצמו בזמן חשיבה. החוקרים מינגצ'ינג שיאו, קאי דו וז'וצ'ן לין מצאו שייצוגים פנימיים במודלי שפה חולקים מאפיינים מסוימים עם פעילות מוחית בזמן הסקה לוגית, והראו שאפשר להשתמש באותות האלה כדי לשפר את ביצועי המודלים. החוקרים מתארים את המעבר כמעבר "מקורלציה להכוונה".
בשנים האחרונות הצטברו מחקרים שמצאו דמיון מסוים בין הדרך שבה מודלי שפה מעבדים טקסט לבין הפעילות ברשתות השפה במוח. במקביל, מחקר מרכזי של אוולינה פדורנקו, סטיבן פיאנטדוסי ואדוארד גיבסון, שפורסם ב-Nature ב-2024, חיזק את הגישה שלפיה שפה וחשיבה נשענות בחלקן על מערכות מוחיות שונות. כלומר, מודל שמצטיין בשפה עדיין צריך להתמודד עם שאלה עמוקה יותר: עד כמה המבנים הפנימיים שלו דומים למנגנונים שבאמצעותם בני אדם מסיקים מסקנות.
הכלי שבאמצעותו נמדדת החשיבה הזאת הוא fMRI, הדמיה בתהודה מגנטית תפקודית. הסורק עוקב אחרי אספקת הדם לרקמת המוח: אזור שעובד קשה יותר צורך יותר חמצן, זרימת הדם אליו גוברת, והמוגלובין נושא חמצן מגיב לשדה המגנטי אחרת מהמוגלובין שכבר פרק את המטען שלו. ההפרש הזה הוא האות שהמכשיר קולט, ומכאן שמו BOLD, אות התלוי ברמת החמצן בדם. מדובר במדד עקיף לפעילות עצבית, ברזולוציה של מילימטרים בודדים ושל שניות, וכל נקודת מדידה מסכמת את עבודתם של מאות אלפי תאי עצב יחד.
לשם כך השתמשו החוקרים בנתוני fMRI ממחקר שגייס 17 משתתפים בגילאי 19 עד 30. לאחר החרגת נתונים התנהגותיים חסרים וסריקה אחת שלא ניתן היה לפלח, נשען הניתוח על עשרה נבדקים בגיל ממוצע 25.3. המשתתפים פתרו 70 בעיות של הסקה דדוקטיבית משני סוגים, מתוך 72 שהוכנו מלכתחילה ושתיים מהן הוסרו מפני שהיו סותרות. הסוג הראשון, הסקה סילוגיסטית, נשען על כמתים מסוג "כל" ו"חלק". הסוג השני, הסקה טרנזיטיבית, נשען על יחסי סדר בין פריטים. בכל משימה הוצגו שלוש הנחות ואחריהן מסקנה, והמשתתף נדרש לקבוע אם היא תקפה. האות נמדד באזורים חזיתיים וקודקודיים הקשורים להסקה, לצד רשתות השפה ורשת הדרישה המרובה, מערכת שמתגייסת למשימות קוגניטיביות תובעניות מסוגים שונים.
אותם גירויים הוזנו לעשרה מודלי שפה בגודל של 1.5 מיליארד עד 72 מיליארד פרמטרים, ממשפחות לאמה, קוון ומיסטרל ולצדם מודל קטן של מיקרוסופט. ביצועי המודלים נעו בין 71.4% במודל הוותיק שבחבורה ל-97.1% במודל הגדול והעדכני, לעומת ממוצע של 86.4% אצל בני האדם. חלק מהמודלים כבר עוקפים במשימה הזאת את הביצוע האנושי הממוצע.
התוצאה הראשונה הייתה שהייצוגים הפנימיים של המודלים הצליחו להסביר כ-76% מהשונות הניתנת להסבר בפעילות המוחית המצטברת באזורים הקשורים להסקה. הניסוח הזה דורש פירוק. כל מדידת fMRI מכילה רעש, וגם סריקה חוזרת של אותו אדם על אותו גירוי מחזירה תוצאה מעט שונה, ולכן החוקרים אומדים מראש איזה חלק מהאות בכלל ניתן לחיזוי. מול התקרה הזאת נמדד המודל. 76% פירושם שהמודל תפס כשלושה רבעים מהחלק שניתן לחיזוי, שיעור גבוה בהרבה מהחלק שהוא תופס מהאות הגולמי.
כאשר החוקרים בחנו כל סוג חשיבה בפני עצמו, ההתאמה ירדה לכ-27%. ההפרש בין שני המספרים נובע מכך שהמדידה המצטברת מערבבת את שתי משפחות השאלות, וההתאמה בה יכולה לנבוע מהבדלים גסים יחסית: רמת הקושי, אורך השאלה, המבנה החוזר של המשימה. הבדיקה בתוך סוג יחיד מנטרלת את ההבדלים האלה ומשאירה את השאלה החדה, האם המודל עוקב אחרי המהלך הלוגי עצמו. הירידה מכ-76% לכ-27% אומרת שהחפיפה גסה: היא תופסת את המבנה הכללי של החשיבה ומחמיצה את ההבחנות הדקות בין סוגי ההיסק. לפי המחקר, מודלי שפה מפתחים במהלך האימון מבנים שחורגים מעיבוד מילים ועשויים לייצג חלק מהיחסים המופשטים שבהם משתמש המוח האנושי.
החוקרים בנו שיטה שממפה בין המצב הפנימי של המודל לבין דפוס הפעילות שנמדד במוח, ואז מזיזה את הייצוג של המודל לכיוון שנגזר מהאות המוחי. באחד הניסויים, שנערך על שישה מודלים שהציגו טעויות בשתי משפחות השאלות, הפכה ההתערבות תשובות שגויות לנכונות בכל המקרים שנבדקו, שיעור הצלחה של 100% שהתעלה על שתי שיטות ההשוואה: הזזה בכיוון אקראי והזזה לפי אות מוחי אקראי. משם עברו לשיטת אימון שבה המידע המוחי נטמע בפרמטרים של המודל, וכך נבחנה גם הכללה לשאלות חדשות.
כאשר האימון מבוסס האותות המוחיים שולב עם אימון שפה רגיל, נרשמה בממוצע תוספת של 2.2% לדיוק, עם טווח של 0.5% עד 6.4%. בבעיות לוגיקה פרופוזיציונית הגיע מודל מיסטרל ל-83.7% לעומת 70.5% באימון המבוסס על שפה בלבד, פער של 13.2%, ושני המספרים הם מיטב חמש הרצות. בדיקה נוספת על מאגר נפרד מפרויקט Human Connectome Project החזירה כיוון דומה.
- החבר שתמיד זמין: מחקר חדש מזהה קשר מטריד בין חַבְרוּת עם AI למצב נפשי
- הכנסות אנתרופיק זינקו פי 14 ברבעון - יותר מ-11.5 מיליארד דולר בדרך לבורסה
רוב אימון ה-AI הקיים מלמד מערכת לפי התוצאה הרצויה: איזו תשובה נכונה, איזה טקסט עדיף, איזה פלט קיבל דירוג גבוה יותר. כאן נכנס מקור מידע על התהליך הפנימי של האדם בזמן פתרון המשימה. אם הגישה תתרחב, תחום ה-NeuroAI עשוי להפוך את מדעי המוח לחלק ממערך הפיתוח של מודלים חדשים, לצד דאטה, כוח מחשוב ומשוב אנושי. השאלה מאיפה יגיע האות האנושי שימשוך את המערכות למעלה נעשית מעשית יותר ככל שהמודלים משתפרים.
עם זאת, המחקר נמצא בשלב הוכחת היתכנות. בסיס ה-fMRI המרכזי כלל עשרה נבדקים, סוגי החשיבה שנבדקו מצומצמים, וסריקות מוח הן משאב יקר ואיטי ביחס למיליארדי דוגמאות הטקסט שעליהן מאומנים מודלים. לכן הערך הקרוב יותר עשוי להגיע מהבנת עקרונות החשיבה האנושית ומהמרתם לאותות אימון יעילים, ולא מאיסוף סריקות מוח בהיקפים עצומים.
שאלת היחס בין המוח למודלים נבחנה עד כה בעיקר מהצד השני: מחקרים שבדקו כיצד שימוש ב-AI משנה את פעילות המוח והמאמץ הקוגניטיבי, ולצדם הדמיון בין התנהגות אנושית לבין מערכות בינה מלאכותית. המחקר החדש הופך את כיוון החץ: במקום לבדוק מה ה-AI עושה למוח, הוא בודק מה אפשר ללמוד מהמוח כדי לבנות AI בעל יכולת חשיבה טובה יותר.
