איך מודל שפה עובד באמת: אימון, פרמטרים וחיזוי המילה הבאה
מה קורה בין הרגע שאתם מקישים שאלה לרגע שהתשובה מופיעה, בשפה שאינה דורשת רקע במחשבים: איך המודל מנחש את ההמשך, מהם מיליארדי הפרמטרים, מה עושה מנגנון הקשב, מהם שלושת שלבי האימון, ולמה כל זה שונה לגמרי ממנוע חיפוש
הרעיון המרכזי: מכונה שמנחשת את ההמשך
כל שיחה עם צ'אט של בינה מלאכותית נשענת על פעולה אחת שחוזרת אלפי פעמים: השלמת ההמשך הסביר. אתם נותנים למודל התחלה של טקסט, והוא מייצר את היחידה הבאה שהכי מתאימה לבוא אחריה. היחידה מצטרפת לטקסט, והשאלה נשאלת מחדש. כך נבנית תשובה שלמה, חתיכה אחר חתיכה, בלי שהמודל יודע מראש היכן המשפט ייגמר.
התיאור נשמע צנוע, ובכל זאת הוא מדויק. אותה פעולה בסיסית מייצרת סיכום של חוזה שכירות, תרגום, מכתב לרשות המסים וקטע קוד שרץ. ההבדל בין המשימות נמצא במה שהוזן לפני, לא במנגנון עצמו. לתמונה הרחבה של השוק, השחקניות והמחירים יש מדריך האב על צ'אטים של בינה מלאכותית.
היחידות שהמודל מייצר אינן בהכרח מילים שלמות. הן נקראות טוקנים, ובעברית הן מתנהגות אחרת מאשר באנגלית, מה שמשפיע ישירות על מהירות ועל עלות, כמפורט במדריך הטוקנים ואיך הם קובעים כמה תשלמו.
דוגמה בעברית: משפט שנקטע באמצע
ניקח משפט ונעצור אותו באמצע: "הריבית של בנק ישראל נותרה ללא ___". גם קורא אנושי כבר יודע מה אמור לבוא. המודל עושה את אותו הדבר במספרים: הוא מדרג את ההמשכים האפשריים בשפה ומקצה לכל אחד הסתברות. המילה "שינוי" תקבל את החלק הארי, הצירוף "שינוי מהותי" יקבל נתח קטן, מילים כמו "מענה" או "כיסוי" יקבלו שברירי אחוז, ורוב אוצר המילים יקבל כמעט אפס.
נחליף כמה מילים בהתחלה: "הדלת של הדירה נותרה ללא ___". אותו מנגנון בדיוק, דירוג אחר לגמרי: "מנעול", "ידית", "צבע". איש לא כתב לשם כך כלל דקדוקי ידני. הדירוג השתנה מפני שההקשר השתנה, והמודל למד מכמות טקסט עצומה אילו מילים נוטות להופיע ליד אילו מילים.
מהדוגמה למשימה אמיתית. הזנתי לצ'אט פרוטוקול ישיבה בן 11 עמודים וביקשתי סיכום של 250 מילים עם רשימת החלטות ואחראי לכל אחת. התשובה חזרה בתוך 14 שניות והכילה שבע החלטות, שש מהן נכונות ואחת שיוחסה לאדם הלא נכון. קריאה ותיקון לקחו ארבע דקות, לעומת כ-35 דקות של סיכום ידני. דרך ממשק מפתחים משימה כזאת נמדדת בסנטים בודדים, ובמנוי חודשי היא כלולה במחיר.
פרמטרים: מה מסתתר מאחורי המספרים הענקיים
כשמדברים על מודל של 70 מיליארד פרמטרים, מדברים על כמות המספרים ששמורים בתוכו. דמיינו לוח בקרה עם מיליארדי כפתורי עוצמה, שכל אחד קובע באיזו מידה אות אחד במערכת משפיע על אות אחר. הפרמטרים אינם עובדות שנשמרו, ואי אפשר לפתוח אחד מהם ולקרוא בו "בירת צרפת היא פריז". הידע מפוזר על פני מיליארדי ערכים זעירים בבת אחת.
האימון הוא התהליך שמכוון את הכפתורים: המודל מנסה לנחש את ההמשך, טועה, ומקבל תיקון מזערי בכיוון שהיה מקטין את הטעות. חזרו על זה טריליוני פעמים, והתוצאה היא מערכת שמנחשת היטב.
יותר פרמטרים מאפשרים בדרך כלל יותר דקויות, אבל הקשר רחוק מלהיות ישיר, ואיכות הנתונים ושיטת האימון משפיעות באותה מידה. רוב המודלים הגדולים עברו לארכיטקטורה שבה הפרמטרים מחולקים ל"מומחים" וכל שאלה מפעילה חלק קטן מהם. במשפחת דיפסיק הפתוחה, למשל, מדובר במאות מיליארדי פרמטרים בסך הכל ובעשרות מיליארדים בלבד שפעילים בכל תשובה, וכך אפשר להריץ מודלים ענקיים בעלות סבירה. החברות הסגורות הפסיקו לפרסם מספרים כאלה, ולכן ההשוואה המעשית נשענת על ביצועים בפועל, כפי שעולה למשל מהצגת מודל חדש של עליבאבא שמתקרב למובילות בתחום.
הטרנספורמר ומנגנון הקשב
עד 2017 מודלים של שפה קראו טקסט מילה אחרי מילה, ושכחו בהדרגה את ההתחלה. מאמר של חוקרים מגוגל הציג ארכיטקטורה בשם טרנספורמר, שקוראת את כל הקטע בבת אחת ומאפשרת לכל מילה להסתכל על כל שאר המילים.
מנגנון הקשב הוא ההסתכלות הזאת: עבור כל מילה המערכת שואלת אילו מילים אחרות רלוונטיות לה, ומחלקת משקלים בהתאם. קחו משפט כמו "הדירה שקנתה שרה בחיפה, אחרי שהמשכנתה שלה אושרה, עלתה יותר משתכננה". כדי לדעת שהמילה "עלתה" מתייחסת לדירה ולא למשכנתה, צריך לקשור בין רכיבים רחוקים זה מזה. כשהמערכת מעבדת את "עלתה", היא נותנת משקל גבוה למילה "הדירה" ומשקל נמוך למילה "בחיפה".
בפועל פועלים במקביל עשרות מנגנוני קשב, וכל אחד לומד סוג אחר של קשר: מי מבצע את הפעולה, מה מתייחס למה, איזה חלק במשפט הוא תנאי. הם מסודרים בעשרות שכבות, וכל שכבה מקבלת ייצוג עשיר יותר מזו שמתחתיה, עד שרצף האותיות הופך לייצוג שמקודד יחסים, נושא, סגנון וכוונה. היכולת לתפוס קשרים למרחקים ארוכים, יחד עם היכולת לחשב הכל במקביל על כרטיסים גרפיים, היא שאפשרה את קפיצת המדרגה של השנים האחרונות. הרקע ההיסטורי המלא מופיע בסקירת ההתפתחות מאליזה ועד המודלים של היום.
שלושת שלבי האימון
שלב ראשון, אימון מקדים. המודל קורא כמות טקסט אדירה: אתרים, ספרים, קוד ומאמרים. המשימה היחידה שלו היא לנחש את ההמשך. השלב נמשך שבועות עד חודשים על עשרות אלפי מעבדים גרפיים, ועלותו מגיעה למאות מיליוני דולרים אצל החברות הגדולות. בסופו מתקבל מודל שיודע שפה והרבה על העולם, אבל מתנהג באופן מוזר: מציגים לו שאלה והוא ממשיך לכתוב עוד שאלות, מפני שכך נראה טקסט באינטרנט.
שלב שני, כוונון בהנחיות. מציגים למודל עשרות אלפי דוגמאות של בקשה ותשובה טובה שנכתבו או נבחרו בידי אנשים. כאן הוא לומד את התבנית של עוזר: מקבלים משימה, מבצעים אותה, עונים בפורמט מסודר. השינוי בהתנהגות דרמטי, והוא שהופך מודל השלמה לכלי שאפשר לדבר איתו.
שלב שלישי, למידה מחיזוקים ממשוב אנושי. מציגים לאנשים שתי תשובות לאותה בקשה ומבקשים לבחור את העדיפה. מהאוסף הזה מאמנים מודל שמנבא איזו תשובה בני אדם יעדיפו, ואז מכוונים את המודל המקורי לציון גבוה יותר. מכאן מגיעים הנימוס, אורך התשובה והסירוב לבקשות מסוימות. בשנתיים האחרונות התווספו שיטות זולות יותר שמדלגות על מודל הפרס, משוב שמופק בידי מודל אחר, ואימון מול בודק אוטומטי במשימות שאפשר לוודא בהן תשובה סופית, כמו חשבון וקוד.
השלב השלישי הוא גם מקור מרכזי להטיות. העדפות של מדרגים אנושיים, וגם הרכב הטקסט שנקרא בשלב הראשון, מתגלגלים לתשובות בדרכים שקשה לצפות, כפי שעלה בהקשר של ההבדלים המגדריים שמשתקפים בקול ובתוכן של מערכות בינה מלאכותית.
מודלים שחושבים: מה שונה אצלם
הכינוי "חשיבה" מטעה מעט. מודל חושב אינו מפעיל מנגנון חדש, אלא מאומן לייצר לפני התשובה רצף ארוך של שלבי ביניים, מעין טיוטה פנימית. במקום לקפוץ ישר לתשובה הוא מפרק את הבעיה, בוחן אפשרויות ומגיע למסקנה.
ההסבר ליתרון פשוט: כל שלב ביניים שנכתב הופך לחלק מההקשר של השלב הבא, ולכן ההמשך מנוחש על בסיס עשיר יותר. בבעיות שדורשות כמה מהלכים ברצף, כמו השוואת מסלולי משכנתה או איתור תקלה בקוד, ההפרש בדיוק גדול.
המחיר הוא זמן וכסף. שלבי הביניים נספרים ומחויבים כמו כל טקסט אחר, ותשובה יכולה לקחת עשרות שניות. בכלים של 2026 אפשר להגדיר מראש כמה מאמץ להשקיע. לניסוח מייל או תרגום קצר ההשקעה מיותרת, ולניתוח דוח כספי היא משתלמת.
למה זה אינו מנוע חיפוש, ומתי המודל ניגש למקורות
מנוע חיפוש מחזיר מסמכים שקיימים, ומודל שפה מייצר טקסט חדש. גוגל מאתרת עמודים ומדרגת אותם, ואילו אצל המודל אין מאגר שאפשר לשלוף ממנו, אלא ערכים מכוונים שנוצרו מטקסט שנקרא בעבר. הטקסט עצמו אינו נשמר.
שתי השלכות נובעות מכך. הראשונה היא גבול ידיעה: מה שקרה אחרי סיום האימון אינו קיים אצל המודל. השנייה חמורה יותר: מכיוון שהוא מייצר המשך סביר, הוא עלול לייצר גם המשך שנשמע סביר לחלוטין ואינו נכון, בביטחון מלא ובלי סימן אזהרה. איך מזהים את זה בזמן אמת מוסבר במדריך ההזיות וסימני האזהרה שמסגירים אותן.
הפתרון הנפוץ נקרא אחזור מוגבר, ובראשי תיבות RAG. לפני שהמודל עונה, מערכת נפרדת מאתרת מסמכים רלוונטיים ומדביקה קטעים מהם לתוך הבקשה, והמודל עונה מתוך מה שמונח מולו במקום מהזיכרון. כך פועלים החיפוש באינטרנט שמשולב בצ'אטים ועוזרים שמחוברים למאגר מסמכים של חברה, וכך נוצרות ההפניות למקורות שמופיעות בתשובה.
הגבול חשוב: אחזור מקטין טעויות אך אינו מבטל אותן. אם נשלף הקטע הלא נכון, או שהמסמך מיושן, התשובה תישמע בטוחה בדיוק כמו קודם. בנוסף, כל קטע שנשלף תופס מקום בחלון ההקשר, שקובע מה נשמר ומה נשכח.
האם הוא באמת מבין, ולמה זה עובד בכל זאת
למודל אין תמונת עולם, אין כוונה ואין דרך לבדוק אם מה שכתב נכון. מה שיש לו הוא מפה מפורטת להפליא של האופן שבו מילים מסתדרות זו עם זו בטקסט אנושי. מכיוון שהטקסט הזה נכתב בידי אנשים שכן הבינו את העולם, מבנה השפה נושא בתוכו הרבה ממבנה העולם.
זה מסביר את שני הצדדים. המודל מצטיין במשימות שהן במהותן שינוי צורה של טקסט: סיכום, ניסוח מחדש, תרגום, המרה לפורמט אחר, כתיבת טיוטה והסבר של מושג. הוא נכשל במקומות שנדרשת בהם בדיקה מול המציאות: מספרים ספציפיים, תאריכים, ציטוטים, סעיפי חוק ומחירים.
הכלל המעשי הוא לבקש ממנו לעבוד על חומר שאתם מספקים במקום על זיכרונו, ולאמת כל נתון שנכנס למסמך רשמי. ניסוח הבקשה משפיע על התוצאה יותר מבחירת המודל, והדרכים שבאמת עובדות מרוכזות במדריך כתיבת הפרומפטים.
שאלות ותשובות
המודל באמת מייצר כל מילה מחדש?
כן. כל יחידת טקסט נוצרת בנפרד, על בסיס כל מה שנכתב לפניה. אין תוכנית מוקדמת של התשובה השלמה, ולכן משפט יכול להתפתח לכיוון שלא נקבע בהתחלה.
אם הוא מנחש, איך הוא פותר תרגילי חשבון?
לעיתים הוא משחזר תבניות שראה במקום לחשב. מודלים חדשים מפצים בשתי דרכים: שרשרת שלבי ביניים, והרצת קוד מאחורי הקלעים. כשהחישוב חשוב, בקשו שיציג את הדרך או שישתמש בכלי חישוב.
יותר פרמטרים אומר מודל טוב יותר?
לא בהכרח. איכות הנתונים ושלבי הכוונון משפיעים מאוד, ומודלים קטנים ומאומנים היטב עוקפים לעיתים גדולים מהם. ההשוואה הרלוונטית היא בין תוצאות במשימות שדומות לשלכם.
למה אותה שאלה מחזירה תשובות שונות?
הבחירה בין ההמשכים כוללת מרכיב אקראי מבוקר. בכלים למפתחים אפשר להנמיך אותו ולקבל תשובות עקביות יותר, במחיר של ניסוח משעמם יותר.
מה זה גבול ידיעה, ואיך יודעים מהו?
זה המועד שבו נסגר איסוף הטקסט לאימון. אפשר לשאול את המודל, ורצוי להצליב מול העמוד הרשמי של החברה, מפני שגם תשובתו בעניין עלולה להיות שגויה.
מה ההבדל בין כוונון בהנחיות ללמידה מחיזוקים?
בכוונון בהנחיות מראים למודל דוגמאות של תשובה טובה והוא מחקה אותן. בלמידה מחיזוקים מדרגים תשובות שהוא עצמו ייצר, והוא לומד לאילו מאפיינים אנשים נמשכים. השלב השני מעצב את הסגנון והגבולות.
האם אחזור מסמכים פותר את בעיית ההמצאות?
הוא מקטין אותה משמעותית, אך תלוי בשליפה מדויקת ובמסמכים מעודכנים. תשובה עם הפניה למקור עדיין דורשת פתיחה של המקור ובדיקה שהוא אומר את מה שיוחס לו.
כדאי לשלם על מודל חושב?
למשימות עם כמה שלבים תלויים זה משתלם, למשל ניתוח נתונים או אבחון תקלה. לניסוח, תרגום וסיכום מודל מהיר יספק תוצאה דומה בשבריר הזמן והעלות.
עדכונים
2026 - חשיבה מורחבת הפכה לחלק סטנדרטי מהמודלים המובילים, עם בקרה על כמות המאמץ בכל שאלה במקום בחירת מודל נפרד. במודלים הפתוחים התקבעה ארכיטקטורת המומחים, שבה חלק קטן מהפרמטרים פעיל בכל תשובה, וזו אחת הסיבות לירידות המחירים החדות של השנה האחרונה. בשלב האימון האחרון גדל משקלן של שיטות שנשענות על בדיקה אוטומטית של התשובה ועל משוב שמופק בידי מודל אחר, במקום דירוג אנושי בלבד. במקביל, חיבור למקורות חיצוניים בזמן המענה הפך לברירת מחדל ברוב הכלים המסחריים.
