עצלן, שטחי ומתחמק ממשימות: האם חברות הבינה המלאכותית "משנמכות" את המודלים בחשאי כדי לחסוך הון?

מכירים את התופעה המעצבנת הזו - שאתם פותחים שקית חטיפים או את קופסת הקורנפלקס האהובה עליכם, ומגלים שחצי ממנה מלא באוויר. החברות הקטינו את האריזה, הורידו את הכמות, אבל המחיר? הוא נשאר בדיוק אותו הדבר, אם לא עלה. בעולם הכלכלה קוראים לתופעה הזו שרינקפלציה - הקטנת מוצר, ומתברר שבימים אלו היא זולגת מהמדפים של רשתות המזון, ישירות אל חזית הטכנולוגיה העולמית. 

זה מתחיל בסיטואציה שכל מי שמשתמש בבינה מלאכותית באופן קבוע חווה בתקופה האחרונה: אתם מזינים שאילתה מורכבת לג'מיני או לצ'אטGPT, אבל במקום לבצע את המשימה לפי הפרומפט הוא פשוט עוצר. המערכת מספקת תשובה ריקה או מחזירה סיכום שטחי, קצר ומתחמק, שרחוק שנות אור מהביצועים המבריקים של המודל רק לפני חודשים אחדים. המצב הזה, שבו הבינה המלאכותית עושה שביתה איטלקית, הוא לא באג מקרי בתוכנה, כמו שאולי היו רוצים שתחשבו.

מדובר בסימפטום של המשבר הגדול ביותר שמטלטל כעת את ענקיות הטכנולוגיה בוול סטריט: בעוד המשקיעים דוחפים להטמעה מהירה, חברות הטכנולוגיה מגלות שהן פשוט לא עומדות בעלויות האנרגיה החריגות, ומתחילות לבצע מאחורי הקלעים מהלך חשאי של הנמכת איכות מכוונת - בניסיון נואש לצמצם את העלויות האסטרונומיות.

יותר חשמל, פחות עמל: עד פי 36 מעלות חיפוש בגוגל

ניתוח מודל ההוצאות התפעוליות של חברות הבינה המלאכותית חושף את הפער בין יעילות האלגוריתמים לבין עלויות התשתית הגבוהות הנדרשות לאחזקתם. בניגוד לתוכנות מסורתיות שבהן עלות השירות ללקוח נוסף היא אפסית, בעולם ה-AI כל שאילתה, קוד או בקשת ניתוח דורשים משאבים פיזיים עצומים ומיידיים. הדלק שמניע את המודלים האלו מבוסס על מעבדים גרפיים יקרים מאוד, בעיקר מבית ענקית השבבים אנבידיה.

כל מילה שהמודל מייצר, כל טוקן שעובר עיבוד, מתורגמים ישירות לצריכת חשמל מסיבית ולצורך אדיר במים לקירור חוות השרתים. על פי הערכות של אנליסטים, עלות התפעול של שאילתה מורכבת במודל שפה מתקדם גבוהה פי 10 עד פי 36 מעלות של חיפוש רגיל בגוגל.

למרבה האירוניה, ככל שהמודל חכם יותר, מפורט יותר ומספק תשובות עמוקות יותר - כך הוא נדרש לבצע יותר פעולות חישוב פנימיות, והחברה המפעילה אותו מפסידה כסף. מודל ההכנסות הנוכחי, המבוסס על דמי מינוי קבועים (למשל 20 דולר בחודש למשתמש), פשוט לא תואם את המציאות הפיסקלית הזו.

 משתמשי כבדים שמריצים מאות שאילתות מורכבות ביום פשוט גורמים לחברות כמו OpenAI, גוגל או אנתרופיק להפסדים אקטיביים.

בנקודת הזמן הזו, ענקיות הטכנולוגיה הבינו שהן דוהרות לעבר קיר של הפסדים. מאחר שהן לא יכולות להעלות את מחיר המינוי בצורה דרסטית בלי להבריח את הלקוחות, הן בחרו בטקטיקה הקמעונאית הישנה של הקטנת המוצר.

מאחורי הקלעים, הן החלו להגביל באגרסיביות את כוח החישוב שמוקצה לכל משתמש בודד. התוצאה בשטח היא אותו בוט עצלן - מודל שמתוכנת לקצר תהליכים, לחתוך פינות, ובמקרים של עומס כבד בשרתים, פשוט לקפוא - לא להגיב או להחזיר הודעת שגיאה ריקה, רק כדי לא לשרוף עוד סנטים יקרים על חישובים מורכבים.

• אל תקראו לו אידיוט, אל תגידו לו תודה: למה חברות ה-AI משלמות הון כדי שנהיה נחמדים לרובוטים?
• חברת הסייבר ביקון סקיוריטי גייסה 13 מיליון דולר לבניית סוכני בינה מלאכותית

הנדסת הקיצוצים: איך מזקקים מוח של מכונה?

כדי לבצע פיחות בתוכנה בלי שהמשתמש הממוצע ישים לב מיד, ענקיות הטק לא יכולות פשוט למחוק שורות קוד. הן נדרשות לטקטיקות הנדסיות מתוחכמות, והמרכזית שבהן נקראת זיקוק המודלים.

בתהליך זה, החברות לוקחות מודל ענק, כבד וחכם להחריד - הנקרא מודל מורה - ומאמנות לפיו מודל קטן וקל בהרבה - מודל תלמיד. מודל התלמיד מתוכנן לחקות את התשובות של המורה, אך הוא עושה זאת באמצעות שבריר מכמות הפרמטרים וכוח החישוב. מאחורי הקלעים של תיבת הצ'אט, החברות מחליפות את מודל המורה היקר במודל התלמיד הזול. עבור שאילתות פשוטות כמו "תכתוב לי מייל באנגלית", המשתמש לא ירגיש בהבדל. אך ברגע שתאתגרו אותו במשימה מורכבת שדורשת הסקה לוגית עמוקה - המודל המזוקק יפגין את אותה עצלנות מדוברת, יספק תשובה שטחית או פשוט יקפא.

טקטיקה נפוצה נוספת היא שימוש בארכיטקטורת "רשת של מומחים" - במקום להפעיל את כל המוח של ה-AI  עבור כל שאלה, המערכת מחולקת לתתי-מודלים קטנים, כאשר כל אחד מהם מומחה בתחום אחר - למשל: מומחה לקוד, מומחה להיסטוריה, מומחה לתרגום. כאשר משתמש שואל שאלה, נתב חכם אמור להפעיל רק את המומחה הספציפי, מה שחוסך הון בעלויות תפעול.

אולם, בכל מקרה מדובר באיזון שברירי. כדי לגדיל את החיסכון בעת עומס על חוות השרתים, הנתב מאחורי הקלעים משנמך את השאילתה שלכם ומפנה אותה למודלים חלשים וזולים עוד יותר. כך, במקום לקבל את המומחה הגדול, המערכת מנסה לנפנף אתכם עם תשובה לקונית ומהירה או בשתיקה רועמת. מבחינת החברה, הדממת המערכת או סירוב זמני להגיב עדיפים פיננסית על פני הפעלת מעבדי האנרגיה היקרים עבור שאילתות שלא יניבו להן שום רווח.

לפי החליל של וול סטריט: כשהמניות מכתיבות את האינטליגנציה

הבעיה הגדולה ביותר של חברות כמו גוגל, מיקרוסופט או OpenAI היא שהן פועלות תחת זכוכית המגדלת הקשוחה ביותר בעולם: וול סטריט. המשקיעים בשוק ההון הזניקו את המניות של ענקיות הטק לשיאים חסרי תקדים, מתוך ציפייה שהבינה המלאכותית תהפוך למנוע הצמיחה המרכזי של העשור הקרוב.

• אנבידיה משיקה כלי שמזהה וידאו מזויף בדיוק 92%
• הסטארט־אפ שגייס 450 מיליון דולר כדי למצוא את החומרים שיניעו את דור השבבים הבא

במצב הנוכחי, אף חברה לא יכולה להרשות לעצמה לעלות לבמה ולהודות בגלוי: "החלשנו את המודל כדי לחסוך בחשמל". הצהרה כזו עלולה להוביל להתרסקות מיידית של המניה ולמחיקת מיליארדי דולרים משווי השוק של החברה תוך שניות.

התוצאה היא מלכוד תאגידי מתוחכם: החברות נאלצות להציג כל עדכון גרסה כשדרוג טכנולוגי, בעוד שבפועל מדובר לעיתים קרובות בהנדסת אופטימיזציה שמטרתה העיקרית היא צמצום עלויות. הן משווקות לנו מודלים "מהירים יותר" או "יעילים יותר", אך המהירות הזו מושגת באמצעות דיאטה קשוחה של כוח החישוב, שמותירה את המשתמשים עם מוצר שטחי יותר שמסרב להגיב או קופא בדיוק ברגעים הקריטיים.

למעשה, חברות הענק תקועות בפרדוקס: כדי לשרוד כלכלית הן חייבות להקטין את המוצר, אך כדי לשמור על ערך המניה הן חייבות להעמיד פנים שהוא רק הולך וגדל.

מדריך למשתמש המתוסכל: איך לעודד את המערכת לעבוד כמו שצריך?

אז מה עושים כשהכלים שאנחנו תלויים בהם לניהול העסק, לכתיבת קוד או לניתוח נתונים הופכים לעצלנים ומסרבים לענות? מכיוון שהשרינקפלציה הדיגיטלית מופעלת על ידי אלגוריתמים שמנסים לחסוך כסף לחברה, המפתח הוא לדעת איך לאלץ את כלי הבינה המלאכותית להפעיל את מלוא כוח החישוב שלו עבורכם. הנה כמה טקטיקות מעשיות:

לפרק את המשימה לחלקים קטנים - אל תזינו שאילתה ענקית של "תנתח את הדוח הזה, תמצא כשלים ותכתוב לי סיכום מנהלים". המערכת תזהה את עומס החישוב הצפוי ותחזיר תשובה שטחית או תקפא. במקום זאת, עבדו בשלבים: קודם בקשו סיכום, אז בקשו ניתוח, ובסוף בקשו את המסקנות.

פקודת הקסם - "בוא נעשה את זה צעד-צעד": מחקרים מראים שכאשר כותבים למודל שפה "תחשוב שלב אחר שלב" או "תראה לי את דרך החישוב שלך", המודל נאלץ לעקוף את מנגנוני הקיצור החשאיים. פקודה זו מאלצת את המערכת להקצות יותר טוקנים של "חשיבה פנימית", מה שמשפר את הדיוק בעשרות אחוזים.

לתזמן את השאילתות (שעות השפל של השרתים) - מנגנוני הקיצוץ והחוסר בתגובות מופעלים בעיקר בזמנים של עומס כבד על חוות השרתים העולמיות. אם תעבדו מול המודלים בשעות הבוקר המוקדמות או בשעות הערב המאוחרות (שעון ישראל), השרתים בארצות הברית יהיו פנויים יותר, ומערכת הבטיחות הכלכלית של המודל לא תמהר לקצץ לכם בכוח החישוב.

כך או כך, צריך להודות שכללי המשחק השתנו. מהפכת הבינה המלאכותית הגיעה לשלב ההתפכחות הכלכלית. המודל העסקי הנוכחי, המציע כוח חישוב בלתי מוגבל תמורת דמי מינוי חודשיים קבועים, מתגלה כלא כלכלי עבור החברות המפתחות. הניסיונות של ענקיות הטכנולוגיה לאזן בין הציפיות הגבוהות של המשקיעים לבין חשבונות החשמל ותשתיות השבבים היקרים, מאלצים אותן להגביל את המשאבים שהן מקצות לכל שאילתה. עבור המשתמשים והמשקיעים, זוהי תזכורת לכך שגם תוכנות מתקדמות תלויות בסופו של דבר במגבלות פיזיות ותפעוליות של חוות שרתים, אנרגיה ועלויות חומרה, וחברות שפעם שאפו רק לייצר את המודל החכם ביותר, צריכות היום לפצח את היכולת לספק תוצרים איכותיים במחיר שהן יכולות להרשות לעצמן לאורך זמן.