סוף לבזבזנות: הנהלות כבר לא שואלות כמה אתם משתמשים בבינה מלאכותית, הן רוצות לדעת כמה כסף זה חוסך

רק לפני שנה, הנהלות של חברות טכנולוגיה התעניינו במדד אחד בלבד: כמה עובדים אימצו כלי בינה מלאכותית. כיום, השאלה הזו התחלפה בהתעניינות פרקטית של סמנכ"לי הכספים: מהו החזר ההשקעה של השימוש הזה? 

איך זה קרה? בזמן שהעולם חגג את מהפכת הפרודוקטיביות, חברות רבות נקלעו לתרבות ארגונית הרסנית - טוקן-מקסינג או Tokenmaxxing, כינוי לתרבות שמעודדת שימוש מרבי במודלי AI - ללא קשר לערך הכלכלי שהם מייצרים - העובדים מפעילים יותר שאילתות, מעבירים יותר מסמכים, מריצים סוכנים לזמן ממושך ומשלבים מודלים כמעט בכל משימה. בחלק מהחברות הופיעו גם טבלאות דירוג שהציגו מי צורך הכי הרבה טוקנים. כעת, משהחשבוניות מחברות הענק מגיעות לשולחן, החברות מחשבות מסלול מחדש.

לאן הלך הכסף - או: איך עובד המנגנון?

הטוקן הוא יחידת המידע שהמודל מעבד. משפט מתפרק למספר טוקנים, וכך גם מסמך, קובץ קוד או תשובה שמייצר המודל. ספקיות AI גובות תשלום לפי כמות הטוקנים שנכנסת למערכת ולפי הכמות שיוצאת ממנה. ככל שהמשימה ארוכה, המודל חזק והסוכן מבצע יותר סבבים, החשבון גדל.

בתחילת הדרך המסר היה הגיוני. חברות רצו לשבור התנגדות פנימית, להרגיל עובדים לכלים חדשים ולגלות שימושים עסקיים. עובד שניסה AI לעיתים קרובות נתפס כמי שמסתגל לעולם העבודה החדש. השימוש הפך לסמל של חדשנות, ולעיתים גם למדד בהערכת עובדים ומנהלים.

אלא שכמות טוקנים כמעט שאינה מעידה על איכות העבודה. עובד יכול לשרוף מיליוני טוקנים על משימות שוליות, בזמן שעובד אחר משתמש במודל מעט ומייצר חיסכון גדול. כאשר המדד הוא צריכה, העובדים לומדים להגדיל צריכה.

להרחבה: האם הביקוש ל-AI מנופח מהצורך האמיתי?

במחלקות הכספים שינו כיוון

הבעיה התרחבה עם כניסת סוכני AI. צ'אט רגיל מקבל שאלה ומחזיר תשובה. סוכן יכול לקרוא עשרות קבצים, לבצע חיפושים, לכתוב קוד, להריץ בדיקות, לתקן שגיאות ולחזור על התהליך. משימה אחת עשויה לכלול מאות קריאות למודל, וכל קריאה מייצרת חיוב נוסף.

בחברות תוכנה כבר נרשמו מקרים שבהם צוותים צרכו בתוך חודשים תקציב שנועד לשנה שלמה. אינסטגרם צמצמה פרויקטים ששרפו טוקנים בלי תרומה מספקת. אמזון הסירה טבלאות שימוש פנימיות שעודדו עובדים להפעיל AI גם במשימות שבהן הערך היה שולי. אובר עברה ממדידת אימוץ רחבה לניהול הדוק יותר של השימוש.

מחקר שבחן אלפי מפתחים מצא שהמשתמשים הכבדים ביותר צרכו עד פי עשרה טוקנים, בעוד התפוקה שלהם גדלה בערך פי שניים. העלות לכל שינוי קוד שהושלם קפצה מסנטים בודדים לעשרות דולרים אצל המשתמשים הקיצוניים. הפרודוקטיביות עלתה, אך העלות עלתה מהר ממנה.

• מסומנים לחיסול: האם הבינה המלאכותית של מטא פיטרה עובדים שיצאו לחופשה?
• כריסטופר נולאן נגד כניסת ה-AI להוליווד: "הצעירים מזהים מיד את הזבל"

זו הנקודה שבה טוקן-מקסינג הופך מניסוי תרבותי לבעיה פיננסית. סמנכ"ל כספים מבקש לדעת כמה שעות נחסכו, כמה לקוחות קיבלו שירות, כמה קוד הגיע לייצור וכמה הכנסות נוספו. מספר הטוקנים כשלעצמו מספק מידע על צריכה, בדומה למספר שעות החשמל שהמפעל השתמש בהן.

ה-AI היה זול מדי - ועכשיו מגיע החשבון

מדריך: כך מודדים שימוש נכון

הצעד הראשון הוא מעבר מעלות למשתמש לעלות למשימה. ארגון צריך לדעת כמה עולה לסכם חוזה, לפתור פנייה, לכתוב רכיב תוכנה או להכין הצעת מחיר. החישוב כולל טוקנים, זמן בדיקה אנושי, טעויות ותיקונים.

הצעד השני הוא התאמת המודל למשימה. מודל מתקדם ויקר מתאים למחקר מורכב, תכנון מערכת או ניתוח משפטי. סיכום קצר, מיון הודעות או חילוץ נתונים יכולים לעבור למודל קטן וזול. שימוש במודל החזק ביותר בכל פעולה דומה לשליחת מנהל בכיר לבצע עבודת הקלדה.

הצעד השלישי הוא הגבלת סוכנים. צריך לקבוע תקרת צעדים, תקציב, זמן ריצה ותנאי עצירה. סוכן שנתקע בלולאה מסוגל לייצר חשבון גבוה בתוך דקות בלי להתקדם.

• אנבידיה: "אין שום עיכוב בפיתוח הדור הבא של השבבים"
• הרובוט שלצידך: המרוץ להפוך את הרובוטים דמויי האדם לבטוחים מספיק

הצעד הרביעי הוא שימוש בזיכרון מטמון ובמידע מקוצר. כאשר אותה הוראה או אותה קבוצת מסמכים נשלחות שוב ושוב, אפשר לשמור חלק מהעיבוד ולהוזיל את הקריאות הבאות.

הצעד החמישי הוא מעקב לפי צוות, מוצר ומשימה. OpenAI, אנתרופיק וספקיות נוספות כבר מציעות כלי ניתוח, תקרות הוצאה והתראות. מנהלים יכולים לזהות חריגה מוקדם ולבחון איזה שימוש מייצר ערך.

להרחבה: מחירי ה-AI צריכים לרדת כדי שהשימוש הארגוני יתרחב

השלב הבא עשוי להיות ניתוב אוטומטי בין מודלים. מערכת אחת מקבלת את המשימה ובוחרת ספק לפי מחיר, מהירות, רמת סודיות ואיכות נדרשת. משימות פשוטות עוברות למודלים זולים או פתוחים, והמורכבות נשמרות לדגמי הצמרת. כך הארגון מפחית תלות בספק יחיד ומשפר את כוח המיקוח.

טוקן-מקסינג מילא תפקיד בשלב האימוץ. הוא גרם לעובדים להתנסות, למנהלים לזהות שימושים ולחברות לצבור ניסיון. כעת הארגונים עוברים לשלב בוגר יותר. העובד המצטיין יהיה זה שמייצר את התוצאה הטובה ביותר בעלות הנכונה, גם כשהוא משתמש בפחות טוקנים.