אמזון עולה שלב בבינה מלאכותית - נערכת לשלב ההסקה עם שבבי AI מהירים

אמזון משנה כיוון - מהאימון לשלב ההסקה

ענקיות הטכנולוגיה ממשיכות להזרים מאות מיליארדי דולרים לתשתיות בינה מלאכותית, אך מאחורי הקלעים מתרחש שינוי חשוב במבנה שוק השבבים. אם עד היום רוב ההשקעות התמקדו באימון מודלים - כלומר תהליך שבו מחשבים מעבדים כמויות עצומות של נתונים כדי "ללמד" מודלים כמו ChatGPT - כעת מרכז הכובד מתחיל לעבור לשלב אחר: שלב ההסקה.

זהו השלב שבו המודל כבר מוכן לפעולה ומספק תשובות למשתמשים בזמן אמת. כאשר משתמש מקליד שאלה בצ'אטבוט, המערכת צריכה לייצר תשובה בתוך שבריר שנייה. לכן הדרישות החישוביות שונות מאוד מאימון מודלים - פחות כוח חישוב מקבילי עצום ויותר תגובה מהירה ויעילה.

המהלך האחרון של אמזון ממחיש היטב את המגמה הזו. החברה מתכננת לפרוס במרכזי הנתונים שלה שבבים של חברת Cerebras, שנועדו במיוחד למשימות בשלב ההסקה. מדובר במהלך שמסמן שינוי חשוב בשוק השבבים לבינה מלאכותית, שבו שלטה עד כה בעיקר אנבידיה עם מעבדי GPU ששימשו בעיקר לאימון מודלים.

האתגר לאנבידיה - שבבים מהירים פי 25

לפי Cerebras, השבבים שלה מסוגלים לבצע את שלב ה-decode בתהליך ההסקה - השלב שבו המודל "פולט" תשובה למשתמש - במהירות של עד פי 25 לעומת שבבי ה-GPU של אנבידיה. המשמעות היא שמערכות AI יכולות לשרת יותר משתמשים בו זמנית ולהפחית את עלויות המחשוב, גורם קריטי כאשר שירותי בינה מלאכותית מגיעים למאות מיליוני משתמשים.

• אמזון מגייסת לפחות 37 מיליארד דולר באג"ח -אחד מגיוסי החוב הגדולים בהיסטוריה
• השבתת ענן אמזון בדובאי חושפת: תשתיות דיגיטליות הן יעד אסטרטגי - וכמה עולה להגן עליהן?
• המלצת המערכת: כל הכותרות 24/7

גם אנבידיה עצמה מבינה שהשוק משתנה. בשבוע הבא צפויה החברה להציג מערכת עיבוד חדשה שתותאם במיוחד למשימות בשלב ההסקה. המערכת תשלב טכנולוגיה של חברת השבבים Groq, סטארט-אפ שפיתח מעבדים ייעודיים לבינה מלאכותית ושאיתו חתמה אנבידיה על הסכם רישוי בדצמבר האחרון.

המאבק בין החברות משקף שינוי עמוק יותר בתעשייה. אם בשנים האחרונות המרוץ היה סביב בניית מודלים גדולים יותר, בשנים הקרובות התחרות צפויה לעבור ליכולת להפעיל אותם במהירות, ביעילות ובעלות נמוכה. מי שתשלוט בשלב ההסקה - עשויה לשלוט בגל הבא של הבינה המלאכותית.