החומה של אנבידיה נסדקת מבפנים: גוגל ואמזון פותחות את PyTorch לשבבים שלהן
בתוך יומיים השיקו שתי ענקיות הענן גרסאות קוד פתוח שמאפשרות להעביר אפליקציות AI לשבבי TPU ו-Trainium בשינוי הגדרה אחד. היעד: היתרון התוכנתי שהפך את אנבידיה לברירת המחדל של התעשייה
אלפאבית הודיעה ש-TorchTPU, הגרסה של גוגל ל-PyTorch, זמינה כפרויקט קוד פתוח. יום קודם השיקה אמזון כלי דומה בשם TorchNeuron. שני המהלכים מכוונים לאותה נקודה: הדומיננטיות של אנבידיה, שנשענת במידה רבה על כך שרוב אפליקציות ה-AI נכתבות מראש כך שירוצו על המעבדים הגרפיים שלה.
PyTorch היא ערכת הכלים הפופולרית ביותר לבנייה, אימון והפעלה של מודלי AI, ולפי חלק מההערכות כ-85% מהמפתחים והחוקרים בתחום עובדים איתה. את הפרויקט פיתחה מטא, אז עוד פייסבוק, ב-2016, בתקופה שבה המעבדים של אנבידיה כבר היו הסטנדרט במחקר. לכן חלק גדול מהיכולות נבנו סביב החומרה שלה. ב-2022 העבירה מטא את הפרויקט לקרן לינוקס, ארגון ציבורי שמנהל פרויקטים מרכזיים בקוד פתוח.
כאן נמצא אחד היתרונות הגדולים של אנבידיה, אולי גדול יותר מהשבב עצמו. חברה שרצתה לעבור לשבב אחר נדרשה עד עכשיו לכתוב מחדש ולבדוק מחדש קוד שלקח חודשים לשפר. עבור סטארט-אפ, שעות ההנדסה האלה הן לעיתים ההוצאה הגדולה ביותר, ולכן רוב החברות העדיפו להישאר עם הכרטיסים של אנבידיה גם כשהמחיר שלהם גבוה.
הכלים החדשים מבטיחים לקצר את הדרך. TorchTPU מאפשר להריץ אפליקציות על מעבדי ה-TPU של גוגל ולהעביר אפליקציות קיימות לגוגל קלאוד בשינוי הגדרה פשוט, כשהקוד עצמו נשאר כפי שהוא. TorchNeuron עושה את אותו הדבר עבור שבבי Trainium של אמזון ושירות הענן AWS, ותומך בדורות Trainium2 ו-Trainium3. לפי אמזון, בהדגמה שבה הורץ אותו קוד אימון על שבב רגיל ועל Trainium, המודל למד את אותם דברים באותו קצב.
אמזון הולכת צעד אחד הלאה. היא מגישה קוד לפרויקט PyTorch המרכזי שמנתק יכולות שונות מהתלות בשבבים של אנבידיה, כך שהכלי יהיה פתוח יותר לכל סוג חומרה כברירת מחדל. גוגל, מצידה, מנסה להתבלט בשיתופי הפעולה: היא עבדה ישירות עם מטא, עם הגינג פייס ועם המפתחות של vLLM ו-SGLang, כלים נפוצים להפעלת מודלים, כדי ש-TorchTPU יעבוד איתם בצורה חלקה. בנוסף השיקה חבילת סוכנים שמסייעת למפתחים להעביר אפליקציות לשבבים ולענן שלה ולתקן תקלות בדרך, ועדכנה את LiteRT, הכלי שלה להרצת AI בטלפונים ובמחשבים ניידים.
אמזון מציגה כבר רשימה של לקוחות מוקדמים שעברו ל-Trainium דרך הכלי החדש, מתחומים מגוונים כמו רובוטיקה, וידאו, רכב אוטונומי, דיבור, גילוי תרופות, מודלי שפה ופיננסים. בין היתר מדובר בקרטזיה, שמפתחת מודלי קול בזמן אמת. לחברות גדולות שמפעילות ציי שרתים יש כאן יתרון נוסף: אותה חומרה יכולה לשמש גם לאימון וגם להסקה, כך שבשעות שבהן הביקוש מצד המשתמשים יורד, אפשר להעביר את כושר המחשוב לאימון מודלים, במקום להשאיר ציוד יקר במצב המתנה.
מבחינה עסקית, המהלך משרת קודם כל את עסקי הענן. כל אפליקציה שעוברת ל-TPU או ל-Trainium נשארת בדרך כלל אצל ספקית הענן שמפעילה אותם, והחברות מקוות להציע ללקוחות עלות נמוכה יותר לכל חישוב. גוגל ואמזון מפתחות שבבים ייעודיים כבר שנים, ולקוחות גדולים כמו אנתרופיק מריצים עליהם חלק משמעותי מהעבודה. החסם המרכזי היה התוכנה, ועכשיו שתיהן מנסות להסיר אותו.
עם זאת, המעבר ההמוני רחוק מלהיות מובטח. המפתחים רגילים לאקוסיסטם של אנבידיה, הכולל את CUDA ושנים של ספריות, מדריכים ותמיכה מהקהילה, והחברה ממשיכה להשקיע בתוכנה משלה. הנכונות לעבור תלויה גם בביצועים בפועל ובזמינות של השבבים החלופיים. ובכל זאת, ברגע שהמחיר של מעבר בין ספקי חומרה יורד, אנבידיה תצטרך להתחרות יותר על כל לקוח, וזה עשוי להשפיע לאורך זמן על כוח התמחור ועל שולי הרווח הגבוהים שלה.
להרחבה: למה אנבידיה השקיעה בסטארט-אפ של שעשוע, שמבטיח לחסוך בשבבים שלה?
- הכרטיס נדחה וההעברה תקועה: תקלה רחבה ברבולוט, ושיבוש בענן של גוגל
- ההימור של אריק שמידט: רווח של פי 1,000 על אנתרופיק
להרחבה: הרבה רוצים לבנות שבב במקום לקנות מאנבידיה. יש חברה שמרוויחה מזה
