גוגל משיקה שני שבבי AI חדשים ופותחת חזית נוספת מול אנבידיה
TPU 8tx נועד להריץ מודלים על נתונים שנשארים מוגנים גם בזמן העיבוד, ו-TPU 8i Max מכוון לצוואר הבקבוק של הזיכרון; ההכרזה מגיעה ביום שבו אנבידיה נופלת בכ-5.5% וברודקום מזנקת בכ-9%
גוגל ממשיכה להרחיב את משפחת שבבי הבינה המלאכותית שלה. ביום שני הציגה החברה, שבבעלות אלפאבית, שתי מערכות חדשות בדור השמיני של מעבדי ה-TPU: את TPU 8tx, שמיועד לארגונים וממשלות שעובדים עם מידע רגיש, ואת TPU 8i Max, שנבנה עבור מודלים שצריכים לעבד כמויות עצומות של מידע בבת אחת. לפי החברה, זו הפעם הראשונה שהיא משיקה ארבע מערכות TPU בתוך שנה אחת.
שתי המערכות החדשות מצטרפות לזוג שהוצג באפריל, בכנס Google Cloud Next: TPU 8t, שמיועד לאימון מודלים גדולים, ו-TPU 8i, שמיועד להרצתם בזמן אמת. לפי גוגל, השניים מספקים עד פי 2.7 ביצועים טובים יותר באימון ושיפור של 80% ביחס בין מחיר לביצועים בהרצה, בהשוואה לדור הקודם. הדגמים החדשים אינם דור נוסף אלא גרסאות ייעודיות שנבנו על אותם יסודות, כל אחת לבעיה מסוימת. להרחבה: אנבידיה תחת לחץ: גוגל משיקה שבבי AI חדשים
בגוגל מסבירים שהדרישה הגיעה מבחוץ. אם בעבר ה-TPU תוכנן בעיקר לצרכים הפנימיים של החברה ובשיתוף מעבדת DeepMind, היום לקוחות חיצוניים מבקשים מאיצים שיכולים לעבוד עם חלונות הקשר ענקיים, כלומר עם כמות גדולה מאוד של טקסט, קוד או וידאו שהמודל מחזיק בראש בבת אחת. לקוחות מפוקחים מבקשים יכולות הצפנה מיוחדות. לפי החברה, ה-TPU הפך לעסק שצומח במהירות ומונה כמעט 100 לקוחות, בהם מעבדות AI מובילות, חברות מסחר, קמעונאים ואוניברסיטאות, וחלקם כבר מתקינים את המערכות במרכזי הנתונים שלהם.
TPU 8tx: מידע שנשאר מוגן גם בזמן שהמודל עובד עליו
כדי להבין את TPU 8tx צריך להכיר נקודת תורפה מוכרת באבטחת מידע. בדרך כלל נתונים מוצפנים כשהם שמורים בדיסק או נשלחים ברשת, אבל ברגע שהמחשב צריך לעבד אותם, הם נפתחים בזיכרון. זה בדיוק הרגע הרגיש. מה שגוגל מכנה "הסקה מאובטחת וחסויה" פירושו שהמודל מריץ שאילתות ומפיק תשובות בזמן שהנתונים ומשקלות המודל, כלומר הידע שהמודל צבר באימון, נשארים מוגנים ומבודדים ברמת החומרה, גם תוך כדי שימוש. קהל היעד הוא ארגונים בענפים מפוקחים וממשלות שמריצים מודלים מתקדמים או קנייניים לצד המידע הרגיש ביותר שלהם.
המערכת בנויה על אותו סיליקון של TPU 8t ומשולבת עם מעבדי EPYC מהדור החמישי של AMD. היא משתמשת גם ברשת התקשורת המהירה שגוגל פיתחה להרצה בזמן אמת, ולפי החברה מספקת השהיה נמוכה עד פי שניים לעומת TPU 8t, כמעט בלי פגיעה בביצועים. היתרון העסקי, לפי גוגל, הוא שאפשר להריץ ולהתאים מודלים על אותה מערכת: לכייל מודל על מידע פרטי, לזקק מודל גדול לגרסה קטנה יותר ולאמן סוכני AI, בלי להעביר את הנתונים הרגישים בין אשכולות מחשוב נפרדים.
TPU 8i Max: שני שבבים במארז אחד נגד "חומת הזיכרון"
TPU 8i Max מטפל בבעיה אחרת, שבענף מכונה "חומת הזיכרון". מעבדי AI מסוגלים לבצע חישובים מהר יותר מהקצב שבו הזיכרון מצליח להזין אותם בנתונים. התוצאה דומה למפעל שקווי הייצור שלו מהירים, אבל חומרי הגלם מגיעים לאט: המכונות עומדות ומחכות. לפי גוגל, הבעיה מחריפה כשעשרות סוכני AI עובדים במקביל על מאגר קוד שלם או על שעות של וידאו, ורוחב הפס של הזיכרון הופך לצוואר הבקבוק.
הפתרון של גוגל הוא לחבר שני שבבי TPU 8i למארז אחד. לפי החברה, המערכת "מגדילה את כוח החישוב ואת הזיכרון באותו קצב", עם פי שניים כוח חישוב, פי שניים זיכרון מטמון על השבב (SRAM) ופי שניים רוחב פס של זיכרון HBM לעומת TPU 8i, כך שהמעבדים לא נשארים בלי נתונים ועומסי עבודה גדולים לא נתקעים. מאחר שהמערכת מכניסה פי שניים סיליקון לאותו שטח בארון השרתים, מרכזי נתונים יכולים להציב יותר כוח מחשוב על כל מטר מרובע ועל כל וואט.
מאחורי ההכרזה עומדת גם אסטרטגיה. בגוגל מבחינים בין שבב חדש, שתכנונו וייצורו נמשכים שנים, לבין מערכת חדשה, שמשנה את מה שנבנה סביב השבב: אריזה, זיכרון מהיר, תקשורת ואבטחה. לפי החברה, הגישה המודולרית מאפשרת לה לספק מחשבי-על ייעודיים בתוך חודשים ולא שנים. זה מה שמאפשר לה לשחרר ארבע מערכות בשנה אחת בלי לחכות לדור הבא של הסיליקון.
מהענן של גוגל לענן של אורקל, והאתגר לאנבידיה
החומרה היא רק חצי מהסיפור. בגוגל מבקשים להוריד את מחסום הכניסה לשבבים שלהם, ובחודש שעבר הפכו את TorchTPU לקוד פתוח, כך שקוד שנכתב ב-PyTorch ומודלים מ-Hugging Face רצים על ה-TPU בלי צורך לשכתב אותם. "המטרה שלנו היא להפוך את ה-TPU לנגיש יותר לכל מפתח ולכל לקוח ענן", אמרו בחברה, והוסיפו שהשילוב בין שבבים ייעודיים מודולריים לתוכנה פתוחה ונוחה מאפשר לה לספק חומרה ותצורות חדשות "בקצב של תעשיית ה-AI". להרחבה: החומה של אנבידיה נסדקת מבפנים: גוגל ואמזון פותחות את PyTorch לשבבים שלהן
במקביל, ה-TPU יוצא מגבולות הענן של גוגל. בסוף אוקטובר הודיעו גוגל ואורקל שהשבבים יוצעו בתשתית הענן של אורקל החל משנת 2027, בהיקף שיגדל בהדרגה לאורך כמה שנים. לפי שתי החברות, זו הפעם הראשונה שה-TPU יוצע אצל ספקית ענן בקנה מידה גדול מחוץ לגוגל. אורקל תספק את החשמל, הקירור והתקשורת במרכזי הנתונים. גוגל דיווחה ברבעון האחרון גם על שיתוף פעולה לאספקת TPU עם קורוויב, אבל זו ספקית תשתית ייעודית ל-AI ולא ענקית ענן כללית.
כל זה מכוון, גם אם לא נאמר במפורש, אל אנבידיה. היתרון הגדול שלה לאורך השנים נשען על שני דברים: ההיכרות העמוקה של המפתחים עם פלטפורמת התוכנה CUDA, והגמישות של מעבדי ה-GPU שלה, שמתאימים למגוון רחב של משימות. גוגל תוקפת את שני הצדדים: היא מציעה שבבים מותאמים לבעיות ספציפיות, ובמקביל מנסה לנטרל את יתרון התוכנה דרך תמיכה ב-PyTorch ובכלים פתוחים. מי שמרוויחה מהמגמה של שבבים ייעודיים היא ברודקום, שמתכננת שבבים מותאמים אישית לענקיות טכנולוגיה, ובהן גוגל.
בשוק, ההכרזה נפלה על יום של התאוששות במניות השבבים אחרי גל המכירות של השבוע שעבר. מניית אלפאבית עולה בכ-1.8% לכ-290 דולר, אחרי שבשלב מוקדם של המסחר טיפסה בכ-4%. ברודקום זינקה בכ-8.7% לכ-319 דולר, על רקע הקפיצה הרחבה בסקטור והודעות של החברה עצמה, ואורקל עלתה בכ-2.3% לכ-119 דולר. להרחבה: הנאסד״ק קופץ ב-2.5%; טרייד דסק מזנקת ב-17%, מאנדיי נופלת ב-6%
אנבידיה, לעומת זאת, ירדה באותה שעה בכ-5.5% לכ-176 דולר, אחרי שבתחילת המסחר איבדה יותר מ-8%. הלחץ על המניה נובע מהבדיקה שפתח הדירקטוריון, באמצעות ועדה של דירקטורים עצמאיים, בעקבות דיווחים שלפיהם המודיעין הסיני כיוון אל המנכ"ל ג'נסן הואנג דרך אליס הואנג, לשעבר בכירה בחברת מגהספיד, שאין לה קשר משפחתי אליו. הואנג הודה במכתב לעובדים ברומן ונשאר בתפקיד, והדירקטוריון מסר שאין לו סיבה להניח שסודות של החברה או של הביטחון הלאומי האמריקאי נפגעו. להרחבה: אנבידיה בודקת אם ריגול זר כוון אל הואנג, 9 ימים לפני הדוחות
גוגל ואנבידיה הן עדיין שותפות לא פחות ממתחרות, וגוגל עצמה ממשיכה להציע את מעבדי אנבידיה בענן שלה. אבל במרוץ שבו מחזורי המוצר מתקצרים לחודשים, כל הסחת דעת אצל המובילה פותחת חלון למתחרות. עבור משקיעי אלפאבית, השאלה היא אם ההתמחות תתורגם להכנסות: בדוח האחרון אמרה החברה שהיא בונה מראש מלאי של מערכות TPU ללקוחות, וצופה עלייה משמעותית בהכנסות מהמערכות ב-2027, אותה שנה שבה ה-TPU אמור להגיע גם לענן של אורקל.
