מארוול מנסה לפתור את צוואר הבקבוק הבא של הבינה המלאכותית: הזיכרון

מארוול טכנולוגיות מרחיבה את פתרונות הזיכרון שלה לתשתיות בינה מלאכותית, בניסיון להתמודד עם אחת הבעיות שהופכות משמעותיות ככל שמערכות AI גדלות: כמה זיכרון זמין להן, באיזו מהירות הן יכולות לגשת אליו וכמה מידע אפשר להעביר בין רכיבי המערכת.

החברה הציגה חידושים בשלוש משפחות מוצרים - Bravera ,Structera ו-Photonic Fabric - שמטפלות בבעיה ברמות שונות של מרכז הנתונים: מאחסון בתוך השרת, דרך הרחבה ושיתוף של זיכרון בין שרתים באותו ארון, ועד יצירת שכבת זיכרון משותפת לכמה ארונות שרתים באמצעות קישוריות אופטית.

הצורך הזה גדל במיוחד בתהליכי הסקה של מערכות AI מבוססות סוכנים. מודלים גדולים יותר, חלונות הקשר ארוכים יותר ומשימות שנמשכות לאורך מספר רב של שלבים מגדילים את כמות המידע שהמערכת צריכה לשמור ולהעביר בזמן העבודה. אחד המרכיבים המרכזיים הוא מטמון KV, שבו נשמר מידע שכבר חושב במהלך עיבוד ההקשר, כך שהמודל אינו נדרש לחשב אותו מחדש בכל שלב.

ככל שמטמון ה-KV גדל, הזיכרון עצמו עלול להפוך לצוואר בקבוק. המעבדים הגרפיים יכולים להיות חזקים ומהירים יותר, אבל אם הם ממתינים לנתונים או אם אין מספיק זיכרון מהיר וזמין לצדם, חלק מכוח המחשוב היקר אינו מנוצל במלואו. המשמעות עבור חברות הענן היא שלא מספיק להוסיף עוד מאיצי AI - צריך גם לשנות את הדרך שבה הזיכרון מוקצה ונגיש להם.

להפריד בין הזיכרון לכוח המחשוב

אחת הגישות שמקדמת מארוול היא הפרדת הזיכרון ממשאבי המחשוב. במקום שכל שרת או מאיץ יסתמך רק על הזיכרון שמחובר אליו ישירות, ניתן ליצור מאגרי זיכרון גדולים יותר ולהקצות מהם קיבולת בהתאם לצורך.

הגישה אמורה לאפשר לחברות ענן לנצל בצורה יעילה יותר את הזיכרון שכבר נמצא במרכז הנתונים, במקום להוסיף זיכרון וכוח מחשוב יחד גם כאשר רק אחד מהם נדרש. במקביל, גישה מהירה יותר לנתונים וצמצום הצורך להעביר אותם שוב ושוב ממערכות אחסון יכולים להפחית את הזמן שבו המאיצים ממתינים למידע.

"תשתיות AI עוברות ממודל המבוסס על שרתים נפרדים למערכות משולבות, שבהן כוח המחשוב, הזיכרון והקישוריות פועלים כמערכת אחת", אמר וויל צ'ו, סגן נשיא בכיר ומנהל כללי של חטיבת פתרונות הענן המותאמים במארוול. לדבריו, ככל שהמערכות גדלות נדרשת יכולת להרחיב את הזיכרון בנפרד מכוח המחשוב ולהקצות את המשאבים בהתאם לצורך.

Bravera: להעביר חלק מהעומס לכונני SSD

ברמת השרת מציגה מארוול את בקר האחסון Bravera SC6, המבוסס על תקן PCIe 6.0. המטרה היא לאפשר להעביר חלק גדול יותר ממטמון ה-KV מזיכרון HBM המהיר והיקר לכונני SSD, וכך להגדיל את כמות המידע שהמערכת יכולה להחזיק קרוב יחסית למשאבי המחשוב בלי להסתמך רק על הזיכרון הצמוד למאיצים.

לפי מארוול, Bravera SC6 מספק ביצועים גבוהים פי שניים לעומת בקר Bravera SC5 המבוסס על PCIe 5.0. החברה מציינת גם צמצום של כתיבות מיותרות, שעשוי להאריך את חיי רכיבי ה-NAND בכוננים.

• מארוול זינקה 178% השנה - ובבנק אוף אמריקה חושבים שזו רק ההתחלה
• אנבידיה משקיעה 3.5 מיליארד דולר במדיהטק - והמניה בטייוואן מזנקת 10%

הבקר אינו תלוי ביצרן NAND מסוים ויכול לעבוד עם רכיבים של מספר ספקים. עבור חברות ענן גדולות, שמפעילות כמויות גדולות מאוד של כוננים, היכולת לבחור בין ספקים עשויה לספק גמישות ברכש ולהקטין תלות ביצרן יחיד.

Structera: מאגר זיכרון משותף בתוך ארון השרתים

ברמה הבאה נמצאת Structera X, שמבוססת על תקן CXL ומיועדת להרחבה ולשיתוף של זיכרון בין שרתים. במקום להקצות לכל שרת כמות קבועה של זיכרון שלא תמיד מנוצלת במלואה, ניתן ליצור מאגר גדול יותר ולחלק את הקיבולת בין המערכות בהתאם לעומס.

מארוול אומרת שהפתרונות פותחו בשיתוף עם חברות ענן גדולות ונועדו בעיקר לעומסי AI שדורשים כמויות גדולות של זיכרון. מבחינת מפעילי מרכזי הנתונים, היתרון האפשרי הוא ניצול טוב יותר של רכיבי הזיכרון שכבר נרכשו וצמצום הצורך להוסיף קיבולת לכל שרת בנפרד.

החברה רואה ב-Structera גם בסיס למערכות עתידיות שבהן שיתוף הזיכרון באמצעות CXL יהיה חלק מובנה יותר מארכיטקטורת מרכז הנתונים.

Photonic Fabric: זיכרון משותף גם בין ארונות שרתים

החלק השאפתני יותר בהכרזה הוא Photonic Fabric, שמרחיב את רעיון שיתוף הזיכרון מעבר לארון שרתים יחיד. המערכת כוללת מודולי זיכרון, כרטיס רשת ורכיבים ייעודיים שמאפשרים ליצור שכבת זיכרון משותפת באמצעות תקשורת אופטית.

• סמסונג מהמרת על מתחרה לאנבידיה
• מי צריך פמילי אופיס? יש את קלוד

לפי מארוול, המערכת יכולה לחבר כמה יחידות עיבוד וכמה ארונות שרתים למאגר זיכרון משותף במרחק של עד 50 מטר, ולהעביר אליו עד 32 טרה-בייט של מטמון KV שנדרש לשימוש חוזר. במקום לטעון את המידע מחדש ממערכות האחסון, המאיצים יכולים לגשת אליו משכבת הזיכרון המשותפת.

זהו גם המקום שבו מארוול מציגה את טענת הביצועים המרכזית שלה. לפי החברה, שימוש ב-Photonic Fabric יכול להגדיל פי שניים עד שלושה את קצב הפקת הטוקנים באותו שטח של מרכז נתונים ובאותה מסגרת צריכת חשמל. מדובר בנתון שמציגה מארוול ולא בתוצאת בדיקה עצמאית, ולכן הביצועים בפועל יהיו תלויים בין היתר בתצורת המערכת ובעומס העבודה.

המאבק עובר גם לזיכרון

המהלך של מארוול משקף שינוי רחב יותר באופן שבו נבנות תשתיות AI. בשנים האחרונות חלק גדול מהתחרות התמקד במאיצים עצמם ובכמות כוח המחשוב שניתן להכניס למרכז נתונים. ככל שהמודלים גדלים ותהליכי ההסקה נעשים ממושכים ומורכבים יותר, הזיכרון והקישוריות הופכים לחלק משמעותי יותר מהמשוואה.

עבור מפעילי מרכזי נתונים, הבעיה היא גם כלכלית. מאיצי AI הם משאב יקר, וכל זמן שבו הם ממתינים להעברת נתונים פוגע בניצול ההשקעה בהם. אם ניתן להרחיב את הזיכרון בנפרד מכוח המחשוב ולשתף אותו בין יותר מאיצים, ניתן תיאורטית להפיק יותר עבודה מאותה תשתית.

מארוול מנסה למקם את עצמה בדיוק בשכבה הזאת: לא כיצרנית המאיץ שמריץ את המודל, אלא כספקית של הרכיבים שמאפשרים למאיצים לקבל את הנתונים שהם צריכים במהירות ולנצל טוב יותר את כוח המחשוב שכבר נמצא במרכז הנתונים. ככל שההסקה תופסת חלק גדול יותר מעלויות ה-AI, היכולת להוציא יותר טוקנים מאותה תשתית עשויה להפוך לשיקול מרכזי לא פחות מתוספת של עוד כוח מחשוב.