ראש בראש עם ענקיות ה-AI: מודל הסקה חדש של AI21

AI21 המריזה על השקת Jamba Reasoning 3B, מודל Reasoning (מודל להסקת מסקנות ופתרון בעיות מורכבות) ממשפחת מודלי Jamba, שהושק בקוד פתוח וקובע סטנדרטים חדשים בקטגוריית המודלים הזעירים (3 מיליארד פרמטרים). המודל מצטיין ב-Reasoning, מתמטיקה, כתיבה וניתוח של קוד, ופועל בקצב גבוה פי 2-4 ממודלים מתחרים במכשירי קצה. Jamba Reasoning 3B הוא הראשון מסוגו בעולם שמסוגל לעבוד עם קונטקסט של מעל 250K טוקנים במכשירי קצה סטנדרטיים, כולל מחשבים ניידים, אייפונים וטלפוני פיקסל.

להמחשה, בריצה על מקבוק פרו סטנדרטי Jamba Reasoning 3B מפגין ביצועים יוצאי דופן - עיבוד של 35 טוקנים לשנייה עם קונטקסט של 32K, לעומת 8-15 טוקנים לשניה במודלים זעירים מתחרים. בנוסף, הוא שבר את שיא אורך הקונטקסט הקיים בשוק, שעמד עד כה על 128K טוקנים (Llama 3.2-3B, Phi-4 Mini ו-DeepSeek) והצליח לעבד מעל 250K טוקנים בקצב מרשים של מעל 17 טוקנים לשנייה, בעוד שעל מכשירי קצה דוגמת המקבוק, מודלים מתחרים קורסים ב-100K טוקנים.

Jamba Reasoning 3B תוכנן תוך מחשבה על מפתחי AI למכשירי קצה ומערכות ייעודיות, הזקוקות לעיבוד יעיל על המכשיר עצמו, ורץ היטב על מחשבים וטלפונים ללא תלות בענן. המודל מותאם במיוחד למשימות הדורשות קונטקסט ארוך, כמו קריאה לפונקציות וכלים חיצוניים (Function Calling), פעולה במסגרת חוקים ומגבלות קשיחים (Policy Grounded Generation), מענה לשאלות על בסיס מסמכים מרובים, ניתוב בין מודלים וכלים, או ניתוח קוד. 

היכולת של המודל לפעול ביעילות על מכשירי קצה מאפשר בניה של ארכיטקטורות היברידיות - מערכת המאפשרת לנתב משימות פשוטות למודלים יעילים על המכשיר עצמו ולשמור את משאבי ה-GPU היקרים למשימות מורכבות. ארכיטקטורה מסוג זה עשויה לחסוך פי 10-30 בעלויות תשתיות ה-AI, המהוות אתגר כלכלי משמעותי. 

• פרופ' שעשוע (שוב) מוכר חלום; בחזרה לאקזיט של מובילאיי ועל האקזיט הצפוי ב-AI21
• גיוס ענק: סטארט-אפ ה-AI של אמנון שעשוע גייס 155 מיליון דולר, בין היתר מגוגל ואנבידיה
• המלצת המערכת: כל הכותרות 24/7

יעילות המודל מתאפשרת בזכות ארכיטקטורת Jamba של AI21. טכנולוגיה ייחודית זו משלבת במודל השפה שכבות טרנספורמרים (עליו מבוססים הרוב המוחלט של מודלי השפה בעולם) עם שכבות Mamba State Space. שלוב זה מפחית את צריכת הזיכרון פי 10 בהשוואה לטרנספורמרים בלבד, ומשמר ביצועים גבוהים גם בריצה בקונטקסט ארוך.

אורי גושן, מנכ"ל שותף ומייסד שותף ב-AI21: "הפוטנציאל של מודלים זעירים הוא עצום - Jamba Reasoning 3B הוא השלב הראשון של מימוש היכולות האמיתיות שלהם. יכולות Reasoning במכשירי קצה, היכולת להתאים את המודל למשימות ספציפיות, והפוטנציאל בארכיטקטורת ענן-קצה היברידית - כולם מקדמים אותנו ל-AI יעיל, זריז יותר, שמסוגל לתת מענה לצרכים אמיתיים ומגוונים״.

המודל זמין בקוד פתוח תחת רישיון Apache 2.0 דרך Hugging Face ,Kaggle ,llama.cpp ,Ollama ו-LM Studio. 

• וויקס מגיעה לסופרבול עם Base44: חושפת את הקמפיין "It’s app to you"
• סטארטאפ הסייבר Mesh Security גייס 12 מיליון דולר
• תוכן שיווקי שוק הסקנדרי בישראל: הציבור יכול כעת להשקיע ב-SpaceX של אילון מאסק

AI21 היא חלוצה בתחום מודלי השפה ומערכות AI לארגונים. משימתה של החברה היא לבנות בינה מלאכותית אמינה, שתוביל את האנושות לעבר סופר-פרודוקטיביות. ‏החברה נוסדה בשנת 2017 על ידי פרופ’ אמנון שעשוע, פרופ’ יואב שוהם ואורי גושן, ועד היום גייסה מעל 336 מיליון דולר ממובילי התעשייה ובהם ‏NVIDIA‏, ‏Google ו-Intel. מוצרי החברה כוללים את משפחת Jamba של מודלי שפה ואת Maestro, פלטפורמה ליצירת וניהול סוכני AI.