גנסן הואנג מנכל אנבידיה
צילום: טוויטר

האם ה-AI הגיע לתקרת הזכוכית: איך יראו השדרוגים הבאים בצ'אטים?

העלויות הכבדות שב"אימון" הכלים על מאגרים גדולים מביא לתפנית - "קטן יותר, אבל חכם יותר"; איך והאם זה ישפיע על אנבידיה?
איציק יצחקי | (1)

שנתיים לאחר ההשקה של ChatGPT, שהותירה את העולם נפעם, שוק הבינה המלאכותית מתמודד עם קשיי גדילה. מודלי שפה גדולים (LLM) שהיוו את הבסיס ליכולות המתקדמות של ChatGPT והצ'אטים הנוספים, נמצאים מול  מגבלות טכנולוגיות וגם כלכליות. טכנולוגיות כי קשה לשפר את היכולות הטכנולוגיות כפי שהיה בעבר. הקפיצה מדור לדור תבטא שיפורים מינורים יותר. וכלכלית כי העלויות של הפירמות המשתמשות כדי לייצר כלי עבודה גבוהות מאוד. 

התפיסה היא שככל שתהליך הלמידה רחב יותר וגדול יותר, ככל מאמנים יותר את הכלי כך הוא טוב יותר. הגודל של המודלים האלו, היה עד כה מנוע הצמיחה העיקרי. אבל הוא מתחיל להיתפס בזמן האחרון כעוצר התקדמות כשיש חלופות - במקום לאמן וללמד את המכונה על פני כמויות עצומות של חומר ומידע, אפשר לעשות זאת חכם יותר על פני פחות מידע. לשם זה הולך, ויש לזה משמעויות על כל עולם הבינה המלאכותית והמשתמשים. 

 

גודל מול מהירות: מה הבעיה האמיתית?

מודלי שפה גדולים כמו GPT-4, מתייחסים למערכות מתקדמות שמכילות מיליארדי פרמטרים, אותם "כפתורים" המותאמים במהלך האימון כדי לייצר את היכולת לשפה טבעית. אבל גודל כזה אינו מגיע בחינם. אימון של מודל כמו GPT-4 דרש כמות אנרגיה עצומה, שמשתווה לצריכת החשמל של 50 בתים בארה"ב למשך 100 שנה. העלויות הכלכליות של אימון דור המודלים הבא צפויות להגיע למיליארדי דולרים, והאתגר הטכנולוגי המורכב הופך את ההשקעה הזו לפחות כדאית.

הבעיה אינה רק בעלות. ככל שהמודלים גדלים, נדרש זמן רב יותר לאמן אותם ולהריץ אותם, וכך הם הופכים לאיטיים ובלתי יעילים למשתמשי הקצה. לדוגמה, במודלים מהדור הנוכחי, זמני התגובה ארוכים יותר, והצרכים האנרגטיים המוגברים מקשים על הפעלתם בקנה מידה רחב. במילים אחרות, הגודל כבר לא מיתרגם לשיפור משמעותי, והמודלים החדשים לא מצליחים להציג קפיצה טכנולוגית דומה לזו שנרשמה בעבר.

האם ההתקדמות מאטה?

בהשוואה לעשור הקודם, הקצב שבו שוק הבינה המלאכותית מצליח לייצר פריצות דרך גדולות אכן מאט. בעבר, יותר פרמטרים במודל היו שווים לשיפור דרמטי בביצועים. אבל היום, נראה שהגענו לגבול. הדור הבא של מודלים עשוי לדרוש כמויות עצומות של כוח חישובי ואנרגיה מבלי לספק שיפור משמעותי.

בעיה נוספת היא המחסור בטקסטים באיכות גבוהה לאימון. רוב המידע הזמין באינטרנט כבר נוצל, והיכולת לשפר את המודלים מוגבלת על ידי האיכות והכמות של נתוני האימון.

כמו כן, העלויות אינן רק באימון המודלים אלא גם בהרצתם. "עלויות ההיסק" (inference costs) עולות ככל שהמודל גדול יותר, ומעכבות את היכולת להשתמש בו בצורה רווחית.

קיראו עוד ב"BizTech"

 

הפתרון: יותר חכם, יותר קטן

לאור האתגרים הללו, חברות מובילות כמו OpenAI, גוגל ואנטרופיק עוברות להתמקד בפתרונות שמטרתם לשפר מודלים קיימים במקום לייצר מודלים גדולים יותר. שיטה אחת, המכונה test-time compute, מאפשרת למודל "לחשוב" יותר זמן לפני מתן תשובה. כך, במקום להשקיע בעוצמת עיבוד גדולה יותר, המודל מנצל זמן עיבוד נוסף כדי לשפר את דיוק התשובה.

הגישה הזו כבר מיושמת במודלים חדשים כמו o1 של OpenAI, שמסוגלים לפתור בעיות מורכבות יותר, כמו מתמטיקה ותכנות, באמצעות תהליך עיבוד ארוך יותר. כך, ניתן להשיג שיפור משמעותי בביצועים מבלי להגדיל את גודל המודל. זה אתגר גדול, ונראה שזה יהיה המפתח והמרוץ הבא - מי יודע לפתח צ'אט חכם ולא מי יודע לפתח צ'אט שרץ על דטה גדול.

 

מה זה אומר על יצרניות השבבים?

המעבר מ"גודל" ל"יעילות" עשוי לשנות באופן מהותי את שוק השבבים. עד כה, הדרישה למודלים גדולים יצרה ביקוש אדיר לשבבים רבי עוצמה של חברות כמו אנבידיה. אולם, עם המעבר למודלים קטנים יותר וממוקדים, ייתכן שנראה ירידה בביקוש לשבבים מסוג זה. במקום זאת, עשוי לעלות הביקוש לשבבים שמיועדים להרצה יעילה של מודלים. 

המשמעות לצ'אטים היא שהשדרוגים הבאים יהיו איטיים יותר מבחינה טכנולוגית, הממשעות לאנביידה שייתכן שמתישהו הצמיחה המרשימה במכירות תאט. הממשעות לקהל שהמהפכה הזו תיקח זמן. לא הגענו עדיין לתקרת זכוכית, יש עוד הרבה להשתפר. למעשה, ייתכן שאנחנו בעיצומו של מעבר לתפיסה חדשה של חדשנות. במקום להגדיל מודלים, החברות ממקדות את המאמצים בשיפור תהליכי עיבוד, פיתוח שבבים ייעודיים, ושילוב טכניקות חכמות שמאפשרות להשיג יותר בפחות משאבים.

התוצאה עשויה להיות מעבר מעולם שבו כמה "כוכבי על" כמו GPT-4 שולטים בשוק, ליקום שלם של מודלים קטנים וממוקדים, שכל אחד מהם מתמחה בפתרון בעיה ספציפית. גישה זו לא רק תייעל את התעשייה, אלא גם תהפוך אותה לנגישה יותר עבור עסקים קטנים ומשתמשים פרטיים.

תגובות לכתבה(1):

הגב לכתבה

השדות המסומנים ב-* הם שדות חובה
  • 1.
    לרון 18/11/2024 08:28
    הגב לתגובה זו
    שניפרצו בהמשך
עובדים בהייטק ערב
צילום: דאלי

מה קורה בהייטק הישראלי - מפטרים או מגייסים? הנה התשובה

ההייטק הישראלי צומח בלי לגייס עובדים - ה-AI החליף את הג'וניורים ומה השלב הבא?, על התחומים הצומחים ועל התחומים שנמצאים בסיכון

אדיר בן עמי |

ההייטק לא קורס - הוא פשוט כבר לא צריך אתכם

בחודשים האחרונים מתרבים הדיווחים על התקררות בשוק העבודה בהייטק המקומי. מדברים על קיפאון, מדברים אפילו על ירידה בכמות העובדים. אין ירידה בכמות העובדים. התמונה אומנם מורכבת, אבל אין דרמה אמיתית. ההייטק הישראלי לא נמצא בנסיגה, אלא בעיצומו של שינוי מבני עמוק, שמתרחש במקביל בכל מוקדי הטכנולוגיה בעולם.

נכון לסוף 2025, מספר המועסקים בהייטק בישראל נע סביב 410 אלף עובדים - רמה דומה מאוד לשנה הקודמת, ואף עלייה צנועה. זו אינה ירידה, אלא האטה בקצב הצמיחה. האטה שמגיעה לאחר יותר מעשור של גידול מהיר שנתפס כמובן מאליו. במובן הזה, הנתון החריג אינו ירידה במספר העובדים, אלא העובדה שההייטק כבר לא מגדיל מצבת כוח אדם בקצב משמעותי מאוד כפי שהורגלנו בעבר.

הגורם המרכזי לשינוי אינו משבר כלכלי, אלא חדירה מואצת של כלי בינה מלאכותית לתהליכי עבודה. על פי הערכות גורמים בתעשייה, בין 7,000 ל-10,000 משרות - בעיקר משרות ג'וניור ותפקידי ביניים, הוחלפו או צומצמו באמצעות אוטומציה ו-AI. משימות שבעבר דרשו צוותים של מפתחים צעירים מבוצעות כיום באמצעות קוד גנרטיבי, מערכות אוטומטיות וכלי פיתוח חכמים.

חברות ענק כמו מיקרוסופט, גוגל, אמזון, סיילספורס ואחרות פיטרו עובדים לא בשל ירידה בפעילות, אלא כחלק מהתייעלות מבנית ומעבר למודלים המסתמכים על AI. גם בישראל, ההייטק לא צריך פחות עבודה - אלא פחות עובדים בתפקידים מסוימים. עם זאת, בהחלט יש "חשיבה מחדש" ושינוי מודל עסקי אמיתי בחברות תוכנה שמאוימות על ידי ה-AI. קל היום לפתח תוכנה ופתרון אפליקטיביים וזה מעמיד את החברות האלו בסיכון גדול ובאיום גדול. חברות כמו נייס, מאנדיי וויקס נפגעו בבורסה ואכזבו את המשקיעים בדוחות האחרונים, והשאלה מה יהיה קדימה. ההנהלות של החברות האלו מדברות על התעצמות והתחזקות, אבל וול סטריט סקפטית. 


ממספרים לערך

ההייטק עובר ממודל עתיר כוח אדם למודל עתיר תפוקה, שבו השאלה המרכזית אינה כמה עובדים יש לחברה, אלא כמה ערך מייצר כל עובד. מערכות אוטומציה ופלטפורמות פיתוח חכמות מאפשרים לצוותים קטנים לייצר תפוקות שבעבר דרשו מחלקות שלמות. משימות תכנות, בדיקות, תיעוד, אנליזה ואפילו ניהול תהליכים מבוצעות היום במהירות גבוהה פי כמה ובפחות ידיים. התוצאה: חברות ממשיכות לגדול בהכנסות, במוצר ובחדירה לשווקים, בלי להגדיל את מצבת כוח האדם בהתאם.

טראמפ בוחן מחשב קוונטי, נוצר באמצעות AIטראמפ בוחן מחשב קוונטי, נוצר באמצעות AI

אישור משפטי ליוזמת טראמפ: תשלום של 100 אלף דולר לבקשת אשרת H-1B

מאחורי הרטוריקה הגסה על “מי נכנס לאמריקה” מסתתרת מדיניות סדורה, ועוד אספקט של ה-MAGA: בית המשפט אישר את יוזמת המשטר להעלות דרמטית את אגרת העסקת עובדים זרים בהייטק , שיקטין דרמטית את ההגירה הכלכלית

רן קידר |

״למה אנחנו לא יכולים להביא אנשים מנורווגיה או משוודיה? בואו ניקח כמה מדנמרק. אכפת לכם לשלוח לנו כמה אנשים? תשלחו לנו אנשים נחמדים. אכפת לכם? אבל אנחנו תמיד לוקחים אנשים מסומליה, ממקומות שהם אסון, נכון? מגיעים אלינו רק ממקומות מטונפים, מלוכלכים, דוחים ומוכי פשיעה". כך אמר נשיא ארה"ב לפני כשבועיים והתייחס באופן פרובוקטיבי למדיניות ההגירה של ארה"ב. 

האמירה הזאת היא צד אחר של יוזמה של טראמפ, שבמסגרתה ארה"ב תיגבה 100 אלף דולר עבור כל בקשה לאשרת H-1B, שאותה ניסתה לשכת המסחר האמריקאית לטרפד,בטענה כי המהלך חורג מסמכות הנשיא, והגישה תביעה לבית המשפט, שכעת דחה אותה וקבע כי ממשל טראמפ רשאי להמשיך בהטלת האגרה. האגרה החדשה, שהוכרזה בהצהרה נשיאותית מספטמבר 2025, מחליפה את העלויות הקודמות שנעו בין 2,000 ל-5,000 דולר לבקשה, תלוי בגודל החברה ובסוג ההגשה.

מהי תכנית H-1B?

תוכנית H-1B מאפשרת לחברות אמריקאיות להעסיק עובדים זרים בעלי השכלה אקדמית בתחומים כמו הנדסה, תוכנה, ביוטכנולוגיה ומדעי המחשב. בכל שנה פיסקלית מוקצות 85 אלף אשרות, 65 אלף רגילות ו-20 אלף נוספות לבעלי תארים מתקדמים מאוניברסיטאות אמריקאיות. הביקוש עולה על ההיצע בהרבה, עם מאות אלפי בקשות שנתיות, וההקצאה מתבצעת בהגרלה אקראית. בשנת 2025 נרשמו כ-442 אלף בקשות, כאשר כ-70-80% מהן הגיעו מעובדים הודים, המהווים את הרוב במגזר השירותים הטכנולוגיים.

האגרה החדשה חלה רק על בקשות חדשות שהוגשו לאחר 21 בספטמבר 2025, ואינה משפיעה על חידושים או הארכות של אשרות קיימות. היא נועדה להרתיע שימוש יתר בתוכנית, במיוחד על ידי חברות אאוטסורסינג שמעסיקות עובדים בשכר נמוך יחסית. לדוגמה, חברת טאטא קונסלטנסי סרוויסס ההודית, אחת המובילות בהגשת בקשות, ספגה בעבר קנסות על הפרות כמו העסקה בשכר נמוך והפרת כללי מיקום עבודה. עם האגרה החדשה, עלות גיוס עובד בודד עלולה להגיע ל-105 אלף דולר, כולל עמלות נלוות, מה שהופך את התהליך ללא כדאי עבור תפקידים בשכר ממוצע של 70-90 אלף דולר לשנה.

חברות טכנולוגיה גדולות כמו אמזון, שספנסרה מעל 10 אלף אשרות H-1B בשנת 2025, מיקרוסופט עם כ-6 אלף, ומטא עם כ-4 אלף, צפויות לספוג עלויות נוספות של מיליוני דולרים. באמזון, למשל, השכר הממוצע לעובדי H-1B עומד על 150 אלף דולר, אך האגרה תייקר את הגיוס הראשוני ב-67%. חברות קטנות יותר, כולל סטארט-אפים, עלולות לוותר על גיוס זר לחלוטין, שכן תקציבן מוגבל. כפי שפורט בדיווח על השפעות כלכליות של מדיניות הגירה בארה"ב בביזפורטל, שינויים כאלה עלולים להאט את קצב החדשנות במגזר הטק, שתורם כ-10% מהתמ"ג האמריקאי.