חוקרי בינה מלאכותית יוצרת (GenAI) מאנבידיה יצרו מודל חדש להפקת צלילים מפקודות טקסט, העונה לשם פוגאטו (Fugatto). המודל, יכול להפוך הוראות טקסט פשוטות למוזיקה, קטעי קול, קולות וצלילים - וכל השילובים האפשריים ביניהם.  קהל היעד של המודל, שעדיין מצוי בשלב המחקרי, הוא יוצרים, מוזיקאים, מלחינים, פרסומאים, מפתחי משחקים ותוכנות ואנשי תוכן.

פוגאטו יכול בין היתר ליצור מלודיה קצרה על פי הנחיות טקסטואליות, להוסיף או להסיר כלי נגינה משיר, לשלב אפקטים, להטמיע קולות ולשלב ביניהם בגמישות חסרת תקדים כך שלעיתים התוצאה היא צלילים או שילובים שאיש לא שמע מעולם - למשל, סקסופון שנובח כמו כלב או מיילל כמו חתול. המודל מאפשר גם ליצור קריינות באמצעות פקודה טקסטואלית ולשנות את המבטא או את האינטונציה של הדוברים (למשל מטון שמח לעצוב).

יכולת נוספת היא ביצירת סאונדים עם מאפיינים שמשתנים ומתפתחים לאורך הזמן, למשל סאונד של סופת גשם עם רעש של רעמים שמתגברים בהדרגה ונמוגים לאיטם. בנוסף, בניגוד לרוב המודלים שיכולים רק ליצור מחדש על בסיס נתוני האימון שנחשפו אליהם, פוגאטו מאפשרת ליצור סאונד שמעולם לא נחשף אליו קודם.

מפיקים מוזיקליים יכולים להשתמש בפוגאטו כדי ליצור סקיצות או רעיונות ליצירות ולנסות סגנונות, קולות וכלי נגינה שונים. הם גם יכולים להוסיף אפקטים להקלטה קיימת, או לשפר את האיכות שלה. בפיתוח המודל היו מעורבים צוותים בינלאומיים על מנת להתאים אותו לשפות ומבטאים שונים. צוות הפיתוח אסף מיליוני דגימות אודיו לאימון המודל ואף פיתח אסטרטגיה המאפשרת לפוגאטו להתרחב וללמוד בעתיד ללא צורך בנתונים נוספים.

• השווקים סוגרים שנה בעליות - מה קורה באסיה ובחוזים והאם האופוריה מוצדקת?
• אנבידיה משתלטת על מתחרה - חברת השבבים גרוק
• המלצת המערכת: כל הכותרות 24/7

פוגאטו פותח על בסיס עבודות קודמות של החוקרים במידול שפה, קידוד שמע, והבנת שמע. הגרסה המלאה שלו כוללת כ-2.5 מיליארד פרמטרים והוא אומן על גבי מערכות NVIDIA DGX, הכוללות 32 NVIDIA H100 Tensor Core GPUs, תוך שימוש בטכניקה ייחודית בשם ComposableART.