מטא משיקה כלי תמלול שמזהה יותר מ-20 דוברים

מטא משיקה את Muse Voice Transcribe, מודל חדש שהופך דיבור לטקסט בזמן אמת ופותח במעבדות הבינה המלאכותית המתקדמת שלה, Meta Superintelligence Labs. המודל מיועד לשיחות חיות, להכתבה קולית ולהקלטות ארוכות, ויכול גם לזהות מי אמר כל משפט כשכמה אנשים משתתפים בשיחה.

אחת היכולות המרכזיות של המודל היא הפרדה בין יותר מ-20 דוברים. במקום לספק טקסט אחד רצוף, הוא מזהה מתי הדובר מתחלף ומשייך את הדברים לאדם המתאים. היכולת הזאת יכולה לשמש לתמלול ישיבות, ראיונות, שיחות קבוצתיות ופודקאסטים שבהם משתתפים אנשים רבים.

המודל אומן על יותר מ-70 שפות, אך במטא מציינים כי בשלב הראשון 25 מהן נבדקו בצורה רחבה ומומלצות לשימוש. הוא מסוגל להתמודד גם עם מעבר בין שפות במהלך השיחה ואפילו בתוך אותו משפט, תופעה נפוצה אצל אנשים שמערבבים בין שתי שפות בזמן הדיבור.

מטא הוסיפה למודל גם אפשרות להיעזר בהקשר, במילות מפתח ובשפה שבה מתנהלת השיחה. אם המערכת מקבלת מראש שמות של אנשים, מקומות או מוצרים, היא יכולה להשתמש במידע כדי להפחית טעויות בזיהוי מילים דומות או שמות שאינם נפוצים.

Muse Voice Transcribe מתאים גם לקובצי שמע שאורכם יותר משעה ולשיחות שבהן משתתפים יותר מ-20 אנשים, בלי צורך בשלב נוסף של עיבוד התמלול. המודל מעבד את השמע בחלקים של 80 אלפיות השנייה ומחליט בכל רגע אם כבר ניתן לכתוב את המילה או שכדאי להאזין לעוד קטע קצר כדי להגיע לתוצאה מדויקת יותר. כך הוא משנה את זמן ההמתנה בהתאם למורכבות של כל מילה, במקום לעבוד בקצב קבוע. לפי מטא, המודל דורג במקום הראשון במדד Artificial Analysis לתמלול דיבור זורם לטקסט ובמבחנים פומביים שבודקים הפרדה בין דוברים.

מודל התמלול החדש של מטא

המודל כבר משמש להכתבה קולית ב-Meta AI וב-Muse Code. באפליקציית מטא AI למחשבי מק אפשר להחזיק את מקש Fn, לדבר במקום להקליד ולקבל את הטקסט בזמן אמת. ההכתבה יכולה לפעול גם כאשר המשתמש עובד בחלון אחר במחשב.