חברת Meta מכריזה היום על מודל חדשMuse Voice Transcribe. מודל שמסוגל להפוך שיחה מדוברת לטקסט בזמן אמת, אבל כאן זה כבר הרבה מעבר לתמלול רגיל.

המודל החדש יודע לזהות ולהפריד ביןיותר מ־20 דוברים שוניםבאותה שיחה, לתמלליותר מ־70 שפות, ואפילו לעבור באופן טבעי בין שפות שונות באמצע אותו משפט.

ומה שמעניין במיוחד הוא שהוא לא מסתמך רק על המילים שנאמרות. Muse יודע להשתמש ולהבחין גם בהקשר ובמילות מפתח, כך שהוא יודע להבין יותר טוב את השיחה וגם לשפר את רמת דיוק התמלול.

גם בשיחות ארוכות יש כאן בשורה. המודל החדש מסוגל להתמודד עםהקלטות של יותר משעה, ללא צורך בעיבוד נוסף לאחר ההקלטה.

והחלק החכם באמת? Muse יודעמתי לתמלל מיד ומתי לעצור לרגע. אם המשפט ברור, הוא ממשיך במהירות. אם צריך עוד רגע כדי להבין את ההקשר, הוא ממתין מעט לפני שהוא מתמלל.

במילים אחרות, Meta מנסה לקחת את התמלול צעד אחד קדימה: לא רק לשמוע מה נאמר, אלא גםלהבין את השיחה תוך כדי שהיא מתרחשת.

המודל מציג ביצועים מובילים בתחום ומדורג במקום הראשון ב-Artificial Analysis בתמלול דיבור לטקסט בזמן אמת, וכן במבחנים פומביים שבודקים את היכולת לזהות ולהפריד בין דוברים שונים בשיחה.

המודל החדש משמש גם להכתבה קולית ב-Meta AI וב-Muse Code. למשל, באפליקציית Meta AI למחשבי Mac אפשר ללחוץ על מקש Fn, לדבר במקום להקליד, והדיבור הופך לטקסט בזמן אמת.

Muse Voice Transcribe זמין כעת דרך Meta Model API, Meta AI for Mac ו-Muse Code.