VALL-E: מודל הטקסט-לדיבור החדש של מיקרוסופט יכול לשכפל את הקול של כולם בשלוש שניות
בקיצור
עם דגימה של שלוש שניות בלבד מכל קול, דגם ה-TTS מבוסס השנאים VALL-E יכול להפיק דיבור בכל קול.
זוהי התקדמות משמעותית בכיוון של מערכות TTS בעלות סאונד טבעי יותר.
עם זאת, מיקרוסופט סיפקה כמה דוגמאות של המודל שנמצא בשימוש, וניכר שזה מייצג התפתחות משמעותית בטכנולוגיית TTS.
מאז פרסום מודל הטקסט לדיבור (TTS) הראשון, חוקרים חיפשו דרכים לשפר את האופן שבו מערכות אלו מייצרות דיבור. הדגם האחרון מבית מיקרוסופט, עֶמֶק, מהווה צעד משמעותי קדימה בהקשר זה.
VALL-E הוא מודל TTS מבוסס שנאי שיכול ליצור דיבור בכל קול לאחר שמיעת דגימה של שלוש שניות בלבד של הקול הזה. מדובר בשיפור משמעותי לעומת דגמים קודמים, שדרשו תקופת הכשרה ארוכה בהרבה על מנת לייצר קול חדש.
בנוסף, האינטונציה, הכריזמה והסגנון של הקול נשמרים ללא פגע בדיבור שנוצר. זהו צעד חשוב קדימה בהפיכת מערכות TTS להישמע טבעיות יותר.
דגם זה מבוסס שנאי ובעל מראה של Dale-1. לא להתבלבל עם Dalle-2 מבוסס דיפוזיה. הקוד עדיין חסר. ולמשתמשים יש ספקנות שהם יפרסמו את זה.
עם זאת, מיקרוסופט פרסמה כמה דוגמאות של הדגם בפעולה, וברור שמדובר בהתקדמות גדולה בטכנולוגיית ה-TTS.
דוגמה # 1:
דוגמא #2:
דוגמה # 3:
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
