גוגל מציגה את AudioPaLM, מודל שפת בינה מלאכותית רב עוצמה ליצירת דיבור
בקיצור
AudioPaLM הוא מודל שפה רב עוצמה שפותח על ידי Google המשלב מודלים מבוססי טקסט ודיבור לעיבוד דיבור וטקסט חלקים.
הוא משמר מידע לשוני ועולה על מערכות קיימות במשימות תרגום דיבור.
AudioPaLM יכולה לתרגם שפות מודגשות ולבצע העברות קוליות לתרגום דיבור לדיבור.
גוגל חשפה מודל שפה בשם AudioPaLM, המשלב מודלים של שפה מבוססי טקסט ודיבור לעיבוד ויצירת דיבור וטקסט בצורה חלקה. על ידי מיזוג היכולות של PaLM-2 ו AudioLM, AudioPaLM מציעה ארכיטקטורה רב-מודאלית מאוחדת הפותחת מגוון רחב של יישומים, כולל זיהוי דיבור ותרגום דיבור לדיבור.
תכונה בולטת אחת של AudioPaLM היא היכולת שלה לשמר מידע פר-לשוני כמו זהות דובר ואינטונציה, הודות להשפעה של AudioLM. במקביל, הוא רותם את הידע הלשוני המצוי במודלים של שפה מבוססי טקסט כמו PaLM-2. על ידי אתחול AudioPaLM עם משקלים של מודל שפה גדול המכיל טקסט בלבד, המודל מצטיין בעיבוד דיבור, תוך ניצול נתוני אימון הטקסט הנרחבים המשמשים באימון מקדים.
היכולות המדהימות של AudioPaLM הוכחו באמצעות ניסויים שונים. הוא עלה על המערכות הקיימות במשימות תרגום דיבור ומציג את היכולת לבצע צילום אפס תרגום דיבור לטקסט לשפות שלא נתקלו בהן במהלך האימון.
בנוסף, AudioPaLM מציג תכונות של דגמי שפת אודיו על ידי העברת קולות בין שפות על סמך הנחיות מדוברות קצרות.
גוגל עשתה דוגמאות ליכולות של AudioPaLM זמין לחקירה. היכולת של המודל לתרגם שפות עם מבטאים מובהקים, כמו איטלקית וגרמנית, סקרנה חוקרים ומשתמשים כאחד. יתר על כן, מיומנותו בביצוע העברות קוליות לתרגום דיבור לדיבור מבדילה אותו מקווי הבסיס הקיימים, כפי שאושר הן על ידי מדדים אוטומטיים והן על ידי מעריכים אנושיים.
המודל טוב מאוד בתרגום שפה מאודיו לאודיו בשפה אחרת, תוך שמירה על הקול והרגשות של אדם. מעניין, כאשר מתרגמים שפות מסוימות כמו איטלקית וגרמנית, לדגם יש מבטא בולט, וכאשר מתרגמים שפות אחרות, למשל, צרפתית, הוא מדבר במבטא אמריקאי מושלם.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
