Google tutvustab AudioPaLM-i, võimsat AI keelemudelit kõne genereerimiseks
Põgusalt
AudioPaLM on võimas keelemudel, mille on välja töötanud Google mis ühendab tekstipõhised ja kõnepõhised mudelid sujuvaks kõne ja tekstitöötluseks.
See säilitab paralingvistilise teabe ja ületab kõnetõlkeülesannetes olemasolevaid süsteeme.
AudioPaLM suudab tõlkida aktsendiga keeli ja teha kõnest kõneks tõlkimiseks hääledastusi.
Google on avalikustanud keelemudeli nimega AudioPaLM, mis ühendab tekstipõhised ja kõnepõhised keelemudelid kõne ja teksti sujuvaks töötlemiseks ja genereerimiseks. Ühendades võimalused PaLM-2 ja AudioLM, AudioPaLM pakub ühtset multimodaalset arhitektuuri, mis avab laia valikut rakendusi, sealhulgas kõnetuvastus ja kõnest kõneks tõlkimine.
AudioPaLM-i üks tähelepanuväärne omadus on tänu AudioLM-i mõjule selle võime säilitada paralingvistilist teavet, nagu kõneleja identiteet ja intonatsioon. Samal ajal kasutab see tekstipõhistes keelemudelites, nagu PaLM-2, leitud keeleteadmisi. Initsialiseerides AudioPaLM-i ainult teksti sisaldava suure keelemudeli kaaludega, paistab mudel suurepäraselt kõnetöötluses, kasutades ära eeltreeningul kasutatavaid ulatuslikke tekstitreeningu andmeid.
AudioPaLM-i märkimisväärseid võimeid on demonstreeritud erinevate katsetega. See on kõnetõlkeülesannetes ületanud olemasolevaid süsteeme ja demonstreerib nullvõtete teostamise võimet kõnest tekstiks tõlkimine keeltele, mida koolituse ajal ei kohatud.
Lisaks pakub AudioPaLM funktsioone helikeele mudelid edastades hääli keelte vahel lühikeste kõneviipade alusel.
Google on teinud näiteid AudioPaLM-i võimalustest uurimiseks saadaval. Mudeli võime tõlkida selgete aktsentidega keeli, nagu itaalia ja saksa keel, on huvitanud nii teadlasi kui ka kasutajaid. Lisaks eristab selle oskus kõnest kõneks tõlkimise hääledastusi olemasolevatest lähtetasemetest, mida kinnitavad nii automaatsed mõõdikud kui ka inimeste hindajad.
Mudel suudab väga hästi tõlkida keelt helist teises keeles helisse, säilitades inimese hääle ja emotsioonid. Huvitav on see, et mõne keele, nagu itaalia ja saksa, tõlkimisel on mudelil märgatav aktsent ja teiste, näiteks prantsuse keele tõlkimisel räägib see täiusliku Ameerika aktsendiga.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
