Ipinakilala ng Google ang AudioPaLM, Isang Napakahusay na Modelo ng Wika ng AI para sa Pagbuo ng Pagsasalita
Sa madaling sabi
Ang AudioPaLM ay isang makapangyarihang modelo ng wika na binuo ni Google na pinagsasama ang text-based at speech-based na mga modelo para sa tuluy-tuloy na pagsasalita at pagproseso ng text.
Pinapanatili nito ang paralinguistic na impormasyon at higit na gumaganap ang mga umiiral na sistema sa mga gawain sa pagsasalin ng pagsasalita.
Maaaring isalin ng AudioPaLM ang mga accented na wika at magsagawa ng mga voice transfer para sa speech-to-speech na pagsasalin.
Inilabas ng Google ang isang modelo ng wika na tinatawag na AudioPaLM, na pinagsasama ang text-based at speech-based na mga modelo ng wika upang maproseso at makabuo ng speech at text nang walang putol. Sa pamamagitan ng pagsasama-sama ng mga kakayahan ng PaLM-2 at AudioLM, nag-aalok ang AudioPaLM ng pinag-isang multimodal na arkitektura na nagbubukas ng malawak na hanay ng mga application, kabilang ang speech recognition at speech-to-speech translation.
Ang isang kapansin-pansing feature ng AudioPaLM ay ang kakayahang mapanatili ang paralinguistic na impormasyon tulad ng pagkakakilanlan at intonasyon ng speaker, salamat sa impluwensya ng AudioLM. Kasabay nito, ginagamit nito ang kaalamang pangwika na matatagpuan sa mga modelo ng wikang nakabatay sa teksto tulad ng PaLM-2. Sa pamamagitan ng pagsisimula ng AudioPaLM gamit ang mga timbang ng isang text-only na malaking modelo ng wika, ang modelo ay mahusay sa pagpoproseso ng pagsasalita, sinasamantala ang malawak na data ng pagsasanay sa teksto na ginagamit sa pretraining.
Ang mga kahanga-hangang kakayahan ng AudioPaLM ay naipakita sa pamamagitan ng iba't ibang mga eksperimento. Nahigitan nito ang mga kasalukuyang sistema sa mga gawain sa pagsasalin ng pagsasalita at ipinapakita ang kakayahang magsagawa ng zero-shot pagsasalin ng speech-to-text para sa mga wikang hindi nakatagpo sa panahon ng pagsasanay.
Bilang karagdagan, ang AudioPaLM ay nagpapakita ng mga tampok ng mga modelo ng wikang audio sa pamamagitan ng paglilipat ng mga boses sa iba't ibang wika batay sa maiikling pasalitang senyas.
Ginawa ng Google mga halimbawa ng mga kakayahan ng AudioPaLM magagamit para sa paggalugad. Ang kakayahan ng modelo na magsalin ng mga wika na may mga natatanging accent, tulad ng Italyano at German, ay nakaintriga sa mga mananaliksik at user. Higit pa rito, ang kahusayan nito sa pagsasagawa ng mga voice transfer para sa speech-to-speech na pagsasalin ay nagtatakda nito na bukod sa mga kasalukuyang baseline, gaya ng kinumpirma ng parehong mga awtomatikong sukatan at mga evaluator ng tao.
Napakahusay ng modelo sa pagsasalin ng isang wika mula sa audio patungo sa audio sa ibang wika, na pinapanatili ang boses at damdamin ng isang tao. Kapansin-pansin, Kapag nagsasalin ng ilang wika tulad ng Italyano at German, ang modelo ay may kapansin-pansing accent, at kapag nagsasalin ng iba, halimbawa, French, nagsasalita ito nang may perpektong American accent.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
