Google predstavlja AudioPaLM, zmogljiv jezikovni model AI za generiranje govora
Na kratko
AudioPaLM je močan jezikovni model, ki ga je razvil google ki združuje besedilne in govorne modele za brezhibno obdelavo govora in besedila.
Ohranja paralingvistične informacije in prekaša obstoječe sisteme pri nalogah prevajanja govora.
AudioPaLM lahko prevaja jezike z naglasom in izvaja glasovne prenose za prevajanje govora v govor.
Google je predstavil jezikovni model, imenovan AudioPaLM, ki združuje besedilne in govorne jezikovne modele za brezhibno obdelavo in ustvarjanje govora in besedila. Z združitvijo zmogljivosti PaLM-2 in AudioLM, AudioPaLM ponuja enotno multimodalno arhitekturo, ki odpira široko paleto aplikacij, vključno s prepoznavanjem govora in prevajanjem govora v govor.
Ena od pomembnih lastnosti AudioPaLM je njegova sposobnost ohranjanja paralingvističnih informacij, kot sta identiteta govorca in intonacija, zahvaljujoč vplivu AudioLM. Hkrati izkorišča jezikovno znanje, ki ga najdemo v besedilnih jezikovnih modelih, kot je PaLM-2. Z inicializacijo AudioPaLM z utežmi velikega jezikovnega modela, ki vsebuje samo besedilo, se model odlikuje pri obdelavi govora in izkorišča obsežne podatke za usposabljanje besedila, uporabljene v predusposabljanju.
Izjemne zmogljivosti AudioPaLM so bile dokazane z različnimi poskusi. Prekašal je obstoječe sisteme pri nalogah prevajanja govora in prikazuje zmožnost izvajanja zero-shot prevajanje govora v besedilo za jezike, ki jih med usposabljanjem niste srečali.
Poleg tega ima AudioPaLM funkcije zvočni jezikovni modeli s prenosom glasov med jeziki na podlagi kratkih izgovorjenih pozivov.
Google je naredil primeri zmogljivosti AudioPaLM na voljo za raziskovanje. Zmožnost modela, da prevaja jezike z izrazitimi poudarki, kot sta italijanščina in nemščina, je navdušila tako raziskovalce kot uporabnike. Poleg tega se njegova strokovnost pri izvajanju glasovnih prenosov za prevajanje govora v govor razlikuje od obstoječih izhodišč, kar potrjujejo tako samodejne meritve kot človeški ocenjevalci.
Model je zelo dober pri prevajanju jezika iz zvoka v zvok v drugem jeziku, pri čemer ohranja glas in čustva osebe. Zanimivo je, da ima model pri prevajanju nekaterih jezikov, kot sta italijanščina in nemščina, opazen naglas, pri prevajanju drugih, na primer francoščine, pa govori s popolnim ameriškim naglasom.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
