Google esittelee AudioPaLM:n, tehokkaan AI-kielimallin puheen luomiseen
Lyhyesti
AudioPaLM on tehokas kielimalli, jonka on kehittänyt Google joka yhdistää teksti- ja puhepohjaiset mallit saumattomaan puheen ja tekstinkäsittelyyn.
Se säilyttää paralingvistisen tiedon ja ylittää olemassa olevat järjestelmät puheenkäännöstehtävissä.
AudioPaLM voi kääntää aksentoituja kieliä ja suorittaa puheensiirtoja puheesta puheeksi kääntämistä varten.
Google on julkistanut kielimallin nimeltä AudioPaLM, joka yhdistää teksti- ja puhepohjaiset kielimallit puheen ja tekstin saumattomasti käsittelemiseksi ja luomiseksi. Yhdistämällä ominaisuudet PaLM-2 ja AudioLM, AudioPaLM tarjoaa yhtenäisen multimodaalisen arkkitehtuurin, joka avaa laajan valikoiman sovelluksia, mukaan lukien puheentunnistuksen ja puheesta puheeksi -käännöksen.
Yksi AudioPaLM:n huomionarvoinen piirre on sen kyky säilyttää paralingvistinen informaatio, kuten puhujan identiteetti ja intonaatio, AudioLM:n vaikutuksen ansiosta. Samalla se hyödyntää tekstipohjaisissa kielimalleissa, kuten PaLM-2:ssa, löytyvää kielitietoa. Alustamalla AudioPaLM vain tekstiä sisältävän suuren kielimallin painoilla malli loistaa puheenkäsittelyssä hyödyntäen esikoulutuksessa käytettyä laajaa tekstin opetusdataa.
AudioPaLM:n merkittävät ominaisuudet on osoitettu useilla kokeilla. Se on ylittänyt olemassa olevat järjestelmät puheenkäännöstehtävissä ja esittelee kykyä suorittaa nollakuvaa puheesta tekstiksi käännös kielille, joita ei tavattu koulutuksen aikana.
Lisäksi AudioPaLM sisältää ominaisuuksia äänikielimallit siirtämällä ääniä eri kielillä lyhyiden puhekehotteiden perusteella.
Google on tehnyt esimerkkejä AudioPaLM:n ominaisuuksista saatavilla tutkittavaksi. Mallin kyky kääntää kieliä, joilla on selkeät aksentit, kuten italia ja saksa, on kiehtonut tutkijoita ja käyttäjiä. Lisäksi sen taito suorittaa puheensiirtoja puheesta puheeksi-kääntämisessä erottaa sen olemassa olevista perustasoista, kuten sekä automaattiset mittarit että ihmisen arvioijat ovat vahvistaneet.
Malli on erittäin hyvä kääntämään kielen äänestä toisella kielellä, säilyttäen ihmisen äänen ja tunteet. Mielenkiintoista on, että käännettäessä joitakin kieliä, kuten italiaa ja saksaa, mallissa on havaittavissa oleva aksentti, ja toisia, esimerkiksi ranskaa, käännettäessä se puhuu täydellisellä amerikkalaisella aksentilla.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
