Google introducerar AudioPaLM, en kraftfull AI-språkmodell för talgenerering
I korthet
AudioPaLM är en kraftfull språkmodell utvecklad av Google som kombinerar textbaserade och talbaserade modeller för sömlös tal- och textbehandling.
Den bevarar paralingvistisk information och överträffar befintliga system i talöversättningsuppgifter.
AudioPaLM kan översätta accentspråk och utföra röstöverföringar för tal-till-tal-översättning.
Google har avslöjat en språkmodell som heter AudioPaLM, som kombinerar textbaserade och talbaserade språkmodeller för att bearbeta och generera tal och text sömlöst. Genom att slå samman kapaciteterna hos PaLM-2 och AudioLM, AudioPaLM erbjuder en enhetlig multimodal arkitektur som öppnar upp ett brett utbud av applikationer, inklusive taligenkänning och tal-till-tal-översättning.
En anmärkningsvärd egenskap hos AudioPaLM är dess förmåga att bevara paralingvistisk information som talarens identitet och intonation, tack vare inflytandet från AudioLM. Samtidigt utnyttjar den den språkliga kunskapen som finns i textbaserade språkmodeller som PaLM-2. Genom att initiera AudioPaLM med vikterna av en stor språkmodell med enbart text, utmärker modellen sig i talbearbetning och drar fördel av den omfattande textträningsdata som används vid förträning.
De anmärkningsvärda egenskaperna hos AudioPaLM har demonstrerats genom olika experiment. Det har överträffat befintliga system i talöversättningsuppgifter och visar upp förmågan att utföra nollskott översättning av tal till text för språk som man inte stöter på under utbildningen.
Dessutom uppvisar AudioPaLM funktioner för ljudspråksmodeller genom att överföra röster mellan språk baserat på korta talade uppmaningar.
Google har gjort exempel på AudioPaLM:s möjligheter tillgänglig för utforskning. Modellens förmåga att översätta språk med distinkta accenter, som italienska och tyska, har fascinerat både forskare och användare. Dessutom skiljer den sig från befintliga baslinjer, vilket bekräftas av både automatiska mätvärden och mänskliga utvärderare.
Modellen är mycket bra på att översätta ett språk från ljud till ljud på ett annat språk, och bevara rösten och känslorna hos en person. Intressant nog, när man översätter vissa språk som italienska och tyska, har modellen en märkbar accent, och när man översätter andra, till exempel franska, talar den med en perfekt amerikansk accent.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
