Meta AI uvaja vsejezično ASR, ki izboljšuje samodejno prepoznavanje govora v več kot 1,600 jezikih
Na kratko
Meta AI je predstavil sistem Omnilingual ASR, ki omogoča prepoznavanje govora za več kot 1,600 jezikov, ter izdal odprtokodne modele in korpus za 350 premalo razširjenih jezikov.
Raziskovalni oddelek tehnološkega podjetja Meta, specializiran za umetno inteligenco in obogateno resničnost, Meta AI je napovedal izdajo sistema za samodejno prepoznavanje govora Meta Omnilingual (ASR).
Ta paket modelov zagotavlja samodejno prepoznavanje govora za več kot 1,600 jezikov in dosega visokokakovostno delovanje v brezprecedentnem obsegu. Poleg tega je Meta AI odprtokodni Omnilingual wav2vec 2.0, samonadzorovan, množično večjezičen model predstavitve govora s 7 milijardami parametrov, zasnovan za podporo različnim nadaljnjim govornim nalogam.
Poleg teh orodij organizacija izdaja tudi Omnilingual ASR Corpus, kurirano zbirko prepisanega govora iz 350 premalo razširjenih jezikov, razvito v sodelovanju z globalnimi sodelavci.
Samodejno prepoznavanje govora se je v zadnjih letih izboljšalo in doseglo skoraj popolno natančnost za številne široko govorene jezike. Širitev pokritosti na manj razvite jezike pa ostaja izziv zaradi visokih podatkovnih in računskih zahtev obstoječih arhitektur umetne inteligence. Sistem Omnilingual ASR to omejitev odpravlja s skaliranjem govornega kodirnika wav2vec 2.0 na 7 milijard parametrov, s čimer ustvarja bogate večjezične predstavitve iz surovega, neprepisanega govora. Dve različici dekoderja preslikata te predstavitve v žetone znakov: ena uporablja konekcionistično časovno klasifikacijo (CTC), druga pa pristop, ki temelji na transformatorju, podoben tistim v velikih jezikovnih modelih.
Ta pristop ASR, ki ga navdihuje LLM, dosega najsodobnejšo zmogljivost v več kot 1,600 jezikih, s stopnjo napak znakov pod 10 za 78 % od njih, in uvaja bolj prilagodljivo metodo za dodajanje novih jezikov.
Za razliko od tradicionalnih sistemov, ki zahtevajo strokovno natančno nastavitev, lahko Omnilingual ASR vključi prej nepodprt jezik z uporabo le nekaj parnih primerov zvočnega besedila, kar omogoča prepisovanje brez obsežnih podatkov, specializiranega znanja ali zahtevnega računalništva. Čeprav se rezultati z ničelnim rezultatom še ne ujemajo s popolnoma usposobljenimi sistemi, ta metoda ponuja prilagodljiv način za vključitev premalo podprtih jezikov v digitalni ekosistem.
Meta AI za izboljšanje prepoznavanja govora z vsejezičnim paketom ASR in korpusom
Raziskovalni oddelek je izdal obsežen nabor modelov in nabor podatkov, zasnovan za napredek govorne tehnologije za kateri koli jezik. Na podlagi predhodnih raziskav FAIR-a Omnilingual ASR vključuje dve različici dekoderjev, od lahkih 300M modelov za naprave z nizko porabo energije do 7B modelov, ki ponujajo visoko natančnost v različnih aplikacijah. Splošni model govorne osnove wav2vec 2.0 je na voljo tudi v več velikostih, kar omogoča širok nabor govornih nalog, ki presegajo ASR. Vsi modeli so na voljo pod licenco Apache 2.0, nabor podatkov pa je na voljo pod licenco CC-BY, kar raziskovalcem, razvijalcem in zagovornikom jezikov omogoča prilagajanje in razširjanje govornih rešitev z uporabo odprtokodnega ogrodja fairseq2 FAIR-a v ekosistemu PyTorch.
Vsejezični ASR se usposablja na enem največjih in jezikovno najbolj raznolikih korpusov ASR, kar jih je bilo kdajkoli sestavljenih, pri čemer združuje javno dostopne nabore podatkov s posnetki, ki jih je pridobila skupnost. Za podporo jezikom z omejeno digitalno prisotnostjo, Meta AI V sodelovanju z lokalnimi organizacijami je pridobil in nadomestil materne govorce v oddaljenih ali premalo dokumentiranih regijah, s čimer je ustvaril Omnilingual ASR Corpus, največji spontani nabor podatkov ASR z izjemno nizkimi viri doslej. Dodatna sodelovanja v okviru partnerskega programa za jezikovno tehnologijo so združila jezikoslovce, raziskovalce in jezikovne skupnosti po vsem svetu, vključno s partnerstvi s Common Voice fundacije Mozilla in Lanfrica/NaijaVoices. Ta prizadevanja so zagotovila globok jezikovni vpogled in kulturni kontekst, s čimer je zagotovila, da tehnologija ustreza lokalnim potrebam, hkrati pa opolnomoča raznolike jezikovne skupnosti po vsem svetu.
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Alisa, predana novinarka pri MPost, je specializirano za kriptovalute, dokazila brez znanja, naložbe in obsežno področje Web3. Z ostrim očesom za nastajajoče trende in tehnologije zagotavlja celovito pokritost za informiranje in vključevanje bralcev v nenehno razvijajočo se pokrajino digitalnih financ.
več člankov
Alisa, predana novinarka pri MPost, je specializirano za kriptovalute, dokazila brez znanja, naložbe in obsežno področje Web3. Z ostrim očesom za nastajajoče trende in tehnologije zagotavlja celovito pokritost za informiranje in vključevanje bralcev v nenehno razvijajočo se pokrajino digitalnih financ.
