AI4Bharat išleidžia „Airavata“, tinkintą LLM, skirtą patobulinti hindi kalbą dirbtinio intelekto modeliuose
Trumpai
Indijos AI4Bharat paskelbė, kad išleido „Airavata“ – LLM, skirtą patobulinti hindi kalbos palaikymą dirbtinio intelekto modeliuose, sukurtą patobulinus OpenHathi.
Indijos aukštojo mokslo instituto IIT Madras AI tyrimų laboratorija AI4Bharat išleido Airavata, pagal instrukcijas pritaikytą modelį hindi kalbai. Remiantis pranešimu, modelis buvo sukurtas tiksliai sureguliavus Sarvam AI OpenHathi su įvairiais hindi kalbos duomenų rinkiniais, kad būtų geriau pritaikytas pagalbinėms užduotims.
Hindi yra labiausiai šnekama kalba Indijoje, kurioje daugiau nei 43 % kalba gimtoji.
„Šiuo metu Airavata palaiko hindi kalbą, bet netrukus planuojame ją išplėsti į visas 22 suplanuotas indų kalbas“, – sakė AI laboratorija. „LinkedIn“ įrašas. Svarbu pažymėti, kad atlikimas didelių kalbų modeliai (LLM) remiasi aukštos kokybės instrukcijų derinimo duomenų rinkiniais. Tačiau yra nedaug įvairių duomenų rinkinių hindi kalbai.
Taip pat padaryta didelė pažanga kuriant duomenų rinkinius, skirtus išankstiniam mokymui, pavyzdžiui, RedPajama; instrukcijų derinimas, pvz., Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; ir vertinimo etalonus, tokius kaip AlpacaEval, MT-Bench. Tačiau dauguma šių pasiekimų daugiausia buvo orientuoti į anglų kalbą.
„Indų kalbų palaikymas yra ribotas, o tai gali būti siejama su atsitiktiniu kai kurių indų kalbos duomenų įtraukimu, kurie praslydo per duomenų filtrus rengiant šių kalbų modelius. Tačiau duomenų pateikimas, žetonų efektyvumas ir užduočių atlikimas indų kalbomis gerokai atsilieka nuo anglų kalbos“, – „AI4Bharat Labs“ sakoma savo pareiškime.
„Atlikimas indų kalbomis, net naudojant uždarojo kodo modelius, tokius kaip ChatGPT, GPT-4 ir kiti, yra prastesnė nei anglų kalba“, – priduriama jame.
AI4Bharat išleidžia instrukcijų derinimo duomenų rinkinius
AI4Bharat komanda taip pat išleido instrukcijų derinimą duomenų rinkiniai naudojamas modeliui, kad būtų galima atlikti tolesnius IndicLLM tyrimus.
„Airavata“ remiasi žmonių kuruojamais duomenų rinkiniais, kurie atitinka licencijavimo sutartis, kad būtų sukurti pagal instrukcijas suderinti modeliai. Komanda specialiai vengia naudoti duomenis, sugeneruotus iš patentuotų modelių, pvz GPT-4 nes tai padidintų išlaidas ir apribotų nemokamą šių modelių naudojimą kitose programose dėl licencijavimo apribojimų.
Vietoj to, komanda mano, kad žmogaus sukurti duomenų rinkiniai yra tvaresnis būdas kurti modelius daugeliui indų kalbų.
Tačiau Airavata, kaip ir kiti LLM, susiduria su tipiniais iššūkiais. Tai apima haliucinacijų galimybę, dėl kurių gaunama išgalvota informacija, o sudėtingose ar specializuotose temose gali būti sunku tiksliai nustatyti. Taip pat kyla pavojus, kad bus sukurtas nepriimtinas ar šališkas turinys.
Grupė paaiškino, kad modelis skirtas moksliniams tyrimams ir nerekomenduojamas jokiais gamybos atvejais.
Anksčiau laboratorija AI4Bharat pristatė atvirojo kodo vaizdo įrašų perkėlimo platformą – Chitralekha – į kurią įtraukta darbo jėgos valdymo sistema, palengvinanti visišką vaizdo įrašo perkėlimo iš vienos kalbos į kitą procesą, apimantį išverstos kalbos transkripciją, vertimą ir balso perdavimą.
Jis buvo sukurtas bendradarbiaujant su EkStep – pelno nesiekiančiu fondu ir komanda, kuri prisidėjo prie Indijos projekto „Aadhaar“ kūrimo.
Be to, AI4Bharat pradėjo įdarbinimo procesą savo AI rezidentų ir asocijuotųjų programoje 2024–25 m. kadencijai. Šioje metų trukmės ikidoktorantūros programoje akcentuojamas intensyvus darbas natūralus kalbos apdorojimas (NLP), kalbos ir vizijos projektai.
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Kumaras yra patyręs technologijų žurnalistas, kurio specializacija yra dinamiškos AI/ML sankirtos, rinkodaros technologijos ir naujos sritys, tokios kaip kriptovaliutos, blokų grandinės ir NFTs. Turėdamas daugiau nei 3 metų patirtį šioje pramonėje, Kumaras sukūrė įtikinamus pasakojimus, veda įžvalgius interviu ir pateikia išsamias įžvalgas. „Kumar“ patirtis yra susijusi su didelio poveikio turinio kūrimu, įskaitant straipsnius, ataskaitas ir mokslinių tyrimų publikacijas žinomoms pramonės platformoms. Turėdamas unikalų įgūdžių rinkinį, kuriame derinamos techninės žinios ir pasakojimas, Kumaras puikiai perteikia sudėtingas technologines koncepcijas įvairioms auditorijoms aiškiai ir patraukliai.
Daugiau straipsnių
Kumaras yra patyręs technologijų žurnalistas, kurio specializacija yra dinamiškos AI/ML sankirtos, rinkodaros technologijos ir naujos sritys, tokios kaip kriptovaliutos, blokų grandinės ir NFTs. Turėdamas daugiau nei 3 metų patirtį šioje pramonėje, Kumaras sukūrė įtikinamus pasakojimus, veda įžvalgius interviu ir pateikia išsamias įžvalgas. „Kumar“ patirtis yra susijusi su didelio poveikio turinio kūrimu, įskaitant straipsnius, ataskaitas ir mokslinių tyrimų publikacijas žinomoms pramonės platformoms. Turėdamas unikalų įgūdžių rinkinį, kuriame derinamos techninės žinios ir pasakojimas, Kumaras puikiai perteikia sudėtingas technologines koncepcijas įvairioms auditorijoms aiškiai ir patraukliai.
