AI4Bharat izlaiž “Airavata”, pielāgotu LLM, lai uzlabotu hindi valodu AI modeļos
Īsumā
Indijas uzņēmums AI4Bharat paziņoja par “Airavata” — LLM izlaišanu, lai uzlabotu hindi valodas atbalstu mākslīgā intelekta modeļos, kas izveidots, precizējot OpenHathi.
Indijas augstākās izglītības institūta IIT Madras AI pētniecības laboratorija AI4Bharat izlaida Airavata, instrukcijām pielāgotu modeli hindi valodai. Saskaņā ar paziņojumu, modelis ir izveidots, precīzi pielāgojot Sarvam AI OpenHathi, ar dažādām hindi datu kopām, lai tas būtu labāk piemērots palīguzdevumiem.
Hindi valoda ir Indijas valoda, kurā runā vairāk nekā 43% dzimtā valoda.
"Pašlaik Airavata atbalsta hindi valodu, taču mēs plānojam to drīzumā paplašināt, iekļaujot visas 22 plānotās indiešu valodas," teikts AI laboratorijas ziņojumā. LinkedIn ziņa. Ir svarīgi atzīmēt, ka veiktspēja lieli valodu modeļi (LLM) paļaujas uz augstas kvalitātes instrukciju regulēšanas datu kopām. Tomēr hindi valodā ir pieejams maz dažādu datu kopu.
Liels progress ir panākts arī tādu datu kopu izstrādē, kas paredzētas iepriekšējai apmācībai, piemēram, RedPajama; instrukciju regulēšana, piemēram, Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; un novērtēšanas kritēriji, piemēram, AlpacaEval, MT-Bench. Tomēr lielākā daļa šo sasniegumu galvenokārt ir vērsti uz angļu valodu.
"Indiešu valodām ir ierobežots atbalsts, ko var saistīt ar dažu indiešu valodas datu nejaušu iekļaušanu, kas šo valodu modeļu iepriekšējas apmācības laikā izslīdēja caur datu filtriem. Tomēr datu attēlojums, marķieru efektivitāte un uzdevumu veiktspēja indiešu valodās ievērojami atpaliek no angļu valodas, " AI4Bharat Labs teikts savā paziņojumā.
“Izpilde indiešu valodās, pat slēgtā koda modeļos, piemēram, ChatGPT, GPT-4 un citi, ir zemāka nekā angļu valoda,” piebilsts.
AI4Bharat izlaiž instrukciju regulēšanas datu kopas
AI4Bharat komanda arī izlaida instrukciju regulēšanu datu kopas izmantots modelim, lai nodrošinātu turpmāku IndicLLM izpēti.
Lai izstrādātu instrukcijām pielāgotus modeļus, “Airavata” paļaujas uz cilvēku veidotām datu kopām, kas ir draudzīgas licencēšanas līgumiem. Komanda īpaši izvairās izmantot datus, kas iegūti no tādiem patentētiem modeļiem kā GPT-4 jo tas palielinātu izmaksas un ierobežotu šo modeļu bezmaksas izmantošanu citās lietojumprogrammās licencēšanas ierobežojumu dēļ.
Tā vietā komanda uzskata, ka cilvēku izveidotās datu kopas ir ilgtspējīgāka pieeja modeļu veidošanai lielākajai daļai indiešu valodu.
Tomēr Airavata, tāpat kā citi LLM, saskaras ar tipiskām problēmām. Tie ietver halucināciju iespējamību, kas noved pie safabricētas informācijas un var cīnīties ar precizitāti sarežģītās vai specializētās tēmās. Pastāv arī risks, ka tiks radīts nevēlams vai neobjektīvs saturs.
Komanda paskaidroja, ka modelis ir paredzēts izpētes nolūkiem un nav ieteicams lietošanai ražošanā.
Iepriekš laboratorija AI4Bharat ieviesa atvērtā pirmkoda video pārveidošanas platformu — Chitralekha — tajā ir iekļauta darbaspēka pārvaldības sistēma, kas atvieglo pilnīgu video pārveidošanas procesu no vienas valodas uz citu, aptverot transkripciju, tulkošanu un balss pārraidi tulkotajā valodā.
Tas tika izveidots sadarbībā ar EkStep — bezpeļņas fondu un komandu, kas palīdzēja Indijas Aadhaar projekta izstrādē.
Turklāt AI4Bharat ir uzsācis darbā pieņemšanas procesu savai AI rezidentu un asociēto programmu 2024.–25. gada termiņam. Šī gadu ilgā pirmsdoktorantūras programma akcentē intensīvu darbu dabiskās valodas apstrāde (NLP), runas un vīzijas projekti.
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Kumars ir pieredzējis tehnoloģiju žurnālists ar specializāciju AI/ML dinamiskos krustpunktos, mārketinga tehnoloģijās un tādās jaunās jomās kā kriptovalūta, blokķēde un NFTs. Ar vairāk nekā 3 gadu pieredzi šajā nozarē Kumar ir izveidojis pierādītus sasniegumus pārliecinošu stāstījumu veidošanā, ieskatu interviju vadīšanā un visaptverošu ieskatu sniegšanā. Kumar kompetence slēpjas augstas ietekmes satura, tostarp rakstu, ziņojumu un pētījumu publikāciju veidošanā ievērojamām nozares platformām. Ar unikālu prasmju kopumu, kas apvieno tehniskās zināšanas un stāstu stāstīšanu, Kumars izceļas ar sarežģītu tehnoloģisku koncepciju nodošanu dažādām auditorijām skaidrā un saistošā veidā.
Vairāk rakstus
Kumars ir pieredzējis tehnoloģiju žurnālists ar specializāciju AI/ML dinamiskos krustpunktos, mārketinga tehnoloģijās un tādās jaunās jomās kā kriptovalūta, blokķēde un NFTs. Ar vairāk nekā 3 gadu pieredzi šajā nozarē Kumar ir izveidojis pierādītus sasniegumus pārliecinošu stāstījumu veidošanā, ieskatu interviju vadīšanā un visaptverošu ieskatu sniegšanā. Kumar kompetence slēpjas augstas ietekmes satura, tostarp rakstu, ziņojumu un pētījumu publikāciju veidošanā ievērojamām nozares platformām. Ar unikālu prasmju kopumu, kas apvieno tehniskās zināšanas un stāstu stāstīšanu, Kumars izceļas ar sarežģītu tehnoloģisku koncepciju nodošanu dažādām auditorijām skaidrā un saistošā veidā.
