Inilabas ng AI4Bharat ang 'Airavata', isang Custom na LLM para Pahusayin ang Hindi Wika sa Mga Modelong AI
Sa madaling sabi
Ang AI4Bharat ng India ay nag-anunsyo ng paglabas ng "Airavata", isang LLM upang pahusayin ang suporta sa wikang Hindi sa mga modelo ng AI, na binuo ng fine-tuning na OpenHathi.
Indian higher education institute IIT Madras' AI research lab AI4Bharat naglabas ng Airavata, isang modelong nakatutok sa pagtuturo para sa Hindi. Ayon sa anunsyo, ang modelo ay binuo sa pamamagitan ng fine-tuning ng Sarvam AI's OpenHathi, na may magkakaibang mga dataset ng Hindi upang gawin itong mas angkop para sa mga pantulong na gawain.
Ang Hindi ay ang pinakapinagsalitang wika sa India na may higit sa 43% na mga katutubong nagsasalita.
"Sa kasalukuyan, sinusuportahan ng Airavata ang Hindi, ngunit plano naming palawakin ito sa lahat ng 22 naka-iskedyul na wika ng Indic sa lalong madaling panahon," sabi ng AI lab sa isang Ang post ng LinkedIn. Mahalagang tandaan na ang pagganap ng malalaking modelo ng wika (LLMs) ay umaasa sa mataas na kalidad na mga dataset sa pag-tune ng pagtuturo. Gayunpaman, mayroong isang kakulangan ng magkakaibang mga dataset na magagamit para sa Hindi.
Malaking pag-unlad din ang ginawa sa pagbuo ng mga dataset para sa pre-training tulad ng RedPajama; pagtuturo tune tulad ng Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; at mga benchmark ng pagsusuri tulad ng AlpacaEval, MT-Bench. Gayunpaman, karamihan sa mga pagsulong na ito ay higit na nakasentro sa wikang Ingles.
“May ilang limitadong suporta para sa mga wikang Indian, na maaaring maiugnay sa hindi sinasadyang pagsasama ng ilang data ng wikang Indian na nakalusot sa mga filter ng data sa panahon ng paunang pagsasanay ng mga modelo ng wikang ito. Gayunpaman, ang representasyon ng data, ang bisa ng mga tokenizer, at pagganap ng gawain para sa mga wikang Indian ay higit na nasa likod ng Ingles," AI4Bharat Labs sinabi sa pahayag nito.
"Ang pagganap sa mga wikang Indian, kahit na sa mga closed-source na modelo tulad ng ChatGPT, GPT-4 at ang iba, ay mababa kumpara sa Ingles,” dagdag nito.
Naglabas ang AI4Bharat ng Mga Dataset ng Pag-tune ng Instruksyon
Inilabas din ng AI4Bharat team ang instruction-tuning mga database ginamit para sa modelo upang paganahin ang karagdagang pananaliksik para sa mga IndicLLM.
Umaasa ang "Airavata" sa mga dataset na na-curate ng tao na madaling gamitin sa mga kasunduan sa paglilisensya upang bumuo ng mga modelong nakatutok sa pagtuturo. Partikular na iniiwasan ng team ang paggamit ng data na nabuo mula sa mga proprietary model tulad ng GPT-4 dahil ito ay magtataas ng mga gastos at maglilimita sa libreng paggamit ng mga modelong ito sa iba pang mga application dahil sa mga paghihigpit sa paglilisensya.
Sa halip, naniniwala ang team na ang mga dataset na na-curate ng tao ay isang mas napapanatiling diskarte para sa pagbuo ng mga modelo para sa karamihan ng mga wika ng Indic.
Gayunpaman, ang Airavata, tulad ng iba pang LLM, ay nakakaharap ng mga tipikal na hamon. Kabilang dito ang posibilidad para sa guni-guni, na humahantong sa gawa-gawang impormasyon at maaaring mahirapan sa katumpakan sa kumplikado o espesyal na mga paksa. Mayroon ding panganib na makagawa ng hindi kanais-nais o pinapanigang nilalaman.
Nilinaw ng koponan na ang modelo ay para sa mga layunin ng pananaliksik at hindi inirerekomenda para sa anumang mga kaso ng paggamit sa produksyon.
Noong nakaraan, ang AI4Bharat lab ay naglunsad ng isang open-source na video transcreation platform - Chitralekha - na kinabibilangan ng workforce management system na nagpapadali sa kumpletong proseso ng transcreation ng isang video mula sa isang wika patungo sa isa pa, na sumasaklaw sa transkripsyon, pagsasalin at voice-over para sa isinalin na wika.
Nilikha ito sa pakikipagtulungan sa EkStep – isang non-for-profit na pundasyon at ang pangkat na naging instrumento sa pagbuo ng proyekto ng Aadhaar ng India.
Bukod pa rito, sinimulan ng AI4Bharat ang proseso ng recruitment para sa AI resident at associate program nito para sa terminong 2024-25. Ang programang pre-doctoral na ito sa loob ng isang taon ay nagbibigay-diin sa masinsinang trabaho sa natural na pagproseso ng wika (NLP), pagsasalita, at mga proyekto sa paningin.
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Kumar ay isang makaranasang Tech Journalist na may espesyalisasyon sa mga dynamic na intersection ng AI/ML, teknolohiya sa marketing, at mga umuusbong na larangan tulad ng crypto, blockchain, at NFTs. Sa mahigit 3 taong karanasan sa industriya, si Kumar ay nagtatag ng isang napatunayang track record sa paggawa ng mga nakakahimok na salaysay, pagsasagawa ng mga insightful na panayam, at paghahatid ng mga komprehensibong insight. Ang kadalubhasaan ni Kumar ay nakasalalay sa paggawa ng nilalamang may mataas na epekto, kabilang ang mga artikulo, ulat, at mga publikasyong pananaliksik para sa mga kilalang platform ng industriya. Sa isang natatanging hanay ng kasanayan na pinagsasama ang teknikal na kaalaman at pagkukuwento, mahusay si Kumar sa pakikipag-usap ng mga kumplikadong teknolohikal na konsepto sa magkakaibang mga madla sa isang malinaw at nakakaengganyo na paraan.
Mas marami pang artikulo
Si Kumar ay isang makaranasang Tech Journalist na may espesyalisasyon sa mga dynamic na intersection ng AI/ML, teknolohiya sa marketing, at mga umuusbong na larangan tulad ng crypto, blockchain, at NFTs. Sa mahigit 3 taong karanasan sa industriya, si Kumar ay nagtatag ng isang napatunayang track record sa paggawa ng mga nakakahimok na salaysay, pagsasagawa ng mga insightful na panayam, at paghahatid ng mga komprehensibong insight. Ang kadalubhasaan ni Kumar ay nakasalalay sa paggawa ng nilalamang may mataas na epekto, kabilang ang mga artikulo, ulat, at mga publikasyong pananaliksik para sa mga kilalang platform ng industriya. Sa isang natatanging hanay ng kasanayan na pinagsasama ang teknikal na kaalaman at pagkukuwento, mahusay si Kumar sa pakikipag-usap ng mga kumplikadong teknolohikal na konsepto sa magkakaibang mga madla sa isang malinaw at nakakaengganyo na paraan.
