AI4Bharat AI modellarida hind tilini yaxshilash uchun maxsus LLM bo'lgan "Airavata" ni chiqaradi
Qisqacha
Hindistonning AI4Bharat kompaniyasi OpenHathi-ni nozik sozlash orqali yaratilgan sun'iy intellekt modellarida hind tilini qo'llab-quvvatlashni yaxshilash uchun LLM "Airavata" ning chiqarilishini e'lon qildi.
Hindiston oliy ta'lim instituti IIT Madrasning AI tadqiqot laboratoriyasi AI4Bharat hind tili uchun koʻrsatmalar asosida sozlangan Airavata modelini chiqardi. E'longa ko'ra, model Sarvam AI-ning OpenHathi-ni nozik sozlash yo'li bilan yaratilgan bo'lib, turli xil hindcha ma'lumotlar to'plamlari uni yordamchi vazifalarga moslashtirish uchun yaratilgan.
Hind tili Hindistonda eng ko'p gapiriladigan til bo'lib, 43% dan ortiq ona tilida so'zlashuvchilar.
"Hozirda Airavata hind tilini qo'llab-quvvatlaydi, ammo biz buni tez orada barcha rejalashtirilgan 22 hind tiliga kengaytirishni rejalashtirmoqdamiz", dedi AI laboratoriyasi. LinkedIn posti. ning ishlashini ta'kidlash muhimdir katta til modellari (LLM) yuqori sifatli ko'rsatmalarni sozlash ma'lumotlar to'plamiga tayanadi. Biroq, hind tili uchun turli xil ma'lumotlar to'plamining etishmasligi mavjud.
RedPajama kabi oldingi mashg'ulotlar uchun ma'lumotlar to'plamini ishlab chiqishda ham katta yutuqlarga erishildi; Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat kabi ko'rsatmalarni sozlash; va AlpacaEval, MT-Bench kabi baholash mezonlari. Biroq, bu yutuqlarning aksariyati asosan ingliz tiliga qaratilgan.
“Hind tillari uchun cheklangan qoʻllab-quvvatlash mavjud, buni ushbu til modellarini oldindan oʻrgatish jarayonida maʼlumotlar filtrlaridan oʻtib ketgan baʼzi hind tili maʼlumotlarining tasodifiy kiritilishi bilan bogʻliq boʻlishi mumkin. Biroq, ma'lumotlarning taqdimoti, tokenizatorlarning samaradorligi va hind tillari uchun topshiriqlarning bajarilishi ingliz tilidan ancha orqada, "AI4Bharat Labs. o'z bayonotida aytilgan.
“Hind tillarida ishlash, hatto yopiq manbali modellarda ham ChatGPT, GPT-4 va boshqalar, ingliz tiliga nisbatan pastroqdir ", deya qo'shimcha qildi u.
AI4Bharat ko'rsatmalarni sozlash ma'lumotlar to'plamini chiqaradi
AI4Bharat jamoasi ham ko'rsatma-tyuningni chiqardi ma'lumotlar to'plamlari IndicLLMlar uchun keyingi tadqiqotlarni amalga oshirish uchun model uchun foydalaniladi.
"Airavata" yo'riqnoma asosida sozlangan modellarni ishlab chiqish uchun litsenziya shartnomalariga mos keladigan inson tomonidan yaratilgan ma'lumotlar to'plamiga tayanadi. Jamoa xususiy modellardan olingan ma'lumotlardan foydalanishdan ayniqsa qochishadi GPT-4 chunki bu xarajatlarni oshiradi va litsenziyalash cheklovlari tufayli boshqa ilovalarda ushbu modellardan bepul foydalanishni cheklaydi.
Buning o'rniga, jamoa odamlar tomonidan yaratilgan ma'lumotlar to'plamlari ko'pchilik hind tillari uchun modellar yaratish uchun yanada barqaror yondashuv ekanligiga ishonadi.
Biroq, Airavata, boshqa LLMlar singari, odatiy qiyinchiliklarga duch keladi. Bular gallyutsinatsiya ehtimolini o'z ichiga oladi, bu uydirma ma'lumotlarga olib keladi va murakkab yoki maxsus mavzularda aniqlik bilan kurashishi mumkin. Bundan tashqari, nomaqbul yoki noxolis kontent yaratish xavfi mavjud.
Jamoa aniqlik kiritdiki, model tadqiqot maqsadlari uchun mo‘ljallangan va har qanday ishlab chiqarishda foydalanish uchun tavsiya etilmaydi.
Ilgari, AI4Bharat laboratoriyasi ochiq manbali video transkripsiya platformasini ishga tushirdi - Chitralekha - bu videoni bir tildan ikkinchi tilga to'liq transkripsiya jarayonini osonlashtiradigan, tarjima qilingan til uchun transkripsiya, tarjima va ovozni o'z ichiga olgan ishchi kuchini boshqarish tizimini o'z ichiga oladi.
U EkStep - notijorat fondi va Hindistonning Aadhaar loyihasini ishlab chiqishda muhim rol o'ynagan jamoa bilan hamkorlikda yaratilgan.
Bundan tashqari, AI4Bharat 2024-25 yillarga mo'ljallangan sun'iy intellekt rezidenti va yordamchi dasturini ishga olish jarayonini boshladi. Bu yil davom etadigan doktorlik dasturida intensiv ishlashga urg'u beriladi tabiiy tilga ishlov berish (NLP), nutq va ko'rish loyihalari.
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Kumar AI/ML, marketing texnologiyalari va kripto, blokcheyn kabi rivojlanayotgan sohalarning dinamik kesishmalariga ixtisoslashgan tajribali texnologiya jurnalisti. NFTs. Sanoatda 3 yildan ortiq tajribaga ega bo'lgan Kumar jozibali hikoyalar yaratish, chuqur intervyular o'tkazish va keng qamrovli tushunchalarni taqdim etish bo'yicha tasdiqlangan tajribaga ega. Kumarning tajribasi yuqori ta'sirli kontent, jumladan, taniqli sanoat platformalari uchun maqolalar, hisobotlar va tadqiqot nashrlarini ishlab chiqarishda yotadi. Texnik bilim va hikoya qilishni o'zida mujassam etgan noyob mahorat to'plamiga ega Kumar murakkab texnologik kontseptsiyalarni turli auditoriyalarga aniq va qiziqarli tarzda etkazishda ustunlik qiladi.
Boshqa maqolalar
Kumar AI/ML, marketing texnologiyalari va kripto, blokcheyn kabi rivojlanayotgan sohalarning dinamik kesishmalariga ixtisoslashgan tajribali texnologiya jurnalisti. NFTs. Sanoatda 3 yildan ortiq tajribaga ega bo'lgan Kumar jozibali hikoyalar yaratish, chuqur intervyular o'tkazish va keng qamrovli tushunchalarni taqdim etish bo'yicha tasdiqlangan tajribaga ega. Kumarning tajribasi yuqori ta'sirli kontent, jumladan, taniqli sanoat platformalari uchun maqolalar, hisobotlar va tadqiqot nashrlarini ishlab chiqarishda yotadi. Texnik bilim va hikoya qilishni o'zida mujassam etgan noyob mahorat to'plamiga ega Kumar murakkab texnologik kontseptsiyalarni turli auditoriyalarga aniq va qiziqarli tarzda etkazishda ustunlik qiladi.
