AI4Bharat süni intellekt modellərində hind dilini təkmilləşdirmək üçün xüsusi bir LLM olan 'Airavata' buraxır
Qısaca
Hindistanın AI4Bharat şirkəti OpenHathi-nin incə tənzimləməsi ilə qurulmuş süni intellekt modellərində hind dili dəstəyini təkmilləşdirmək üçün LLM olan “Airavata”nın buraxıldığını elan etdi.
Hindistan ali təhsil institutu IIT Madrasın AI tədqiqat laboratoriyası AI4Bharat hindi dili üçün təlimatla tənzimlənən Airavata modelini buraxdı. Elana görə, model Sarvam AI-nin OpenHathi-ni incə tənzimləməklə, onu köməkçi tapşırıqlar üçün daha uyğun etmək üçün müxtəlif hindi məlumat dəstləri ilə qurulub.
Hind dili Hindistanda ən çox danışılan dildir və 43%-dən çox ana dili danışır.
"Hazırda Airavata hind dilini dəstəkləyir, lakin biz bunu tezliklə bütün planlaşdırılan 22 hind dilinə genişləndirməyi planlaşdırırıq" dedi AI laboratoriyası. LinkedIn yazısı. performansını qeyd etmək vacibdir böyük dil modelləri (LLMs) yüksək keyfiyyətli təlimat tənzimləmə məlumat dəstlərinə əsaslanır. Bununla belə, hind dili üçün mövcud olan müxtəlif məlumat dəstlərinin azlığı var.
RedPajama kimi ilkin məşq üçün verilənlər bazalarının hazırlanmasında da böyük irəliləyiş əldə edilmişdir; Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat kimi təlimatların tənzimlənməsi; və AlpacaEval, MT-Bench kimi qiymətləndirmə meyarları. Bununla belə, bu irəliləyişlərin əksəriyyəti əsasən ingilis dili üzərində cəmlənmişdir.
“Hind dilləri üçün bəzi məhdud dəstək var ki, bu da bu dil modellərinin əvvəlcədən hazırlanması zamanı məlumat filtrlərindən keçən bəzi hind dili məlumatlarının təsadüfi daxil edilməsi ilə əlaqələndirilə bilər. Bununla belə, məlumatların təqdimatı, tokenizatorların effektivliyi və hind dilləri üçün tapşırıqların yerinə yetirilməsi ingilis dilindən xeyli geridədir”, AI4Bharat Labs açıqlamasında deyilir.
“Hind dillərində performans, hətta qapalı mənbəli modellərdə belə ChatGPT, GPT-4 və digərləri ingilis dili ilə müqayisədə aşağıdır”, - deyə əlavə edib.
AI4Bharat Təlimat Sazlama Məlumat Kütlələrini Buraxır
AI4Bharat komandası da təlimat-tənzimləməni buraxdı məlumat qrupları IndicLLM-lər üçün əlavə tədqiqatları təmin etmək üçün model üçün istifadə olunur.
“Airavata” təlimat əsasında tənzimlənən modelləri inkişaf etdirmək üçün lisenziya müqavilələrinə uyğun olan insan tərəfindən hazırlanmış verilənlər bazasına əsaslanır. Komanda xüsusi olaraq kimi mülkiyyət modellərindən əldə edilən məlumatlardan istifadə etməkdən çəkinir GPT-4 çünki bu, xərcləri artıracaq və lisenziya məhdudiyyətlərinə görə bu modellərin digər tətbiqlərdə pulsuz istifadəsini məhdudlaşdıracaq.
Bunun əvəzinə, komanda hesab edir ki, insan tərəfindən hazırlanmış məlumat dəstləri əksər hind dilləri üçün modellər yaratmaq üçün daha davamlı bir yanaşmadır.
Bununla belə, Airavata, digər LLM-lər kimi tipik problemlərlə qarşılaşır. Bunlara uydurma məlumatlara səbəb olan hallüsinasiya ehtimalı daxildir və mürəkkəb və ya xüsusi mövzularda dəqiqliklə mübarizə apara bilər. Etirazlı və ya qərəzli məzmun istehsal etmək riski də var.
Komanda aydınlaşdırdı ki, model tədqiqat məqsədləri üçündür və hər hansı istehsalatda istifadə üçün tövsiyə edilmir.
Əvvəllər AI4Bharat laboratoriyası tərcümə edilmiş dil üçün transkripsiyanı, tərcüməni və səsi əhatə edən videonun bir dildən digərinə tam transkripsiya prosesini asanlaşdıran işçi qüvvəsinin idarəetmə sistemini özündə birləşdirən açıq mənbəli video transkripsiya platformasını - Chitralekha-nı işə saldı.
O, qeyri-kommersiya fondu olan EkStep və Hindistanın Aadhaar layihəsinin inkişafında mühüm rol oynayan komanda ilə əməkdaşlıqda yaradılmışdır.
Əlavə olaraq, AI4Bharat 2024-25-ci illər üçün AI rezidenti və köməkçi proqramı üçün işə qəbul prosesini başlatdı. Bu il davam edən doktorluq əvvəli proqramda sıx iş vurğulanır təbii dil işlənməsi (NLP), nitq və görmə layihələri.
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Kumar AI/ML-nin dinamik kəsişmələri, marketinq texnologiyaları və kriptovalyuta, blokçeyn və digər inkişaf etməkdə olan sahələr üzrə ixtisaslaşan təcrübəli Texniki Jurnalistdir. NFTs. Sənayedə 3 ildən çox təcrübəsi olan Kumar, cəlbedici povestlər hazırlamaq, dərin müsahibələr aparmaq və hərtərəfli fikirlər çatdırmaqda sübut edilmiş bir təcrübə yaratmışdır. Kumarın təcrübəsi görkəmli sənaye platformaları üçün məqalələr, hesabatlar və tədqiqat nəşrləri daxil olmaqla yüksək təsirli məzmunun hazırlanmasında yatır. Texniki bilik və hekayəni özündə birləşdirən unikal bacarıq dəsti ilə Kumar mürəkkəb texnoloji konsepsiyaları müxtəlif auditoriyalara aydın və cəlbedici şəkildə çatdırmaqda üstündür.
Ətraflı məqalələr
Kumar AI/ML-nin dinamik kəsişmələri, marketinq texnologiyaları və kriptovalyuta, blokçeyn və digər inkişaf etməkdə olan sahələr üzrə ixtisaslaşan təcrübəli Texniki Jurnalistdir. NFTs. Sənayedə 3 ildən çox təcrübəsi olan Kumar, cəlbedici povestlər hazırlamaq, dərin müsahibələr aparmaq və hərtərəfli fikirlər çatdırmaqda sübut edilmiş bir təcrübə yaratmışdır. Kumarın təcrübəsi görkəmli sənaye platformaları üçün məqalələr, hesabatlar və tədqiqat nəşrləri daxil olmaqla yüksək təsirli məzmunun hazırlanmasında yatır. Texniki bilik və hekayəni özündə birləşdirən unikal bacarıq dəsti ilə Kumar mürəkkəb texnoloji konsepsiyaları müxtəlif auditoriyalara aydın və cəlbedici şəkildə çatdırmaqda üstündür.
