AI4Bharat Merilis 'Airavata', LLM Khusus untuk Meningkatkan Bahasa Hindi dalam Model AI
Singkatnya
AI4Bharat India mengumumkan peluncuran “Airavata”, sebuah LLM untuk meningkatkan dukungan bahasa Hindi dalam model AI, yang dibuat dengan menyempurnakan OpenHathi.
Laboratorium penelitian AI di institut pendidikan tinggi India, IIT Madras AI4Bharat merilis Airavata, model yang disesuaikan dengan instruksi untuk bahasa Hindi. Menurut pengumuman tersebut, model ini dibuat dengan menyempurnakan OpenHathi Sarvam AI, dengan beragam kumpulan data Hindi agar lebih cocok untuk tugas-tugas bantu.
Bahasa Hindi adalah bahasa yang paling banyak digunakan di India dengan lebih dari 43% penutur asli.
“Saat ini, Airavata mendukung bahasa Hindi, tetapi kami berencana untuk segera memperluasnya ke 22 bahasa India yang dijadwalkan,” kata laboratorium AI dalam sebuah pernyataan. Posting LinkedIn. Penting untuk dicatat bahwa kinerja model bahasa besar (LLM) mengandalkan kumpulan data penyetelan instruksi berkualitas tinggi. Namun, terdapat kelangkaan kumpulan data yang tersedia untuk bahasa Hindi.
Kemajuan besar juga telah dicapai dalam pengembangan kumpulan data untuk pra-pelatihan seperti RedPajama; penyetelan instruksi seperti Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; dan tolok ukur evaluasi seperti AlpacaEval, MT-Bench. Namun, sebagian besar kemajuan ini sebagian besar berpusat pada bahasa Inggris.
“Ada beberapa dukungan yang terbatas untuk bahasa-bahasa India, yang dapat dikaitkan dengan penyertaan beberapa data bahasa India secara tidak sengaja yang lolos dari filter data selama pra-pelatihan model bahasa ini. Namun, representasi data, kemanjuran tokenizer, dan kinerja tugas untuk bahasa India jauh tertinggal dibandingkan bahasa Inggris,” AI4Bharat Labs kata dalam pernyataannya.
“Performanya dalam bahasa India, bahkan pada model sumber tertutup seperti ChatGPT, GPT-4 dan lainnya, lebih rendah dibandingkan dengan bahasa Inggris,” tambahnya.
AI4Bharat Merilis Kumpulan Data Penyetelan Instruksi
Tim AI4Bharat juga merilis instruksi tuning kumpulan data digunakan untuk model guna memungkinkan penelitian lebih lanjut untuk IndicLLMs.
“Airavata” mengandalkan kumpulan data yang dikurasi manusia dan ramah terhadap perjanjian lisensi untuk mengembangkan model yang disesuaikan dengan instruksi. Tim secara khusus menghindari penggunaan data yang dihasilkan dari model kepemilikan seperti GPT-4 karena akan meningkatkan biaya dan membatasi penggunaan gratis model ini di aplikasi lain karena pembatasan lisensi.
Sebaliknya, tim percaya bahwa kumpulan data yang dikurasi oleh manusia adalah pendekatan yang lebih berkelanjutan dalam membangun model untuk sebagian besar bahasa India.
Namun, Airavata, seperti LLM lainnya, menghadapi tantangan yang khas. Hal ini termasuk kemungkinan halusinasi, yang mengarah pada informasi palsu dan mungkin sulit akurat dalam topik yang kompleks atau khusus. Ada juga risiko menghasilkan konten yang tidak menyenangkan atau bias.
Tim mengklarifikasi bahwa model ini untuk tujuan penelitian dan tidak direkomendasikan untuk kasus penggunaan produksi apa pun.
Sebelumnya, laboratorium AI4Bharat meluncurkan platform transkreasi video sumber terbuka – Chitralekha – yang mencakup sistem manajemen tenaga kerja yang memfasilitasi proses transkreasi video secara lengkap dari satu bahasa ke bahasa lain, yang mencakup transkripsi, terjemahan, dan sulih suara untuk bahasa terjemahan.
Ini dibuat bekerja sama dengan EkStep – sebuah yayasan nirlaba dan tim yang berperan penting dalam mengembangkan proyek Aadhaar di India.
Selain itu, AI4Bharat telah memulai proses rekrutmen untuk program residen dan rekanan AI untuk masa jabatan 2024-25. Program pra-doktoral selama setahun ini menekankan kerja intensif pemrosesan bahasa alami (NLP), pidato, dan proyek visi.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Kumar adalah Jurnalis Teknologi berpengalaman dengan spesialisasi dalam persimpangan dinamis AI/ML, teknologi pemasaran, dan bidang baru seperti kripto, blockchain, dan NFTS. Dengan pengalaman lebih dari 3 tahun di industri ini, Kumar telah memiliki rekam jejak yang terbukti dalam menyusun narasi yang menarik, melakukan wawancara yang mendalam, dan memberikan wawasan yang komprehensif. Keahlian Kumar terletak pada produksi konten berdampak tinggi, termasuk artikel, laporan, dan publikasi penelitian untuk platform industri terkemuka. Dengan keahlian unik yang menggabungkan pengetahuan teknis dan penyampaian cerita, Kumar unggul dalam mengkomunikasikan konsep teknologi yang kompleks kepada beragam audiens dengan cara yang jelas dan menarik.
lebih artikel
Kumar adalah Jurnalis Teknologi berpengalaman dengan spesialisasi dalam persimpangan dinamis AI/ML, teknologi pemasaran, dan bidang baru seperti kripto, blockchain, dan NFTS. Dengan pengalaman lebih dari 3 tahun di industri ini, Kumar telah memiliki rekam jejak yang terbukti dalam menyusun narasi yang menarik, melakukan wawancara yang mendalam, dan memberikan wawasan yang komprehensif. Keahlian Kumar terletak pada produksi konten berdampak tinggi, termasuk artikel, laporan, dan publikasi penelitian untuk platform industri terkemuka. Dengan keahlian unik yang menggabungkan pengetahuan teknis dan penyampaian cerita, Kumar unggul dalam mengkomunikasikan konsep teknologi yang kompleks kepada beragam audiens dengan cara yang jelas dan menarik.
