AI4Bharat, Yapay Zeka Modellerinde Hintçe Dilini Geliştirmeye Yönelik Özel Yüksek Lisans Programı olan 'Airavata'yı Yayınladı
Kısaca
Hindistan'ın AI4Bharat'ı, OpenHathi'de ince ayar yapılarak oluşturulan, AI modellerinde Hintçe dil desteğini geliştirmeye yönelik bir LLM olan “Airavata”nın piyasaya sürüldüğünü duyurdu.
Hindistan yüksek öğrenim enstitüsü IIT Madras'ın yapay zeka araştırma laboratuvarı AI4Bharat Hintçe için talimatlara göre ayarlanmış bir model olan Airavata'yı piyasaya sürdü. Duyuruya göre model, yardımcı görevlere daha uygun hale getirmek için Sarvam AI'nin OpenHathi'sine çeşitli Hintçe veri kümeleriyle ince ayar yapılarak oluşturuldu.
Hintçe, %43'ün üzerinde anadili ile Hindistan'da en çok konuşulan dildir.
AI laboratuvarı, "Şu anda Airavata Hintçe'yi destekliyor, ancak bunu yakında planlanan 22 Hint dilinin tümüne genişletmeyi planlıyoruz" dedi. LinkedIn yayını. performansının dikkate alınması önemlidir. büyük dil modelleri (LLM'ler) yüksek kaliteli talimat ayarlama veri kümelerine dayanır. Ancak Hintçe için mevcut çeşitli veri kümelerinin kıtlığı vardır.
RedPajama gibi ön eğitime yönelik veri kümelerinin geliştirilmesinde de büyük ilerleme kaydedildi; Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat gibi talimat ayarları; ve AlpacaEval, MT-Bench gibi değerlendirme kriterleri. Ancak bu gelişmelerin çoğu ağırlıklı olarak İngilizce diline odaklanmıştır.
"Hint dilleri için sınırlı bir destek var ve bu, bu dil modellerinin ön eğitimi sırasında veri filtrelerinden geçen bazı Hint dili verilerinin tesadüfen dahil edilmesine atfedilebilir. Ancak Hint dilleri için verilerin temsili, belirteçlerin etkinliği ve görev performansı İngilizcenin oldukça gerisindedir." AI4Bharat Labs ifadesinde söyledi.
"Hint dillerindeki performans, örneğin kapalı kaynak modellerde bile ChatGPT, GPT-4 ve diğerleri İngilizceye göre daha düşüktür” diye ekledi.
AI4Bharat Talimat Ayarlama Veri Kümelerini Yayınladı
AI4Bharat ekibi ayrıca talimat ayarlamasını da yayınladı veri kümeleri IndicLLM'ler için daha fazla araştırma yapılmasını sağlamak amacıyla model için kullanıldı.
"Airavata", talimatlara göre ayarlanmış modeller geliştirmek için lisans anlaşmalarına uygun, insanlar tarafından seçilmiş veri kümelerine dayanır. Ekip özellikle aşağıdaki gibi özel modellerden oluşturulan verileri kullanmaktan kaçınır: GPT-4 çünkü maliyetleri artıracak ve lisans kısıtlamaları nedeniyle bu modellerin diğer uygulamalarda ücretsiz kullanımını sınırlayacaktır.
Bunun yerine ekip, insanların oluşturduğu veri kümelerinin çoğu Hint dili için model oluşturmada daha sürdürülebilir bir yaklaşım olduğuna inanıyor.
Ancak diğer LLM'ler gibi Airavata da tipik zorluklarla karşılaşıyor. Bunlar, uydurma bilgilere yol açan halüsinasyon olasılığını içerir ve karmaşık veya özel konularda doğruluk konusunda zorluk yaşayabilir. Ayrıca sakıncalı veya önyargılı içerik üretme riski de vardır.
Ekip, modelin araştırma amaçlı olduğunu ve herhangi bir üretim kullanım durumu için önerilmediğini açıkladı.
Daha önce AI4Bharat laboratuvarı, bir videonun bir dilden diğerine tam transkripsiyon sürecini kolaylaştıran ve çevrilmiş dil için transkripsiyon, çeviri ve seslendirmeyi kapsayan bir iş gücü yönetim sistemini içeren açık kaynaklı bir video yaratıcı çeviri platformu Chitralekha'yı başlattı.
Kâr amacı gütmeyen bir vakıf olan EkStep ve Hindistan'ın Aadhaar projesinin geliştirilmesinde etkili olan ekip ile işbirliği içinde oluşturuldu.
Ayrıca AI4Bharat, 2024-25 dönemi için AI yerleşik ve ortak programı için işe alım sürecini başlattı. Bir yıl süren bu doktora öncesi program, doğal dil işleme (NLP), konuşma ve vizyon projeleri.
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Kumar, AI/ML, pazarlama teknolojisi ve kripto, blockchain gibi yeni ortaya çıkan alanların dinamik kesişimleri konusunda uzmanlığa sahip deneyimli bir Teknoloji Gazetecisidir. NFTs. Sektörde 3 yılı aşkın deneyimiyle Kumar, ilgi çekici anlatılar oluşturma, içgörülü röportajlar yapma ve kapsamlı içgörüler sunma konusunda kanıtlanmış bir geçmişe sahiptir. Kumar'ın uzmanlığı, önde gelen sektör platformları için makaleler, raporlar ve araştırma yayınları dahil olmak üzere yüksek etkili içerikler üretmektir. Teknik bilgi ve hikaye anlatıcılığını birleştiren benzersiz bir beceri setine sahip olan Kumar, karmaşık teknolojik kavramları çeşitli kitlelere net ve ilgi çekici bir şekilde iletmede mükemmeldir.
Daha fazla haber
Kumar, AI/ML, pazarlama teknolojisi ve kripto, blockchain gibi yeni ortaya çıkan alanların dinamik kesişimleri konusunda uzmanlığa sahip deneyimli bir Teknoloji Gazetecisidir. NFTs. Sektörde 3 yılı aşkın deneyimiyle Kumar, ilgi çekici anlatılar oluşturma, içgörülü röportajlar yapma ve kapsamlı içgörüler sunma konusunda kanıtlanmış bir geçmişe sahiptir. Kumar'ın uzmanlığı, önde gelen sektör platformları için makaleler, raporlar ve araştırma yayınları dahil olmak üzere yüksek etkili içerikler üretmektir. Teknik bilgi ve hikaye anlatıcılığını birleştiren benzersiz bir beceri setine sahip olan Kumar, karmaşık teknolojik kavramları çeşitli kitlelere net ve ilgi çekici bir şekilde iletmede mükemmeldir.
