AI4Bharat brengt 'Airavata' uit, een aangepaste LLM om de Hindi-taal in AI-modellen te verbeteren
In het kort
Het Indiase AI4Bharat heeft de release aangekondigd van “Airavata”, een LLM om de Hindi-taalondersteuning in AI-modellen te verbeteren, gebouwd door OpenHathi te verfijnen.
Het AI-onderzoekslaboratorium van het Indiase hoger onderwijsinstituut IIT Madras AI4Bharat heeft Airavata uitgebracht, een op instructies afgestemd model voor Hindi. Volgens de aankondiging is het model gebouwd door Sarvam AI's OpenHathi te verfijnen, met diverse Hindi-datasets om het beter geschikt te maken voor ondersteunende taken.
Hindi is de meest gesproken taal in India met meer dan 43% moedertaalsprekers.
“Momenteel ondersteunt Airavata Hindi, maar we zijn van plan dit binnenkort uit te breiden naar alle 22 geplande Indische talen”, aldus het AI-lab in een LinkedIn bericht. Het is belangrijk op te merken dat de prestaties van grote taalmodellen (LLM's) is afhankelijk van hoogwaardige datasets voor het afstemmen van instructies. Er is echter een schaarste aan diverse datasets beschikbaar voor Hindi.
Er is ook grote vooruitgang geboekt bij het ontwikkelen van datasets voor pre-training zoals RedPajama; instructie-tuning zoals Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; en evaluatiebenchmarks zoals AlpacaEval, MT-Bench. De meeste van deze ontwikkelingen waren echter voornamelijk gericht op de Engelse taal.
“Er is enige beperkte ondersteuning voor Indiase talen, wat kan worden toegeschreven aan de incidentele opname van enkele Indiase taalgegevens die door de datafilters zijn geglipt tijdens de voortraining van deze taalmodellen. De weergave van gegevens, de effectiviteit van tokenizers en de taakprestaties voor Indiase talen liggen echter aanzienlijk achter bij die van het Engels”, aldus AI4Bharat Labs. zei in zijn verklaring.
“De prestaties in Indiase talen, zelfs op closed-sourcemodellen zoals ChatGPT, GPT-4 en anderen, is inferieur vergeleken met het Engels”, voegde het eraan toe.
AI4Bharat geeft datasets voor het afstemmen van instructies vrij
Het AI4Bharat-team heeft ook de instructieafstemming vrijgegeven datasets gebruikt voor het model om verder onderzoek voor IndicLLM's mogelijk te maken.
“Airavata” vertrouwt op door mensen beheerde datasets die vriendelijk zijn voor licentieovereenkomsten om op instructies afgestemde modellen te ontwikkelen. Het team vermijdt specifiek het gebruik van gegevens die zijn gegenereerd op basis van bedrijfseigen modellen zoals GPT-4 omdat dit de kosten zou verhogen en het gratis gebruik van deze modellen in andere toepassingen zou beperken vanwege licentiebeperkingen.
In plaats daarvan is het team van mening dat door mensen samengestelde datasets een duurzamere aanpak zijn voor het bouwen van modellen voor de meeste Indische talen.
Airavata wordt echter, net als andere LLM's, geconfronteerd met typische uitdagingen. Deze omvatten de mogelijkheid van hallucinaties, wat leidt tot verzonnen informatie en die moeite kunnen hebben met de nauwkeurigheid van complexe of gespecialiseerde onderwerpen. Er bestaat ook een risico dat er aanstootgevende of bevooroordeelde inhoud wordt geproduceerd.
Het team verduidelijkte dat het model bedoeld is voor onderzoeksdoeleinden en niet wordt aanbevolen voor productiegebruik.
Eerder lanceerde het AI4Bharat-lab een open-source videotranscreatieplatform – Chitralekha – dat een personeelsbeheersysteem omvat dat het volledige transcreatieproces van een video van de ene taal naar de andere mogelijk maakt, inclusief transcriptie, vertaling en voice-over voor de vertaalde taal.
Het is tot stand gekomen in samenwerking met EkStep – een stichting zonder winstoogmerk en het team dat een belangrijke rol speelde bij de ontwikkeling van het Indiase Aadhaar-project.
Daarnaast heeft AI4Bharat het wervingsproces gestart voor zijn AI-resident en associate-programma voor de periode 2024-25. Dit jaar durende pre-doctorale programma legt de nadruk op intensief werken in natuurlijke taalverwerking (NLP), spraak- en visieprojecten.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
Meer artikelen
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
