AI4Bharat släpper "Airavata", en anpassad LLM för att förbättra hindispråket i AI-modeller
I korthet
Indiens AI4Bharat tillkännagav lanseringen av "Airavata", en LLM för att förbättra stödet för hindispråk i AI-modeller, byggt genom att finjustera OpenHathi.
Indiska högre utbildningsinstitutet IIT Madras AI-forskningslabb AI4Bharat släppte Airavata, en instruktionsinställd modell för hindi. Enligt tillkännagivandet har modellen byggts genom att finjustera Sarvam AI:s OpenHathi, med olika hindidatauppsättningar för att göra den bättre lämpad för assisterande uppgifter.
Hindi är det mest talade språket i Indien med över 43 % som har som modersmål.
"För närvarande stöder Airavata hindi, men vi planerar att utöka detta till alla 22 schemalagda indiska språk snart," sa AI-labbet i en LinkedIn-inlägg. Det är viktigt att notera att prestanda för stora språkmodeller (LLM) förlitar sig på datauppsättningar för instruktionsinställning av hög kvalitet. Det finns dock en brist på olika datauppsättningar tillgängliga för hindi.
Stora framsteg har också gjorts med att utveckla datauppsättningar för förträning som RedPajama; instruktionsinställning som Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; och utvärderingsriktmärken som AlpacaEval, MT-Bench. De flesta av dessa framsteg har dock huvudsakligen varit centrerade på det engelska språket.
"Det finns ett visst begränsat stöd för indiska språk, vilket kan hänföras till den tillfälliga inkluderingen av vissa indiska språkdata som gled genom datafiltren under förutbildningen av dessa språkmodeller. Men representationen av data, effektiviteten hos tokenizers och uppgiftsutförande för indiska språk ligger betydligt efter engelska, säger AI4Bharat Labs sa i sitt uttalande.
"Prestandan på indiska språk, även på modeller med sluten källkod som t.ex ChatGPT, GPT-4 och andra, är underlägsen jämfört med engelska”, tillade den.
AI4Bharat släpper instruktionsinställningsdataset
AI4Bharat-teamet släppte också instruktionsjusteringen datauppsättningar används för modellen för att möjliggöra ytterligare forskning för IndicLLMs.
"Airavata" förlitar sig på mänskligt kurerade datauppsättningar som är vänliga mot licensavtal för att utveckla instruktionsjusterade modeller. Teamet undviker specifikt att använda data som genereras från proprietära modeller som GPT-4 eftersom det skulle öka kostnaderna och begränsa den fria användningen av dessa modeller i andra applikationer på grund av licensbegränsningar.
Istället tror teamet att mänskligt kurerade datamängder är ett mer hållbart tillvägagångssätt för att bygga modeller för de flesta indiska språk.
Airavata möter dock, liksom andra LLM:er, typiska utmaningar. Dessa inkluderar en möjlighet för hallucinationer, vilket leder till påhittad information och kan kämpa med noggrannhet i komplexa eller specialiserade ämnen. Det finns också en risk för att skapa stötande eller partiskt innehåll.
Teamet klargjorde att modellen är avsedd för forskningsändamål och inte rekommenderas för några produktionsanvändningsfall.
Tidigare har AI4Bharat-labbet lanserat en öppen källkod för videotranscreation-plattform – Chitralekha – som inkluderar ett arbetskraftsledningssystem som underlättar hela transcreationsprocessen av en video från ett språk till ett annat, som täcker transkription, översättning och voice-over för det översatta språket.
Det skapades i samarbete med EkStep – en ideell stiftelse och det team som var avgörande för att utveckla Indiens Aadhaar-projekt.
Dessutom har AI4Bharat initierat rekryteringsprocessen för sitt AI-invånare och associerade program för perioden 2024-25. Detta årslånga fördoktorandprogram betonar intensivt arbete inom naturlig språkbehandling (NLP), tal och visionsprojekt.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Kumar är en erfaren teknisk journalist med specialisering på de dynamiska skärningspunkterna mellan AI/ML, marknadsföringsteknologi och framväxande områden som krypto, blockchain och NFTs. Med över 3 års erfarenhet i branschen har Kumar etablerat en bevisad meritlista i att skapa övertygande berättelser, genomföra insiktsfulla intervjuer och leverera omfattande insikter. Kumars expertis ligger i att producera innehåll med hög effekt, inklusive artiklar, rapporter och forskningspublikationer för framstående industriplattformar. Med en unik kompetens som kombinerar teknisk kunskap och berättande, utmärker Kumar sig på att kommunicera komplexa tekniska koncept till olika publik på ett tydligt och engagerande sätt.
fler artiklar
Kumar är en erfaren teknisk journalist med specialisering på de dynamiska skärningspunkterna mellan AI/ML, marknadsföringsteknologi och framväxande områden som krypto, blockchain och NFTs. Med över 3 års erfarenhet i branschen har Kumar etablerat en bevisad meritlista i att skapa övertygande berättelser, genomföra insiktsfulla intervjuer och leverera omfattande insikter. Kumars expertis ligger i att producera innehåll med hög effekt, inklusive artiklar, rapporter och forskningspublikationer för framstående industriplattformar. Med en unik kompetens som kombinerar teknisk kunskap och berättande, utmärker Kumar sig på att kommunicera komplexa tekniska koncept till olika publik på ett tydligt och engagerande sätt.
