AI4Bharat frigiver 'Airavata', en brugerdefineret LLM til at forbedre hindi-sproget i AI-modeller
Kort sagt
Indiens AI4Bharat annoncerede udgivelsen af "Airavata", en LLM til forbedring af hindisprogunderstøttelse i AI-modeller, bygget ved at finjustere OpenHathi.
Det indiske videregående uddannelsesinstitut IIT Madras' AI-forskningslaboratorium AI4Bharat udgivet Airavata, en instruktions-tunet model til hindi. Ifølge meddelelsen er modellen blevet bygget ved at finjustere Sarvam AI's OpenHathi med forskellige hindi-datasæt for at gøre den bedre egnet til hjælpeopgaver.
Hindi er det mest talte sprog i Indien med over 43 % som modersmål.
"I øjeblikket understøtter Airavata hindi, men vi planlægger at udvide dette til alle 22 planlagte indiske sprog snart," sagde AI-laboratoriet i en LinkedIn-indlæg. Det er vigtigt at bemærke, at udførelsen af store sprogmodeller (LLM'er) er afhængig af datasæt til instruktionsjustering af høj kvalitet. Der er dog en mangel på forskellige datasæt tilgængelige for hindi.
Der er også gjort store fremskridt med at udvikle datasæt til fortræning som RedPajama; instruktion tuning som Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; og evalueringsbenchmarks som AlpacaEval, MT-Bench. De fleste af disse fremskridt har dog overvejende været centreret om det engelske sprog.
"Der er en vis begrænset støtte til indiske sprog, hvilket kan tilskrives den tilfældige medtagelse af nogle indiske sprogdata, der slap gennem datafiltrene under fortræningen af disse sprogmodeller. Men repræsentationen af data, effektiviteten af tokenizere og opgaveudførelse for indiske sprog er betydeligt bagud i forhold til engelsk," AI4Bharat Labs sagde i sin udtalelse.
“Ydeevnen på indiske sprog, selv på lukkede kildemodeller som f.eks ChatGPT, GPT-4 og andre, er ringere sammenlignet med engelsk,” tilføjede den.
AI4Bharat frigiver instruktionsindstillingsdatasæt
AI4Bharat-teamet frigav også instruktionsjusteringen datasæt brugt til modellen for at muliggøre yderligere forskning for IndicLLM'er.
"Airavata" er afhængig af menneske-kuraterede datasæt, der er venlige over for licensaftaler til at udvikle instruktionstunede modeller. Teamet undgår specifikt at bruge data genereret fra proprietære modeller som f.eks GPT-4 fordi det ville øge omkostningerne og begrænse den gratis brug af disse modeller i andre applikationer på grund af licensbegrænsninger.
I stedet mener teamet, at menneskeligt kurerede datasæt er en mere bæredygtig tilgang til at bygge modeller for de fleste indiske sprog.
Airavata støder dog ligesom andre LLM'er på typiske udfordringer. Disse inkluderer en mulighed for hallucinationer, hvilket fører til opdigtede oplysninger og kan kæmpe med nøjagtighed i komplekse eller specialiserede emner. Der er også en risiko for at producere stødende eller partisk indhold.
Holdet præciserede, at modellen er til forskningsformål og ikke anbefales til nogen produktionstilfælde.
Tidligere lancerede AI4Bharat-laboratoriet en open source-videotranscreationsplatform – Chitralekha – som inkluderer et workforce management-system, der letter den komplette transcreation af en video fra et sprog til et andet, og dækker transskription, oversættelse og voice-over for det oversatte sprog.
Det blev skabt i samarbejde med EkStep – en non-profit fond og det team, der var medvirkende til at udvikle Indiens Aadhaar-projekt.
Derudover har AI4Bharat påbegyndt rekrutteringsprocessen for sit AI-resident- og associerede program for perioden 2024-25. Dette år lange præ-doktorale program lægger vægt på intensivt arbejde i naturlig sprogbehandling (NLP), tale- og visionsprojekter.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
Flere artikler
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
