AI4Bharat llança 'Airavata', un LLM personalitzat per millorar l'idioma hindi en models d'IA
En breu
AI4Bharat de l'Índia va anunciar el llançament d'"Airavata", un LLM per millorar el suport de l'idioma hindi als models d'IA, creat per ajustar OpenHathi.
Laboratori de recerca d'IA de l'institut d'educació superior indi IIT Madras AI4Bharat va llançar Airavata, un model ajustat a instruccions per a hindi. Segons l'anunci, el model s'ha creat ajustant OpenHathi de Sarvam AI, amb diversos conjunts de dades hindi per fer-lo més adequat per a tasques d'assistència.
L'hindi és la llengua més parlada a l'Índia amb més d'un 43% de parlants nadius.
"Actualment, Airavata admet l'hindi, però tenim previst ampliar-ho aviat als 22 idiomes índics programats", va dir el laboratori d'IA en un Publicació de LinkedIn. És important tenir en compte que el rendiment de grans models lingüístics (LLM) es basa en conjunts de dades d'ajustament d'instruccions d'alta qualitat. Tanmateix, hi ha una escassetat de conjunts de dades diversos disponibles per a l'hindi.
També s'han fet grans avenços en el desenvolupament de conjunts de dades per a la formació prèvia com RedPjama; ajust d'instruccions com Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; i punts de referència d'avaluació com AlpacaEval, MT-Bench. Tanmateix, la majoria d'aquests avenços s'han centrat principalment en la llengua anglesa.
"Hi ha un suport limitat per a les llengües índies, que es pot atribuir a la inclusió incidental d'algunes dades de la llengua índia que van passar pels filtres de dades durant la formació prèvia d'aquests models lingüístics. No obstant això, la representació de les dades, l'eficàcia dels tokenitzadors i el rendiment de les tasques per a les llengües índies estan considerablement per darrere de la de l'anglès ", AI4Bharat Labs. va dir en el seu comunicat.
"El rendiment en llengües índies, fins i tot en models de codi tancat com ara ChatGPT, GPT-4 i altres, és inferior en comparació amb l'anglès", va afegir.
AI4Bharat llança conjunts de dades d'ajustament d'instruccions
L'equip AI4Bharat també va publicar les instruccions d'ajust conjunts de dades utilitzat per al model per permetre més investigacions per a IndicLLM.
"Airavata" es basa en conjunts de dades seleccionats per humans que són compatibles amb els acords de llicència per desenvolupar models ajustats a les instruccions. L'equip evita específicament utilitzar dades generades a partir de models propietaris com GPT-4 perquè augmentaria els costos i limitaria l'ús gratuït d'aquests models en altres aplicacions a causa de les restriccions de llicència.
En canvi, l'equip creu que els conjunts de dades curats per humans són un enfocament més sostenible per crear models per a la majoria de llengües índiques.
Tanmateix, Airavata, com altres LLM, es troba amb els reptes típics. Aquests inclouen la possibilitat d'al·lucinacions, que condueixen a informació fabricada i poden tenir problemes amb la precisió en temes complexos o especialitzats. També hi ha el risc de produir contingut censurable o esbiaixat.
L'equip va aclarir que el model té finalitats d'investigació i no es recomana per a cap cas d'ús de producció.
Anteriorment, el laboratori AI4Bharat va llançar una plataforma de transcreació de vídeos de codi obert, Chitralekha, que inclou un sistema de gestió de la força de treball que facilita el procés complet de transcreació d'un vídeo d'un idioma a un altre, que cobreix la transcripció, la traducció i la veu en off de l'idioma traduït.
Va ser creat en col·laboració amb EkStep, una fundació sense ànim de lucre i l'equip que va ser fonamental en el desenvolupament del projecte Aadhaar de l'Índia.
A més, AI4Bharat ha iniciat el procés de contractació per al seu programa de residents i associats d'AI per al mandat 2024-25. Aquest programa predoctoral d'un any de durada posa l'accent en el treball intensiu processament del llenguatge natural (PNL), projectes de parla i visió.
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Kumar és un periodista tecnològic experimentat amb una especialització en les interseccions dinàmiques d'IA/ML, tecnologia de màrqueting i camps emergents com ara cripto, blockchain i NFTs. Amb més de 3 anys d'experiència en el sector, Kumar ha establert una trajectòria demostrada en l'elaboració de narracions convincents, la realització d'entrevistes minucioses i l'oferiment d'informació exhaustiva. L'experiència de Kumar rau en la producció de contingut d'alt impacte, inclosos articles, informes i publicacions de recerca per a plataformes de la indústria destacades. Amb un conjunt d'habilitats únics que combina coneixements tècnics i narració, Kumar destaca per comunicar conceptes tecnològics complexos a diversos públics d'una manera clara i atractiva.
més articles
Kumar és un periodista tecnològic experimentat amb una especialització en les interseccions dinàmiques d'IA/ML, tecnologia de màrqueting i camps emergents com ara cripto, blockchain i NFTs. Amb més de 3 anys d'experiència en el sector, Kumar ha establert una trajectòria demostrada en l'elaboració de narracions convincents, la realització d'entrevistes minucioses i l'oferiment d'informació exhaustiva. L'experiència de Kumar rau en la producció de contingut d'alt impacte, inclosos articles, informes i publicacions de recerca per a plataformes de la indústria destacades. Amb un conjunt d'habilitats únics que combina coneixements tècnics i narració, Kumar destaca per comunicar conceptes tecnològics complexos a diversos públics d'una manera clara i atractiva.
