AI4Bharat rilascia "Airavata", un LLM personalizzato per migliorare la lingua hindi nei modelli AI
In Breve
L'India4Bharat ha annunciato il rilascio di "Airavata", un LLM per migliorare il supporto della lingua hindi nei modelli di intelligenza artificiale, creato ottimizzando OpenHathi.
Laboratorio di ricerca sull'intelligenza artificiale dell'istituto di istruzione superiore indiano IIT Madras AI4Bharat ha rilasciato Airavata, un modello ottimizzato per le istruzioni per l'hindi. Secondo l'annuncio, il modello è stato costruito perfezionando OpenHathi di Sarvam AI, con diversi set di dati hindi per renderlo più adatto alle attività di assistenza.
L'hindi è la lingua più parlata in India con oltre il 43% di madrelingua.
"Attualmente, Airavata supporta l'hindi, ma prevediamo di estenderlo presto a tutte le 22 lingue indiane previste", ha affermato il laboratorio di intelligenza artificiale in una nota. Post di LinkedIn. È importante notare che le prestazioni di modelli linguistici di grandi dimensioni (LLM) si basa su set di dati di ottimizzazione delle istruzioni di alta qualità. Tuttavia, i diversi set di dati disponibili per l'hindi sono scarsi.
Sono stati compiuti importanti progressi anche nello sviluppo di set di dati per la pre-formazione come RedPajama; ottimizzazione delle istruzioni come Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; e benchmark di valutazione come AlpacaEval, MT-Bench. Tuttavia, la maggior parte di questi progressi sono stati prevalentemente incentrati sulla lingua inglese.
“C’è un supporto limitato per le lingue indiane, che può essere attribuito all’inclusione accidentale di alcuni dati sulla lingua indiana che sono sfuggiti ai filtri dei dati durante la pre-formazione di questi modelli linguistici. Tuttavia, la rappresentazione dei dati, l’efficacia dei tokenizzatori e le prestazioni delle attività per le lingue indiane sono notevolmente inferiori a quelle dell’inglese”, AI4Bharat Labs ha detto nella sua dichiarazione.
“Le prestazioni nelle lingue indiane, anche su modelli closed-source come ChatGPT, GPT-4 e altri, è inferiore rispetto all’inglese”, ha aggiunto.
AI4Bharat rilascia set di dati di ottimizzazione delle istruzioni
Il team AI4Bharat ha anche rilasciato l'ottimizzazione delle istruzioni dataset utilizzato per il modello per consentire ulteriori ricerche per IndicLLM.
“Airavata” si basa su set di dati curati da esseri umani che sono compatibili con gli accordi di licenza per sviluppare modelli ottimizzati per le istruzioni. Il team evita espressamente di utilizzare dati generati da modelli proprietari come GPT-4 perché aumenterebbe i costi e limiterebbe l’utilizzo gratuito di questi modelli in altre applicazioni a causa delle restrizioni di licenza.
Invece, il team ritiene che i set di dati curati dall’uomo siano un approccio più sostenibile per la costruzione di modelli per la maggior parte delle lingue indiane.
Tuttavia, Airavata, come altri LLM, incontra sfide tipiche. Questi includono la possibilità di allucinazioni, che portano a informazioni inventate e possono avere difficoltà con l'accuratezza in argomenti complessi o specializzati. Esiste anche il rischio di produrre contenuti discutibili o parziali.
Il team ha chiarito che il modello è a scopo di ricerca e non è consigliato per alcun caso d'uso in produzione.
In precedenza, il laboratorio AI4Bharat ha lanciato una piattaforma di transcreazione video open source – Chitralekha – che include un sistema di gestione della forza lavoro che facilita il processo completo di transcreazione di un video da una lingua all’altra, coprendo la trascrizione, la traduzione e la voce fuori campo per la lingua tradotta.
È stato creato in collaborazione con EkStep, una fondazione senza scopo di lucro e il team che è stato determinante nello sviluppo del progetto Aadhaar in India.
Inoltre, AI4Bharat ha avviato il processo di reclutamento per il suo programma per residenti e associati AI per il periodo 2024-25. Questo programma pre-dottorato della durata di un anno enfatizza il lavoro intenso in elaborazione del linguaggio naturale (PNL), progetti di linguaggio e visione.
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Kumar è un giornalista tecnologico esperto con una specializzazione nelle intersezioni dinamiche di AI/ML, tecnologia di marketing e campi emergenti come criptovaluta, blockchain e NFTS. Con oltre 3 anni di esperienza nel settore, Kumar ha stabilito una comprovata esperienza nella creazione di narrazioni avvincenti, nella conduzione di interviste approfondite e nella fornitura di approfondimenti completi. L'esperienza di Kumar risiede nella produzione di contenuti di grande impatto, inclusi articoli, rapporti e pubblicazioni di ricerca per importanti piattaforme di settore. Con un insieme di competenze uniche che combina conoscenze tecniche e narrazione, Kumar eccelle nel comunicare concetti tecnologici complessi a un pubblico diversificato in modo chiaro e coinvolgente.
Altri articoli
Kumar è un giornalista tecnologico esperto con una specializzazione nelle intersezioni dinamiche di AI/ML, tecnologia di marketing e campi emergenti come criptovaluta, blockchain e NFTS. Con oltre 3 anni di esperienza nel settore, Kumar ha stabilito una comprovata esperienza nella creazione di narrazioni avvincenti, nella conduzione di interviste approfondite e nella fornitura di approfondimenti completi. L'esperienza di Kumar risiede nella produzione di contenuti di grande impatto, inclusi articoli, rapporti e pubblicazioni di ricerca per importanti piattaforme di settore. Con un insieme di competenze uniche che combina conoscenze tecniche e narrazione, Kumar eccelle nel comunicare concetti tecnologici complessi a un pubblico diversificato in modo chiaro e coinvolgente.
