AI4Bharat veröffentlicht „Airavata“, ein benutzerdefiniertes LLM zur Verbesserung der Hindi-Sprache in KI-Modellen
In Kürze
Indiens AI4Bharat kündigte die Veröffentlichung von „Airavata“ an, einem LLM zur Verbesserung der Hindi-Sprachunterstützung in KI-Modellen, das durch Feinabstimmung von OpenHathi erstellt wurde.
KI-Forschungslabor des indischen Hochschulinstituts IIT Madras AI4Bharat veröffentlichte Airavata, ein auf Anweisungen abgestimmtes Modell für Hindi. Der Ankündigung zufolge wurde das Modell durch eine Feinabstimmung von OpenHathi von Sarvam AI mit verschiedenen Hindi-Datensätzen erstellt, um es besser für unterstützende Aufgaben geeignet zu machen.
Hindi ist mit über 43 % Muttersprachlern die meistgesprochene Sprache in Indien.
„Derzeit unterstützt Airavata Hindi, aber wir planen, dies bald auf alle 22 geplanten indischen Sprachen auszuweiten“, sagte das KI-Labor in einem LinkedIn Beitrag. Es ist wichtig zu beachten, dass die Leistung von große Sprachmodelle (LLMs) basiert auf hochwertigen Datensätzen zur Befehlsoptimierung. Für Hindi sind jedoch nur wenige unterschiedliche Datensätze verfügbar.
Auch bei der Entwicklung von Datensätzen für das Vortraining wie RedPajama wurden große Fortschritte erzielt; Befehlsoptimierung wie Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; und Bewertungsbenchmarks wie AlpacaEval, MT-Bench. Die meisten dieser Fortschritte konzentrierten sich jedoch überwiegend auf die englische Sprache.
„Es gibt eine begrenzte Unterstützung für indische Sprachen, was auf die zufällige Einbeziehung einiger indischer Sprachdaten zurückzuführen ist, die während des Vortrainings dieser Sprachmodelle durch die Datenfilter geschlüpft sind.“ Allerdings liegen die Darstellung von Daten, die Wirksamkeit von Tokenisierern und die Aufgabenleistung für indische Sprachen erheblich hinter denen des Englischen zurück“, sagte AI4Bharat Labs sagte in seiner Erklärung.
„Die Leistung in indischen Sprachen, sogar auf Closed-Source-Modellen wie ChatGPT, GPT-4 und anderen ist im Vergleich zu Englisch schlechter“, heißt es weiter.
AI4Bharat veröffentlicht Instruktionsoptimierungsdatensätze
Das AI4Bharat-Team hat auch die Anweisungsoptimierung veröffentlicht Datensätze für das Modell verwendet, um weitere Forschung für IndicLLMs zu ermöglichen.
„Airavata“ stützt sich auf von Menschen kuratierte Datensätze, die mit Lizenzvereinbarungen kompatibel sind, um anweisungsabgestimmte Modelle zu entwickeln. Das Team vermeidet ausdrücklich die Verwendung von Daten, die aus proprietären Modellen wie generiert wurden GPT-4 denn es würde die Kosten erhöhen und die kostenlose Nutzung dieser Modelle in anderen Anwendungen aufgrund von Lizenzbeschränkungen einschränken.
Stattdessen glaubt das Team, dass von Menschen kuratierte Datensätze einen nachhaltigeren Ansatz für die Erstellung von Modellen für die meisten indischen Sprachen darstellen.
Allerdings stößt Airavata, wie andere LLMs auch, auf typische Herausforderungen. Dazu gehört die Möglichkeit einer Halluzination, die zu erfundenen Informationen führt und bei komplexen oder speziellen Themen Probleme mit der Genauigkeit haben kann. Es besteht auch das Risiko, anstößige oder voreingenommene Inhalte zu produzieren.
Das Team stellte klar, dass das Modell Forschungszwecken dient und nicht für Anwendungsfälle in der Produktion empfohlen wird.
Zuvor hat das AI4Bharat-Labor eine Open-Source-Videotranskreationsplattform namens Chitralekha eingeführt, die ein Workforce-Management-System umfasst, das den vollständigen Transkreationsprozess eines Videos von einer Sprache in eine andere ermöglicht und Transkription, Übersetzung und Voice-Over für die übersetzte Sprache umfasst.
Es entstand in Zusammenarbeit mit EkStep – einer gemeinnützigen Stiftung und dem Team, das maßgeblich an der Entwicklung des indischen Aadhaar-Projekts beteiligt war.
Darüber hinaus hat AI4Bharat den Rekrutierungsprozess für sein AI-Resident- und Associate-Programm für die Amtszeit 2024-25 eingeleitet. Dieses einjährige Vordoktorandenprogramm legt den Schwerpunkt auf die intensive Arbeit in Verarbeitung natürlicher Sprache (NLP), Sprach- und Visionsprojekte.
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Kumar ist ein erfahrener Technologiejournalist mit Spezialisierung auf die dynamischen Schnittstellen von KI/ML, Marketingtechnologie und aufstrebenden Bereichen wie Krypto, Blockchain und NFTS. Mit über drei Jahren Erfahrung in der Branche hat Kumar eine nachgewiesene Erfolgsbilanz bei der Erstellung überzeugender Erzählungen, der Durchführung aufschlussreicher Interviews und der Bereitstellung umfassender Erkenntnisse. Kumars Fachwissen liegt in der Produktion von wirkungsvollen Inhalten, darunter Artikeln, Berichten und Forschungspublikationen für prominente Branchenplattformen. Mit seinen einzigartigen Fähigkeiten, die technisches Wissen und Geschichtenerzählen kombinieren, zeichnet sich Kumar dadurch aus, dass er komplexe technologische Konzepte einem unterschiedlichen Publikum auf klare und ansprechende Weise vermittelt.
Weitere Artikel
Kumar ist ein erfahrener Technologiejournalist mit Spezialisierung auf die dynamischen Schnittstellen von KI/ML, Marketingtechnologie und aufstrebenden Bereichen wie Krypto, Blockchain und NFTS. Mit über drei Jahren Erfahrung in der Branche hat Kumar eine nachgewiesene Erfolgsbilanz bei der Erstellung überzeugender Erzählungen, der Durchführung aufschlussreicher Interviews und der Bereitstellung umfassender Erkenntnisse. Kumars Fachwissen liegt in der Produktion von wirkungsvollen Inhalten, darunter Artikeln, Berichten und Forschungspublikationen für prominente Branchenplattformen. Mit seinen einzigartigen Fähigkeiten, die technisches Wissen und Geschichtenerzählen kombinieren, zeichnet sich Kumar dadurch aus, dass er komplexe technologische Konzepte einem unterschiedlichen Publikum auf klare und ansprechende Weise vermittelt.
