AI4Bharat lanza 'Airavata', un LLM personalizado para mejorar el idioma hindi en modelos de IA
En Resumen
AI4Bharat de India anunció el lanzamiento de “Airavata”, un LLM para mejorar el soporte del idioma hindi en modelos de IA, creado mediante el ajuste de OpenHathi.
Laboratorio de investigación de IA del instituto indio de educación superior IIT Madras AI4Bharat lanzó Airavata, un modelo adaptado a instrucciones para hindi. Según el anuncio, el modelo se construyó ajustando OpenHathi de Sarvam AI, con diversos conjuntos de datos en hindi para que sea más adecuado para tareas de asistencia.
El hindi es el idioma más hablado en la India con más del 43% de hablantes nativos.
"Actualmente, Airavata admite hindi, pero planeamos expandirlo pronto a los 22 idiomas índicos programados", dijo el laboratorio de IA en un Publicación de LinkedIn. Es importante señalar que el desempeño de grandes modelos de lenguaje (LLM) se basa en conjuntos de datos de ajuste de instrucciones de alta calidad. Sin embargo, hay escasez de conjuntos de datos diversos disponibles para hindi.
También se han logrado avances importantes en el desarrollo de conjuntos de datos para la capacitación previa como RedPajama; ajuste de instrucciones como Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; y puntos de referencia de evaluación como AlpacaEval, MT-Bench. Sin embargo, la mayoría de estos avances se han centrado predominantemente en el idioma inglés.
“Existe cierto soporte limitado para los idiomas indios, lo que puede atribuirse a la inclusión incidental de algunos datos del idioma indio que pasaron por los filtros de datos durante el entrenamiento previo de estos modelos lingüísticos. Sin embargo, la representación de datos, la eficacia de los tokenizadores y el desempeño de tareas para los idiomas indios están considerablemente por detrás de los del inglés”, AI4Bharat Labs. dijo en su comunicado.
“El rendimiento en idiomas indios, incluso en modelos de código cerrado como ChatGPT, GPT-4 y otros, es inferior al inglés”, añadió.
AI4Bharat publica conjuntos de datos de ajuste de instrucciones
El equipo de AI4Bharat también publicó el ajuste de instrucciones. conjuntos de datos utilizado para el modelo para permitir más investigaciones para IndicLLM.
“Airavata” se basa en conjuntos de datos seleccionados por humanos que respetan los acuerdos de licencia para desarrollar modelos adaptados a las instrucciones. El equipo evita específicamente el uso de datos generados a partir de modelos propietarios como GPT-4 porque aumentaría los costos y limitaría el uso gratuito de estos modelos en otras aplicaciones debido a restricciones de licencia.
En cambio, el equipo cree que los conjuntos de datos seleccionados por humanos son un enfoque más sostenible para construir modelos para la mayoría de los idiomas índicos.
Sin embargo, Airavata, al igual que otros LLM, enfrenta desafíos típicos. Estos incluyen la posibilidad de sufrir alucinaciones, lo que lleva a información inventada y pueden tener dificultades con la precisión en temas complejos o especializados. También existe el riesgo de producir contenido objetable o sesgado.
El equipo aclaró que el modelo tiene fines de investigación y no se recomienda para ningún caso de uso de producción.
Anteriormente, el laboratorio AI4Bharat lanzó una plataforma de transcreación de vídeo de código abierto, Chitralekha, que incluye un sistema de gestión de la fuerza laboral que facilita el proceso completo de transcreación de un vídeo de un idioma a otro, abarcando la transcripción, la traducción y la voz en off para el idioma traducido.
Fue creado en colaboración con EkStep, una fundación sin fines de lucro y el equipo que jugó un papel decisivo en el desarrollo del proyecto Aadhaar de la India.
Además, AI4Bharat ha iniciado el proceso de contratación para su programa de residentes y asociados de AI para el período 2024-25. Este programa predoctoral de un año de duración enfatiza el trabajo intensivo en procesamiento natural del lenguaje (PNL), proyectos de habla y visión.
Aviso
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Kumar es un periodista tecnológico experimentado con especialización en las intersecciones dinámicas de AI/ML, tecnología de marketing y campos emergentes como cripto, blockchain y NFTs. Con más de 3 años de experiencia en la industria, Kumar ha establecido una trayectoria comprobada en la elaboración de narrativas convincentes, la realización de entrevistas interesantes y la entrega de conocimientos integrales. La experiencia de Kumar radica en la producción de contenido de alto impacto, incluidos artículos, informes y publicaciones de investigación para plataformas industriales destacadas. Con un conjunto de habilidades único que combina conocimiento técnico y narración, Kumar se destaca en comunicar conceptos tecnológicos complejos a audiencias diversas de una manera clara y atractiva.
Más artículos
Kumar es un periodista tecnológico experimentado con especialización en las intersecciones dinámicas de AI/ML, tecnología de marketing y campos emergentes como cripto, blockchain y NFTs. Con más de 3 años de experiencia en la industria, Kumar ha establecido una trayectoria comprobada en la elaboración de narrativas convincentes, la realización de entrevistas interesantes y la entrega de conocimientos integrales. La experiencia de Kumar radica en la producción de contenido de alto impacto, incluidos artículos, informes y publicaciones de investigación para plataformas industriales destacadas. Con un conjunto de habilidades único que combina conocimiento técnico y narración, Kumar se destaca en comunicar conceptos tecnológicos complejos a audiencias diversas de una manera clara y atractiva.
