AI4Bharat lança 'Airavata', um LLM personalizado para melhorar a língua hindi em modelos de IA
Em Breve
A AI4Bharat da Índia anunciou o lançamento do “Airavata”, um LLM para melhorar o suporte ao idioma hindi em modelos de IA, construído pelo ajuste fino do OpenHathi.
Laboratório de pesquisa de IA do instituto de ensino superior indiano IIT Madras AI4Bharat lançou Airavata, um modelo ajustado para instruções para Hindi. De acordo com o anúncio, o modelo foi construído ajustando o OpenHathi da Sarvam AI, com diversos conjuntos de dados em hindi para torná-lo mais adequado para tarefas de assistência.
Hindi é a língua mais falada na Índia, com mais de 43% de falantes nativos.
“Atualmente, o Airavata oferece suporte ao hindi, mas planejamos expandir isso para todos os 22 idiomas índicos programados em breve”, disse o laboratório de IA em um comunicado. Postagem no LinkedIn. É importante ressaltar que o desempenho grandes modelos de linguagem (LLMs) depende de conjuntos de dados de ajuste de instruções de alta qualidade. No entanto, há uma escassez de diversos conjuntos de dados disponíveis para o hindi.
Também foram feitos grandes progressos no desenvolvimento de conjuntos de dados para pré-treinamento, como RedPajama; ajuste de instruções como Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; e benchmarks de avaliação como AlpacaEval, MT-Bench. No entanto, a maioria desses avanços centrou-se predominantemente na língua inglesa.
“Há algum suporte limitado para línguas indianas, o que pode ser atribuído à inclusão incidental de alguns dados de línguas indianas que escaparam dos filtros de dados durante o pré-treinamento desses modelos linguísticos. No entanto, a representação dos dados, a eficácia dos tokenizadores e o desempenho das tarefas para os idiomas indianos estão consideravelmente aquém do inglês”, AI4Bharat Labs disse em sua declaração.
“O desempenho em línguas indianas, mesmo em modelos de código fechado como ChatGPT, GPT-4 e outros, é inferior ao inglês”, acrescentou.
AI4Bharat lança conjuntos de dados de ajuste de instruções
A equipe AI4Bharat também lançou o ajuste de instrução conjuntos de dados usado para o modelo para permitir pesquisas adicionais para IndicLLMs.
“Airavata” depende de conjuntos de dados com curadoria humana que são amigáveis aos acordos de licenciamento para desenvolver modelos ajustados à instrução. A equipe evita especificamente usar dados gerados a partir de modelos proprietários como GPT-4 porque aumentaria os custos e limitaria o uso gratuito desses modelos em outras aplicações devido a restrições de licenciamento.
Em vez disso, a equipa acredita que os conjuntos de dados com curadoria humana são uma abordagem mais sustentável para a construção de modelos para a maioria das línguas índicas.
No entanto, Airavata, como outros LLMs, encontra desafios típicos. Estes incluem a possibilidade de alucinação, levando a informações fabricadas e podem ter dificuldades com a precisão em tópicos complexos ou especializados. Também existe o risco de produzir conteúdo questionável ou tendencioso.
A equipe esclareceu que o modelo é para fins de pesquisa e não é recomendado para nenhum caso de uso de produção.
Anteriormente, o laboratório AI4Bharat lançou uma plataforma de transcriação de vídeo de código aberto – Chitralekha – que inclui um sistema de gestão de força de trabalho que facilita o processo completo de transcriação de um vídeo de um idioma para outro, abrangendo transcrição, tradução e narração para o idioma traduzido.
Foi criado em colaboração com a EkStep – uma fundação sem fins lucrativos e a equipe que foi fundamental no desenvolvimento do projeto Aadhaar na Índia.
Além disso, AI4Bharat iniciou o processo de recrutamento para seu programa de residentes e associados de IA para o mandato de 2024-25. Este programa de pré-doutorado com duração de um ano enfatiza o trabalho intensivo em processamento de linguagem natural (PNL), projetos de fala e visão.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
Mais artigos
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
