Pesquisadores de Stanford apresentam estrutura de desenvolvimento de IA para resolver problemas de confiabilidade em LLMs
Em Breve
A Universidade de Stanford revelou uma estrutura de desenvolvimento de IA, projetada para avaliar a atribuição de crédito e a precisão dos LLMs.
Recentemente, uma equipe de pesquisadores do Universidade de Stanford criou uma estrutura para entender uma maneira de dar crédito e verificar a precisão de grandes modelos de linguagem (LLM).
Embora os LLMs possuam um poder considerável, ocasionalmente geram erros ou produzem informações imprecisas, semelhante a uma forma de alucinação de IA. Eles demonstram capacidade de evocar cenários imaginários, produzindo respostas que carecem de confiabilidade. Consequentemente, torna-se imperativo discernir a fonte da informação, especialmente quando o resultado do modelo gera problemas.
À medida que mais empresas e serviços surgem utilizando modelos de grande linguagem, o quanto podemos confiar nestes modelos depende de como podemos verificar e confirmar os seus resultados. Descobrir de onde vêm as informações é importante, especialmente se o resultado do modelo causar problemas.
Pesquisadores são trabalhando em maneiras para rastrear a fonte e se concentrou principalmente em duas coisas:
- Atribuição de dados de treinamento (TDA): compreender onde o modelo aprendeu suas informações.
- Geração de citações: garantir que o modelo dê crédito às fontes certas.
Garantir que ambos os tipos de atribuições funcionem bem é importante confiar nos resultados dessas LLMs em diferentes situações do mundo real. Além disso, a equipa de investigação não se limitou à teoria; eles testaram a estrutura em cenários do mundo real, mostrando sua praticidade e utilidade. A equipe também esclareceu situações em que as atribuições são obrigatórias.
Imagine elaborar documentos legais – não se trata apenas de palavras no papel. A validade interna, que envolve o rastreamento dos dados de treinamento do modelo, é crucial para confirmar de onde vem a informação e quão confiável ela é. Enquanto isso, a validade externa, alcançada por meio da criação de citações, garante que o material esteja alinhado aos padrões legais.
Da mesma forma, no domínio médico, ambos os tipos de atribuições assumem um papel crucial. Eles servem como eixo para verificar a precisão da resposta e compreender as origens que influenciam o conhecimento médico do modelo. É como possuir um sistema que não só responde às dúvidas, mas também elucida sua metodologia, tornando-o significativo em setores vitais como o direito e a medicina.
Abordando lacunas críticas em modelos de linguagem de IA
O estudo esclarece ainda lacunas cruciais nas abordagens existentes, sinalizando uma mudança de paradigma na compreensão das atribuições do modelo. Ele expõe desalinhamentos nos métodos de Atribuição de Dados de Treinamento (TDA), projetados para identificar pontos de dados mal rotulados ou depurar incompatibilidades de domínio, que podem ser insuficientes em aplicativos de modelos de linguagem abrangentes.
Os riscos surgem quando o TDA sinaliza fontes de treinamento que, embora pareçam importantes, podem ser irrelevantes para o conteúdo específico do exemplo de teste.
Métodos corroborativos, incluindo verificação de fatos e geração de citações, são criticados por não fornecerem insights sobre comportamento modelo. Embora estes métodos verifiquem a veracidade dos factos produzidos utilizando fontes externas, não conseguem explicar porque é que o modelo gerou um determinado resultado.
Finalmente, à medida que os modelos linguísticos se expandem para os cuidados de saúde e o direito, o estudo enfatiza a necessidade de uma abordagem mais abrangente. Para aplicações legais, uma estratégia dupla é crucial – atribuições corroborativas garantem a conformidade legal, enquanto as atribuições contributivas desvendam nuances dos documentos de formação.
No geral, a investigação de Stanford não expõe apenas lacunas; ele impulsiona em direção a uma era mais responsável e diferenciada nas aplicações de IA de modelos de linguagem.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
Mais artigos
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
