Pesquisadores desafiam a noção de 'habilidades emergentes' de grandes modelos de linguagem
Em Breve
O apocalipse AGI é uma preocupação devido ao fenômeno de grandes modelos de linguagem repentinamente demonstrando habilidades que os modelos menores parecem não ter.
Este fenômeno é chamado de “habilidades emergentes de grandes modelos de linguagem”.
Os autores do artigo “As habilidades emergentes de grandes modelos de linguagem são uma miragem?” argumentam que o efeito das habilidades emergentes não é uma miragem, mas sim um crescimento previsível na capacidade de realizar tarefas.
Eles mostram que pelo menos 92% dos problemas do Big Bench não apresentam um avanço repentino para modelos grandes, e a qualidade de seus modelos cresce de maneira suave e previsível à medida que o tamanho dos modelos aumenta.
Num exame recente das capacidades potenciais de grandes modelos de linguagem, os investigadores desafiam a noção de “habilidades emergentes” e lançam luz sobre um aspecto mais previsível da sua funcionalidade. O artigo intitulado “Revelando a realidade das habilidades emergentes dos grandes modelos de linguagem” chama a atenção para a má interpretação das métricas que levou ao equívoco de que esses modelos adquirem competências avançadas espontaneamente.
O conceito de "habilidades emergentes”no contexto de grandes modelos de linguagem, como o GPT série, alimentou preocupações sobre o potencial desses modelos para desenvolver capacidades imprevistas semelhantes à consciência humana. Este artigo afirma que essas suposições foram baseadas em uma compreensão falha do comportamento e das capacidades reais dos modelos.
O fenômeno comumente observado, onde modelos maiores aparentemente adquirem novas habilidades, como raciocínio abstrato, resolução de problemas e até humor, foi cunhado como “habilidades emergentes de modelos de linguagem grande”. Os autores do artigo afirmam que essas habilidades não são tão espontâneas quanto parecem, mas sim o resultado de métricas de avaliação enganosas.
Para ilustrar seu ponto, os pesquisadores consideram a tarefa de “adivinhar o enigma”, um problema em que o modelo de linguagem é obrigado a compreender um enigma de linguagem natural e responder com a resposta correta em linguagem natural. Tradicionalmente, a qualidade das respostas tem sido avaliada usando uma métrica binária: uma resposta recebe uma pontuação de 1 se corresponder exatamente à resposta correta e uma pontuação de 0 caso contrário.
O cerne da questão está na sensibilidade da métrica à complexidade da tarefa e ao número de parâmetros do modelo. Os pesquisadores revelam que esta métrica binária leva a um percepção enganosa de “habilidades emergentes”. Modelos menores geralmente exibem precisão insignificante (eps) nesta métrica, enquanto modelos maiores, especialmente aqueles com uma contagem alta de parâmetros, parecem atingir níveis de precisão notáveis (acc > 0.5).
O artigo afirma que esta aparente mudança na capacidade não é indicativa de modelos que adquirem espontaneamente competências complexas. Em vez disso, a capacidade dos modelos para compreender e gerar respostas mais matizadas decorre de uma avaliação mais meticulosa dos seus resultados. Ao focar na correspondência probabilística e na coerência semântica, em vez de correspondências exatas de strings, os pesquisadores mostram que o progressão dos modelos no desempenho segue uma trajetória mais lógica, independentemente do seu tamanho.
Investigando a evolução do desempenho do modelo com alteração de parâmetros
Numa investigação analítica, os investigadores descobrem a mecânica subtil por detrás das “habilidades emergentes” percebidas grandes modelos de linguagem. O estudo questiona a influência das métricas superdiscretas na avaliação do desempenho do modelo e elucida uma compreensão mais preditiva de suas capacidades à medida que os parâmetros do modelo se expandem.
A noção predominante de “habilidades emergentes” em modelos linguísticos expansivos tem cativado discussões e levantado preocupações sobre possíveis avanços. Este estudo procura desvendar a mecânica subjacente a este fenómeno e decifrar se estes modelos apresentam de facto capacidades repentinas e sem precedentes ou se estes avanços percebidos podem ser atribuídos a uma causa diferente.
No centro do estudo está uma avaliação meticulosa das métricas empregadas para avaliar o desempenho do modelo. Os pesquisadores afirmam que o uso de métricas superdiscretas, particularmente a métrica binária convencional que determina correspondências exatas de strings, pode distorcer a interpretação de grandes números. habilidades de modelo de linguagem. O estudo analisa meticulosamente como a distribuição de probabilidade das respostas geradas pelo modelo evolui à medida que os parâmetros do modelo aumentam.
Contrariamente à noção de “capacidades emergentes”, o estudo revela uma tendência mais sistemática. À medida que o tamanho do modelo aumenta, melhora sua capacidade de atribuir probabilidades mais altas às respostas apropriadas e probabilidades mais baixas às incorretas. Isso reflete um aprimoramento consistente na capacidade do modelo de resolver problemas de maneira adequada em uma ampla variedade de tamanhos. Em essência, a pesquisa sugere que o processo de aprendizagem dos modelos segue um processo bemdefitrajetória precisa de melhoria, em vez de um salto repentino.
Os autores introduzem uma mudança de paradigma ao propor a substituição de métricas discretas por métricas contínuas. Essa mudança oferece uma imagem mais clara da evolução do desempenho. Através de suas análises, os pesquisadores constatam que aproximadamente 92% dos Grandes problemas de banco exibem um crescimento suave e previsível na qualidade à medida que o tamanho do modelo se expande. Esta descoberta desafia a noção de que modelos maiores experimentam avanços repentinos e, em vez disso, destaca uma progressão mais gradual e antecipada.
O estudo amplia seus insights para validar suas afirmações. Ele demonstra que o mesmo efeito de “capacidade emergente” pode ser simulado artificialmente usando autoencoders convencionais, sugerindo que a escolha das métricas influencia significativamente os resultados percebidos. Esta revelação amplia o âmbito das implicações do estudo, demonstrando a sua relevância para além dos modelos de linguagem apenas.
Os pesquisadores enfatizam que seus resultados não definegar nitivamente o potencial para “habilidades emergentes” ou consciência em grandes modelos de linguagem. No entanto, as suas descobertas encorajam os investigadores a abordar tais afirmações com uma perspectiva diferenciada. Em vez de extrapolar apressadamente e tirar conclusões extremas, o estudo sublinha a importância de uma investigação meticulosa e de uma análise abrangente.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
