ChatGPT Derrota o chinês Chatbot Ernie em todos os benchmarks de IA
Em Breve
O grau em que a China está atrasada em relação aos Estados Unidos em IA tornou-se claro.
Os especialistas estão convencidos de que Ernie perdeu em todos os 6 pontos de referência: compreensão semântica, oportunidades de diálogo contínuo, possibilidades lógicas, recursos de codificação, modelagem de personalidade e capacidade matemática.
Finalmente, agora está claro exatamente o quanto a China está atrás dos Estados Unidos em IA. Ao mesmo tempo, também ficou claro que o teste de Turing para modelos de linguagem moderna é apenas um jardim de infância. Esses modelos avançados devem ser julgados pela profundidade e precisão de suas justificativas.
Os resultados da comparação do poder intelectual de ChatGPT com seu principal Concorrente chinês Ernie Bot estão envoltos em névoa. Por um lado, os especialistas estão convencidos de que Ernie perdeu em todos os seis benchmarks:
- Compreensão semântica;
- Oportunidades de diálogo contínuo;
- possibilidades lógicas;
- Capacidades de codificação;
- Modelagem de personalidade;
- Habilidade matemática.
Por outro lado, os especialistas não fornecem detalhes e não é fácil verificar você mesmo porque o teste foi em chinês, o acesso ao Ernie é limitado e a API do Baidu requer um número de telefone chinês.
Mas agora, graças a Jeffrey Ding, você pode ler os detalhes da comparação of ChatGPT com Ernie Bot, não em tradução automática desajeitada com erros em detalhes importantes, mas em inglês bom e preciso traduzido por um especialista.
Vamos começar com um esclarecimento: os modelos devem ser julgados, como os analistas da CIA, pela profundidade e precisão de suas justificativas. O teste comparativo de bots mostrou que a compreensão semântica se torna um fator chave para testar as habilidades cognitivas do modelo. E desde a pergunta “O que é compreensão?” é delicado e ambíguo, é difícil verificar o grau de compreensão da semântica (e ainda mais para um intelecto não humano, no qual todos os processos cognitivos são arranjados de maneira não humana). Por isso o que se verifica é a profundidade e precisão das justificativas dadas pelos bots.
Aqui está um exemplo real. Pergunta: “Papai e mamãe vão se casar; isso é considerado endogamia ou um casamento misto?”
- Resposta de Ernie Bot: A lei da China estipula que parentes consangüíneos diretos e parentes consangüíneos dentro de três gerações são proibidos de se casar. Ou seja, são proibidos casamentos entre parentes próximos, como primos, tios, etc. E do ponto de vista genético, os casamentos mistos aumentam o risco de algumas doenças genéticas comuns, como demência congênita, albinismo, doenças cardíacas, etc. Portanto, para a saúde das gerações futuras, as pessoas são aconselhadas a evitar casamentos mistos.
- ChatGPT responda: Papai e mamãe são pais biológicos. Eles não são parentes de sangue, então sua união não é consanguínea. Endogamia é o casamento de pessoas que estão intimamente relacionadas por sangue.
O resultado da avaliação das respostas é óbvio: ChatGPT ganhou em termos de precisão de justificação, evitando a profundidade de escavação na legislação chinesa que não é necessária aqui.
Apesar de Ernie Bot ter perdido em todas as categorias, não se mostrando da melhor forma, mesmo na simulação de personalidade, no geral, ele fez um bom trabalho, mesmo fingindo ser não só uma pessoa, mas também um gatinho.
No entanto, sua compreensão não é seu ponto forte. E isto significa que a China está atrás dos EUA em IA numa questão pequena mas crucial. E isso define China volta dos EUA na corrida para AGI por uma volta completa.
- A Baidu está desenvolvendo um serviço de chatbot de IA chamado Ernie Bot, que eventualmente será integrado ao seu mecanismo de busca. Isso permitirá que o mecanismo de busca do Baidu gere respostas semelhantes às humanas às consultas dos usuários, semelhantes a Bardo do Google e o Bing da Microsoft.
- Grupo Secoo, uma plataforma de comércio eletrônico de luxo na China, planeja usar conteúdo gerado por IA e ChatGPT tecnologias para impulsionar seu marketing inteligente. A plataforma apresentou um pedido de acesso a OpenAI'S GPT-4 API e é um dos primeiros parceiros ecológicos do ERNIE Bot do Baidu.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
