GPT-4O desempenho da Ordem dos Advogados dos EUA contradiz suas afirmações
Em Breve
O exame de GPT-4o desempenho de no Uniform Bar Exam revelou uma discrepância entre o desempenho estimado e o real, enfatizando a importância de procedimentos de avaliação transparentes e dados acessíveis.
OpenAI é incentivado a abordar as discrepâncias e desenvolver uma abordagem mais inclusiva e confiável para a avaliação do modelo de IA para ganhar confiança e garantir a credibilidade.
Em um exame recente GPT-4desempenho no Exame da Ordem Uniforme (UBE), surgiram dúvidas sobre a precisão OpenAIsobre a taxa de sucesso do modelo. Ao contrário da afirmação inicial de que GPT-4 supera 90% dos indivíduos, as descobertas sugerem uma discrepância significativa entre o desempenho estimado e o real do modelo de IA. Esta revelação enfatiza a importância de procedimentos de avaliação transparentes e dados acessíveis para validar tais reivindicações.
O exame se concentrou em vários fatores para determinar as verdadeiras capacidades do GPT-4. Em primeiro lugar, o análise dos exames de fevereiro em Illinois revelaram que GPT-4as pontuações se aproximaram do Percentil 90. No entanto, observou-se que essas pontuações foram fortemente influenciadas pelos repetentes que haviam reprovado anteriormente no exame de julho e, portanto, pontuaram abaixo da média geral.
Além disso, os resultados do exame de julho contradiziam OpenAIreivindicações, revelando que GPT-4 só Superar 68% das pessoas e 48% das redações. GPT-4o desempenho de contra candidatos pela primeira vez (excluindo repetições) foi avaliado no percentil 63 quando foram considerados dados oficiais de vários testes em períodos diferentes, com redações com pontuação consideravelmente mais baixa no percentil 41.
Uma perspectiva adicional foi obtida ao examinar o desempenho daqueles que passaram no exame, incluindo indivíduos licenciados e aqueles que aguardam licenciamento. A respeito disso, GPT-4o desempenho geral de foi classificado no 48º percentil, com as redações se saindo ainda pior no 15º percentil.
Embora estas descobertas sejam preocupantes, é fundamental considerar a possibilidade de erro humano no processo de revisão. O autor do artigo enfatiza a importância de compreender a amostra utilizada pelos pesquisadores para avaliar GPT-4desempenho. A falta de dados oficiais, especialmente de forma agregada, dificulta a comparação e avaliação justas dos percentis. É fundamental estabelecer técnicas de avaliação claras e acessíveis que possam ser avaliadas por todas as partes interessadas.
Em resposta a essas preocupações, OpenAI é instado a abordar as discrepâncias e fornecer mais informações no processo de avaliação. Transparência e abertura são essenciais para ganhar confiança e garantir a credibilidade dos modelos de IA em domínios de alto risco, como o direito.
Ressalta-se que o artigo não discute a pontuação específica alcançada por GPT-4, que é relatado como sendo 298. Avaliar a importância desta pontuação requer uma compreensão contextual do sistema de classificação utilizado. Assim como uma criança que volta da escola com nota B pode ser motivo de comemoração ou decepção, a interpretação do GPT-4a pontuação depende da escala empregada.
A avaliação de GPT-4desempenho no exame da ordem levanta sérias preocupações sobre a veracidade de OpenAIas afirmações iniciais. A lacuna entre o desempenho estimado e o real enfatiza a importância de sistemas de avaliação claros e dados facilmente acessíveis. OpenAI é incentivado a enfrentar esses desafios e desenvolver uma visão mais inclusiva e abordagem confiável para IA avaliação do modelo.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
