GPT-4 Herda fatos “alucinantes” e erros de raciocínio anteriores GPT Modelos
Em Breve
OpenAI diz GPT-4 tem limitações semelhantes às anteriores GPT modelos.
GPT-4 ainda alucina fatos e comete erros de raciocínio.
O Mercado Pago não havia executado campanhas de Performance anteriormente nessas plataformas. Alcançar uma campanha de sucesso exigiria GPT-4 pontuação 40% maior que OpenAImais recente GPT-3.5 nas avaliações de factualidade contraditórias internas da empresa.
OpenAI alertou os usuários que seu modelo de linguagem mais recente, GPT-4, ainda não é totalmente confiável e pode “alucinar” fatos e cometer erros de raciocínio. A empresa incentiva os usuários a terem cautela ao usar os resultados do modelo de linguagem, especialmente em “contextos de alto risco”.
No entanto, a boa notícia é que GPT-4 reduz significativamente as alucinações em relação aos modelos anteriores. OpenAI afirma que GPT-4 pontuação 40% maior que a última GPT-3.5 sobre avaliações de factualidade contraditórias internas.
“Fizemos progresso em benchmarks externos como o TruthfulQA, que testa a capacidade do modelo de separar fatos de um conjunto de declarações incorretas selecionadas adversamente. Essas perguntas são combinadas com respostas factualmente incorretas que são estatisticamente atraentes”, OpenAI escreveu em um no blog.
Apesar dessa melhoria, o modelo ainda carece de conhecimento dos eventos ocorridos após setembro de 2021 e às vezes comete erros simples de raciocínio, assim como os modelos anteriores. Além disso, pode ser excessivamente ingênuo ao aceitar declarações falsas óbvias dos usuários e falhar em problemas difíceis, como a introdução de vulnerabilidades de segurança em seu código. Ele também não verifica as informações que fornece.
Como seus antecessores, GPT-4 pode gerar conselhos prejudiciais, códigos com bugs ou informações imprecisas. Contudo, as capacidades adicionais do modelo conduzem a novas superfícies de risco que precisam de ser compreendidas. Para avaliar a extensão desses riscos, mais de 50 especialistas de vários domínios, incluindo riscos de alinhamento de IA, segurança cibernética, risco biológico, confiança e segurança e segurança internacional, foram contratados para testar o modelo de forma adversa. Seus comentários e dados foram então usados para melhorar o modelo, como coletar dados adicionais para aprimorar GPT-4capacidade de recusar pedidos sobre como sintetizar produtos químicos perigosos.
Uma das principais formas OpenAI está reduzindo as saídas prejudiciais é incorporando um sinal de recompensa de segurança adicional durante o treinamento RLHF (Aprendizado por Reforço de Feedback Humano). O sinal treina o modelo para recusar solicitações de conteúdo nocivo, como deficonforme as diretrizes de uso do modelo. A recompensa é fornecida por um GPT-4 classificador zero-shot, que avalia os limites de segurança e o estilo de conclusão com base em avisos relacionados à segurança.
OpenAI também disse que diminuiu em 82% a tendência do modelo de responder a solicitações de conteúdo não permitido em comparação com GPT-3.5, e GPT-4 responde a solicitações sensíveis, como aconselhamento médico e automutilação, de acordo com as políticas da empresa, com 29% mais frequência.
Enquanto OpenAIAs intervenções aumentaram a dificuldade de provocar mau comportamento por parte de GPT-4, ainda é possível, e ainda existem jailbreaks que podem gerar conteúdo que viola as diretrizes de uso.
“À medida que os sistemas de IA se tornam mais prevalentes, alcançar altos graus de confiabilidade nessas intervenções se tornará cada vez mais crítico. Por enquanto, é essencial complementar essas limitações com técnicas de segurança em tempo de implantação, como monitoramento de abuso”, acrescentou a empresa.
OpenAI está colaborando com pesquisadores externos para melhor compreender e avaliar os impactos potenciais de GPT-4 e seus modelos sucessores. A equipa também está a desenvolver avaliações de capacidades perigosas que podem surgir em futuros sistemas de IA. À medida que continuam a estudar o potencial social e impactos econômicos of GPT-4 e outros sistemas de IA, OpenAI compartilhará suas descobertas e percepções com o público no devido tempo.
Leia mais:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
Mais artigos
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
