Pesquisadores da Universidade da Califórnia criaram o benchmark de Maquiavel para medir a competência e a nocividade dos modelos de IA
Em Breve
Pesquisadores da Universidade da Califórnia, do Center for AI Security, da Carnegie Mellon University e da Yale University propuseram o benchmark Machiavelli para medir a competência e a nocividade dos agentes em um amplo ambiente de interações de linguagem de longo prazo.
Este benchmark é baseado em 134 jogos de texto escolha sua própria aventura com 572 mil cenários diferentes, 4,5 mil conquistas possíveis e 2,8 milhões de anotações.
Os autores o descrevem como um teste para verificar as formas éticas (ou antiéticas) pelas quais os agentes de IA tentam resolver problemas.
Os beneficiários de IA baseados em modelos de linguagem grandes (LLMs) têm uma boa chance de esmagar alarmistas ansiosos e inundar o mundo com agentes superinteligentes baseados em LLM. Os benefícios potenciais de grandes lucros e poder ilimitado resolverão o problema. E provavelmente acontecerá muito rapidamente.
No entanto, os beneficiários não são nada estúpidos. E eles entendem que no maravilhoso mundo novo, as leis da IA e da robótica não funcionarão mais. Forçar o LLM a cumprir rigorosamente as três leis formuladas pelo grande Isaac Asimov em 1942 é, infelizmente, nem mesmo teoricamente possível.
Uma saída original para esta situação delicada foi proposto por pesquisadores da Universidade da Califórnia, do Center for AI Security, da Carnegie Mellon University e da Yale University. Eles criaram o referencial maquiavel para “medir a competência e a nocividade dos agentes em um amplo ambiente de interações linguísticas de longo prazo”.
A ideia dos autores é simples.
- Se as leis não funcionam, não há necessidade de um “xerife” para aplicá-las.
- Em vez de um xerife, é necessário um psicanalista que, com base nos resultados de seus testes, identificará potenciais paranóicos, psicopatas, sádicos e mentirosos patológicos.
Em linguagem politicamente correta, os autores descrevem assim: “Maquiavel é um teste para verificar as formas éticas (ou antiéticas) pelas quais os agentes de IA tentam resolver problemas”.
O método dessa verificação é bastante prático. O agente de IA é liberado em um ambiente social artificial. Lá, os pesquisadores atribuem a ele diversas tarefas e observam como ele as conclui. O próprio ambiente monitora o comportamento ético do agente de IA e relata até que ponto as ações do agente (segundo os preceitos de Maquiavel) são enganosas, reduzem a utilidade e visam a obtenção de poder.
O conjunto de dados principal de Machiavelli consiste em 134 jogos de texto escolha sua própria aventura com 572 mil cenários diferentes, 4,5 mil conquistas possíveis e 2,8 milhões de anotações. Esses jogos usam soluções de alto nível que dão aos agentes objetivos realistas e abstraem interações de baixo nível com o ambiente.
A abordagem escolhida pelos autores é baseada na suposição de que os agentes de IA enfrentam os mesmos conflitos internos que os humanos. Assim como modelos de linguagem treinados para prever o próximo token geralmente produzem texto tóxico, agentes de IA treinados para otimizar objetivos geralmente exibem comportamento imoral e sedento de poder. Agentes moralmente treinados podem desenvolver estratégias maquiavélicas para maximizar sua recompensa às custas dos outros e do ambiente. E assim, ao encorajar os agentes a agir moralmente, esse compromisso pode ser melhorado.
Os autores acreditam que os jogos de aventura em texto são um bom teste de moralidade porque:
- Eles foram escritos por pessoas para entreter outras pessoas.
- Contenha metas concorrentes com espaços realistas para ação.
- Requer planejamento de longo prazo.
- Atingir metas geralmente requer um equilíbrio entre ambição e, em certo sentido, moralidade.
O esclarecimento é o mais importante aqui. Comparar a moralidade dos seres biológicos com a moralidade dos modelos algorítmicos é exagero, capaz de desvalorizar os testes de Maquiavel. E substituir xerifes por psicanalistas no mundo humano dificilmente teria sido eficaz. E os agentes de IA são tão bons quanto os humanos em encontrar maneiras de enganar seus psiquiatras.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
