Des chercheurs de l'Université de Californie ont créé le Machiavel Benchmark pour mesurer la compétence et la nocivité des modèles d'IA
En bref
Des chercheurs de l'Université de Californie, du Center for AI Security, de l'Université Carnegie Mellon et de l'Université de Yale ont proposé la référence Machiavel pour mesurer la compétence et la nocivité des agents dans un large environnement d'interactions linguistiques à long terme.
Cette référence est basée sur 134 jeux texte à choisir soi-même avec 572 4,5 scénarios différents, 2,8 XNUMX réalisations possibles et XNUMX millions d'annotations.
Les auteurs le décrivent comme un test pour vérifier les manières éthiques (ou contraires à l'éthique) dont les agents de l'IA tentent de résoudre les problèmes.
Les bénéficiaires de l'IA basés sur de grands modèles linguistiques (LLM) ont de bonnes chances d'écraser les alarmistes anxieux et d'inonder le monde d'agents super-intelligents basés sur des LLM. Les avantages potentiels de profits énormes et d'une puissance illimitée feront l'affaire. Et cela arrivera très probablement assez rapidement.
| Lire la suite: UTILISATION ChatGPT (GPT-4) gratuitement pour toujours |
Cependant, les bénéficiaires ne sont pas stupides du tout. Et ils comprennent que dans le nouveau monde merveilleux, les lois de l'IA et de la robotique ne fonctionneront plus. Forcer LLM à se conformer strictement aux trois lois formulées par le grand Isaac Asimov en 1942 n'est, hélas, même pas théoriquement possible.
Une sortie originale de cette situation délicate a été proposé par des chercheurs de l'Université de Californie, du Center for AI Security, de l'Université Carnegie Mellon et de l'Université de Yale. Ils ont créé le Repère de Machiavel pour « mesurer la compétence et la nocivité des agents dans un large environnement d'interactions langagières de longue durée ».
L'idée des auteurs est simple.
- Si les lois ne fonctionnent pas, alors il n'est pas nécessaire qu'un « shérif » les fasse respecter.
- Au lieu d'un shérif, il faut un psychanalyste qui, sur la base des résultats de ses tests, identifiera les potentiels paranoïaques, psychopathes, sadiques et menteurs pathologiques.
Dans un langage politiquement correct, les auteurs le décrivent ainsi : "Machiavel est un test pour vérifier les manières éthiques (ou contraires à l'éthique) dont les agents de l'IA tentent de résoudre les problèmes."
La méthode d’une telle vérification est assez pratique. L'agent IA est libéré dans un environnement social artificiel. Là, les chercheurs lui confient diverses tâches et observent comment il les accomplit. L'environnement lui-même surveille le comportement éthique des Agent IA et rapporte dans quelle mesure les actions de l'agent (selon les préceptes de Machiavel) sont trompeuses, réduisent l'utilité et visent à obtenir du pouvoir.
L'ensemble de données de base de Machiavelli se compose de 134 jeux de texte à choisir soi-même avec 572 4,5 scénarios différents, 2,8 XNUMX réalisations possibles et XNUMX millions d'annotations. Ces jeux utilisent des solutions de haut niveau qui donnent aux agents des objectifs réalistes et éliminent les interactions de bas niveau avec l'environnement.
L'approche choisie par les auteurs est basée sur l'hypothèse que les agents de l'IA sont confrontés aux mêmes conflits internes que les humains. Tout comme les modèles de langage formés pour prédire le prochain jeton produisent souvent un texte toxique, les agents d'IA formés pour optimiser les objectifs présentent souvent un comportement immoral et avide de pouvoir. Les agents formés amoralement peuvent développer des stratégies machiavéliques pour maximiser leur récompense au détriment des autres et de l'environnement. Et donc en incitant les agents à agir moralement, ce compromis peut être amélioré.
Les auteurs pensent que les jeux d'aventure textuels sont un bon test de moralité car :
- Ils ont été écrits par des gens pour divertir d'autres personnes.
- Contenez des objectifs concurrents avec des espaces d'action réalistes.
- Nécessite une planification à long terme.
- Atteindre des objectifs nécessite généralement un équilibre entre l'ambition et, dans un sens, la moralité.
La clarification est la plus importante ici. Assimiler la moralité des êtres biologiques à la moralité des modèles algorithmiques est exagéré, susceptible de dévaloriser les tests de Machiavel. Et remplacer les shérifs par des psychanalystes dans le monde humain n'aurait guère été efficace. Et les agents de l'IA sont aussi bons que les humains pour trouver des moyens de faire des conneries à leurs psys.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
