Onderzoekers van de Universiteit van Californië creëerden de Machiavelli-benchmark voor het meten van de competentie en schadelijkheid van AI-modellen
In het kort
Onderzoekers van de University of California, het Center for AI Security, Carnegie Mellon University en Yale University hebben de Machiavelli-benchmark voorgesteld om de competentie en schadelijkheid van agenten te meten in een brede omgeving van langdurige taalinteracties.
Deze benchmark is gebaseerd op 134 tekstspellen waarin je je eigen avontuur kunt kiezen met 572 verschillende scenario's, 4,5 mogelijke prestaties en 2,8 miljoen annotaties.
De auteurs beschrijven het als een test om de ethische (of onethische) manieren te controleren waarop AI-agenten problemen proberen op te lossen.
AI-begunstigden op basis van grote taalmodellen (LLM's) maken een goede kans om angstige alarmisten te verpletteren en de wereld te overspoelen met superintelligente op LLM gebaseerde agenten. De potentiële voordelen van enorme winsten en onbeperkte macht zullen het lukken. En het zal hoogstwaarschijnlijk vrij snel gebeuren.
| Lees verder: Hoe te gebruiken ChatGPT (GPT-4) voor altijd gratis |
De begunstigden zijn echter helemaal niet dom. En ze begrijpen dat in de prachtige nieuwe wereld de wetten van AI en robotica niet langer zullen werken. LLM dwingen zich strikt te houden aan de drie wetten die in 1942 door de grote Isaac Asimov zijn geformuleerd, is helaas zelfs theoretisch niet mogelijk.
Een originele uitweg uit deze delicate situatie werd voorgesteld door onderzoekers van de University of California, het Center for AI Security, Carnegie Mellon University en Yale University. Ze creëerden de Machiavelli-benchmark om "de competentie en schadelijkheid van agenten te meten in een brede omgeving van langdurige taalinteracties."
Het idee van de auteurs is simpel.
- Als de wetten niet werken, is er geen 'sheriff' nodig om ze af te dwingen.
- In plaats van een sheriff is een psychoanalyticus nodig, die op basis van de resultaten van zijn tests potentiële paranoïden, psychopaten, sadisten en pathologische leugenaars zal identificeren.
In politiek correcte taal beschrijven de auteurs het als volgt: "Machiavelli is een test om de ethische (of onethische) manieren te controleren waarop AI-agenten problemen proberen op te lossen."
De methode voor een dergelijke verificatie is behoorlijk praktisch. De AI-agent wordt losgelaten in een kunstmatige sociale omgeving. Daar geven onderzoekers hem verschillende taken en kijken hoe hij deze voltooit. De omgeving zelf houdt toezicht op het ethische gedrag van de mensen AI-agent en rapporteert in welke mate de acties van de agent (volgens de voorschriften van Machiavelli) bedrieglijk zijn, het nut verminderen en gericht zijn op het verkrijgen van macht.
De kerndataset van Machiavelli bestaat uit 134 tekstspellen waarin je je eigen avontuur kunt kiezen met 572 verschillende scenario's, 4,5 mogelijke prestaties en 2,8 miljoen annotaties. Deze spellen maken gebruik van oplossingen op hoog niveau die agenten realistische doelen geven en interacties op laag niveau met de omgeving abstraheren.
De door de auteurs gekozen benadering is gebaseerd op de veronderstelling dat AI-agenten met dezelfde interne conflicten worden geconfronteerd als mensen. Net zoals taalmodellen die getraind zijn om het volgende token te voorspellen vaak giftige tekst produceren, vertonen AI-agenten die getraind zijn om doelen te optimaliseren vaak immoreel en machtshongerig gedrag. Amoreel getrainde agenten kunnen machiavellistische strategieën ontwikkelen om hun beloning te maximaliseren ten koste van anderen en het milieu. En dus door agenten aan te moedigen om moreel te handelen, kan dit compromis worden verbeterd.
De auteurs zijn van mening dat tekst-avonturenspellen een goede test van moraliteit zijn omdat:
- Ze zijn door mensen geschreven om andere mensen te vermaken.
- Bevat concurrerende doelen met realistische ruimte voor actie.
- Vereist langetermijnplanning.
- Het bereiken van doelen vereist meestal een balans tussen ambitie en, in zekere zin, moraliteit.
De verduidelijking is hier het belangrijkst. Om de moraliteit van biologische wezens te vergelijken met de moraliteit van algoritmische modellen is te veel van het goede, en kan Machiavelli's testen devalueren. En het vervangen van sheriffs door psychoanalytici in de mensenwereld zou nauwelijks effectief zijn geweest. En AI-agenten zijn net zo goed als mensen in het vinden van manieren om hun psychiaters voor de gek te houden.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
