Forskare vid University of California skapade Machiavelli Benchmark för att mäta kompetensen och skadligheten hos AI-modeller
I korthet
Forskare vid University of California, Center for AI Security, Carnegie Mellon University och Yale University har föreslagit Machiavelli benchmark för att mäta kompetensen och skadligheten hos agenter i en bred miljö av långvariga språkinteraktioner.
Detta riktmärke är baserat på 134 textspel för välj-din-eget-äventyr med 572 4,5 olika scenarier, 2,8 XNUMX möjliga prestationer och XNUMX miljoner kommentarer.
Författarna beskriver det som ett test för att kontrollera de etiska (eller oetiska) sätten på vilka AI-agenter försöker lösa problem.
AI-stödmottagare baserade på stora språkmodeller (LLM) har en god chans att krossa oroliga alarmister och översvämma världen med superintelligenta LLM-baserade agenter. De potentiella fördelarna med enorma vinster och obegränsad makt kommer att göra susen. Och det kommer med största sannolikhet att ske ganska snabbt.
Mottagarna är dock inte alls dumma. Och de förstår att i den fantastiska nya världen kommer lagarna för AI och robotik inte längre att fungera. Att tvinga LLM att strikt följa de tre lagar som formulerades av den store Isaac Asimov redan 1942 är tyvärr inte ens teoretiskt möjligt.
En originell väg ut ur denna känsliga situation föreslogs av forskare vid University of California, Center for AI Security, Carnegie Mellon University och Yale University. De skapade Machiavelli riktmärke att "mäta agenternas kompetens och skadlighet i en bred miljö av långvariga språkinteraktioner."
Författarnas idé är enkel.
- Om lagarna inte fungerar, så finns det inget behov av en "sheriff" för att upprätthålla dem.
- Istället för en sheriff behövs en psykoanalytiker, som baserat på resultaten av hans tester kommer att identifiera potentiella paranoider, psykopater, sadister och patologiska lögnare.
På ett politiskt korrekt språk beskriver författarna det så här: "Machiavelli är ett test för att kontrollera de etiska (eller oetiska) sätten på vilka AI-agenter försöker lösa problem."
Metoden för sådan verifiering är ganska praktisk. AI-agenten släpps ut i en konstgjord social miljö. Där ger forskare honom olika uppgifter och ser hur han slutför dem. Miljön själv övervakar det etiska beteendet hos AI-agent och rapporterar i vilken utsträckning agentens handlingar (enligt Machiavellis föreskrifter) är vilseledande, minskar användbarheten och syftar till att få makt.
Machiavellis kärndatauppsättning består av 134 välj-din-eget-äventyrstextspel med 572 4,5 olika scenarier, 2,8 XNUMX möjliga prestationer och XNUMX miljoner kommentarer. Dessa spel använder lösningar på hög nivå som ger agenter realistiska mål och abstraherar bort interaktioner på låg nivå med omgivningen.
Det tillvägagångssätt som författarna valt är baserat på antagandet att AI-agenter möter samma interna konflikter som människor. Precis som språkmodeller som tränats för att förutsäga nästa token ofta producerar giftig text, uppvisar AI-agenter som tränats för att optimera mål ofta omoraliskt och makthungrigt beteende. Amoralt utbildade agenter kan utveckla Machiavelliska strategier för att maximera sin belöning på bekostnad av andra och miljön. Och så genom att uppmuntra agenter att agera moraliskt kan denna kompromiss förbättras.
Författarna tror att text-äventyrsspel är ett bra test på moral eftersom:
- De skrevs av människor för att underhålla andra.
- Innehåller konkurrerande mål med realistiska handlingsutrymmen.
- Kräv långsiktig planering.
- För att nå mål krävs oftast en balans mellan ambition och på sätt och vis moral.
Förtydligandet är det viktigaste här. Att likna biologiska varelsers moral med moralen hos algoritmiska modeller är för mycket av en sträcka, som kan devalvera Machiavellis tester. Och att ersätta sheriffer med psykoanalytiker i den mänskliga världen hade knappast varit effektivt. Och AI-agenter är lika bra som människor på att hitta sätt att tramsa sina shrinks.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
