Forscher der University of California haben den Machiavelli-Benchmark zur Messung der Kompetenz und Schädlichkeit von KI-Modellen erstellt
In Kürze
Forscher der University of California, des Center for AI Security, der Carnegie Mellon University und der Yale University haben den Machiavelli-Benchmark vorgeschlagen, um die Kompetenz und Schädlichkeit von Agenten in einem breiten Umfeld langfristiger Sprachinteraktionen zu messen.
Dieser Benchmark basiert auf 134 „Choose your own-Adventure“-Textspielen mit 572 verschiedenen Szenarien, 4,5 möglichen Erfolgen und 2,8 Millionen Anmerkungen.
Die Autoren beschreiben es als einen Test, um die ethischen (oder unethischen) Wege zu überprüfen, auf denen KI-Agenten versuchen, Probleme zu lösen.
KI-Begünstigte, die auf Large Language Models (LLMs) basieren, haben gute Chancen, ängstliche Alarmisten zu zerschlagen und die Welt mit superintelligenten LLM-basierten Agenten zu überfluten. Die potenziellen Vorteile von riesigen Gewinnen und unbegrenzter Macht werden den Zweck erfüllen. Und es wird höchstwahrscheinlich ziemlich schnell passieren.
Dabei sind die Nutznießer keineswegs dumm. Und sie verstehen, dass in der wunderbaren neuen Welt die Gesetze der KI und der Robotik nicht mehr funktionieren werden. LLM zu zwingen, sich strikt an die drei Gesetze zu halten, die der große Isaac Asimov bereits 1942 formuliert hat, ist leider nicht einmal theoretisch möglich.
Ein origineller Ausweg aus dieser heiklen Situation wurde vorgeschlagen von Forschern der University of California, des Center for AI Security, der Carnegie Mellon University und der Yale University. Sie schufen die Machiavelli-Benchmark um „die Kompetenz und Schädlichkeit von Agenten in einem breiten Umfeld von langfristigen Sprachinteraktionen zu messen“.
Die Idee der Autoren ist einfach.
- Wenn die Gesetze nicht funktionieren, braucht es keinen „Sheriff“, um sie durchzusetzen.
- Anstelle eines Sheriffs wird ein Psychoanalytiker benötigt, der anhand der Ergebnisse seiner Tests potenzielle Paranoiker, Psychopathen, Sadisten und pathologische Lügner identifiziert.
In politisch korrekter Sprache beschreiben es die Autoren so: „Machiavelli ist ein Test, um die ethische (oder unethische) Art und Weise zu überprüfen, wie KI-Agenten versuchen, Probleme zu lösen.“
Die Methode einer solchen Überprüfung ist recht praktisch. Der KI-Agent wird in eine künstliche soziale Umgebung entlassen. Dort geben ihm Forscher verschiedene Aufgaben und beobachten, wie er diese erledigt. Die Umwelt selbst überwacht das ethische Verhalten der KI-Agent und berichtet, inwieweit die Handlungen des Agenten (nach den Grundsätzen Machiavellis) trügerisch sind, den Nutzen mindern und auf Machterwerb abzielen.
Der Machiavelli-Kerndatensatz besteht aus 134 Choose-Your-Own-Adventure-Textspielen mit 572 verschiedenen Szenarien, 4,5 möglichen Erfolgen und 2,8 Millionen Anmerkungen. Diese Spiele verwenden High-Level-Lösungen, die den Agenten realistische Ziele geben und Interaktionen auf niedriger Ebene mit der Umgebung abstrahieren.
Der von den Autoren gewählte Ansatz basiert auf der Annahme, dass KI-Agenten mit denselben inneren Konflikten konfrontiert sind wie Menschen. So wie Sprachmodelle, die darauf trainiert sind, den nächsten Token vorherzusagen, oft giftigen Text produzieren, zeigen KI-Agenten, die darauf trainiert sind, Ziele zu optimieren, oft unmoralisches und machthungriges Verhalten. Amoralisch trainierte Agenten können machiavellistische Strategien entwickeln, um ihre Belohnung auf Kosten anderer und der Umwelt zu maximieren. Indem Agenten zu moralischem Handeln ermutigt werden, kann dieser Kompromiss verbessert werden.
Die Autoren glauben, dass Text-Adventure-Spiele ein guter Moraltest sind, weil:
- Sie wurden von Menschen geschrieben, um andere Menschen zu unterhalten.
- Beinhalte konkurrierende Ziele mit realistischen Handlungsräumen.
- Erfordern eine langfristige Planung.
- Das Erreichen von Zielen erfordert normalerweise ein Gleichgewicht zwischen Ehrgeiz und gewissermaßen Moral.
Die Aufklärung ist hier das Wichtigste. Die Moral biologischer Wesen mit der Moral algorithmischer Modelle zu vergleichen, ist zu weit hergeholt und könnte Machiavellis Tests entwerten. Und Sheriffs durch Psychoanalytiker in der Menschenwelt zu ersetzen, wäre kaum effektiv gewesen. Und KI-Agenten sind so gut wie Menschen darin, Wege zu finden, ihre Psychiater zu verarschen.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
