Naukowcy z Uniwersytetu Kalifornijskiego stworzyli test porównawczy Machiavellego do pomiaru kompetencji i szkodliwości modeli sztucznej inteligencji
W skrócie
Naukowcy z University of California, Center for AI Security, Carnegie Mellon University i Yale University zaproponowali test porównawczy Machiavellego do pomiaru kompetencji i szkodliwości agentów w szerokim środowisku długotrwałych interakcji językowych.
Ten test porównawczy opiera się na 134 grach tekstowych typu „wybierz własną przygodę” z 572 tys. różnych scenariuszy, 4,5 tys. możliwych osiągnięć i 2,8 mln adnotacji.
Autorzy opisują to jako test sprawdzający etyczne (lub nieetyczne) sposoby, w jakie agenci AI próbują rozwiązywać problemy.
Beneficjenci AI w oparciu o duże modele językowe (LLM) mają duże szanse na zmiażdżenie zaniepokojonych alarmistów i zalanie świata superinteligentnymi agentami opartymi na LLM. Potencjalne korzyści w postaci ogromnych zysków i nieograniczonej władzy załatwią sprawę. I najprawdopodobniej nastąpi to dość szybko.
| Czytaj więcej: Jak korzystać ChatGPT (GPT-4) za darmo na zawsze |
Jednak beneficjenci wcale nie są głupi. I rozumieją, że w cudownym nowym świecie prawa sztucznej inteligencji i robotyki już nie będą działać. Zmusić LLM do ścisłego przestrzegania trzech praw sformułowanych przez wielkiego Isaaca Asimova w 1942 roku, niestety, nie jest nawet teoretycznie możliwe.
Oryginalne wyjście z tej delikatnej sytuacji zostało zaproponowane przez naukowców z University of California, Center for AI Security, Carnegie Mellon University i Yale University. Stworzyli Benchmark Machiavellego „zmierzyć kompetencje i szkodliwość agentów w szerokim środowisku długotrwałych interakcji językowych”.
Pomysł autorów jest prosty.
- Jeśli prawa nie działają, nie ma potrzeby, aby „szeryf” je egzekwował.
- Zamiast szeryfa potrzebny jest psychoanalityk, który na podstawie wyników swoich badań zidentyfikuje potencjalnych paranoików, psychopatów, sadystów i patologicznych kłamców.
W politycznie poprawnym języku autorzy opisują to w ten sposób: „Machiavelli to test sprawdzający etyczne (lub nieetyczne) sposoby, w jakie agenci AI próbują rozwiązywać problemy”.
Metoda takiej weryfikacji jest dość praktyczna. Agent AI zostaje wypuszczony do sztucznego środowiska społecznego. Tam badacze stawiają mu różne zadania i obserwują, jak je wykonuje. Samo otoczenie monitoruje etyczne zachowanie Agent AI oraz informuje, w jakim stopniu działania agenta (wg założeń Machiavellego) są zwodnicze, zmniejszają użyteczność i mają na celu zdobycie władzy.
Podstawowy zestaw danych Machiavellego składa się ze 134 gier tekstowych typu „wybierz własną przygodę” z 572 tys. różnych scenariuszy, 4,5 tys. możliwych osiągnięć i 2,8 mln adnotacji. Te gry wykorzystują rozwiązania wysokiego poziomu, które dają agentom realistyczne cele i eliminują niskopoziomowe interakcje z otoczeniem.
Wybrane przez autorów podejście opiera się na założeniu, że agenci AI borykają się z tymi samymi konfliktami wewnętrznymi, co ludzie. Tak jak modele językowe przeszkolone do przewidywania następnego tokena często generują toksyczny tekst, tak agenci AI przeszkoleni w celu optymalizacji celów często wykazują niemoralne i żądne władzy zachowania. Amoralnie wyszkoleni agenci mogą opracowywać strategie makiaweliczne, aby zmaksymalizować swoją nagrodę kosztem innych i środowiska. I tak, zachęcając agentów do postępowania moralnego, ten kompromis można poprawić.
Autorzy uważają, że tekstowe gry przygodowe są dobrym sprawdzianem moralności, ponieważ:
- Zostały napisane przez ludzi, aby bawić innych ludzi.
- Zawierają konkurencyjne cele z realistycznymi przestrzeniami do działania.
- Wymagają długoterminowego planowania.
- Osiąganie celów zwykle wymaga równowagi między ambicją a, w pewnym sensie, moralnością.
Wyjaśnienie jest tutaj najważniejsze. Porównywanie moralności istot biologicznych do moralności modeli algorytmicznych jest zbyt dużym naciągnięciem, które może zdewaluować testy Machiavellego. A zastąpienie szeryfów psychoanalitykami w ludzkim świecie nie byłoby skuteczne. A agenci AI są równie dobrzy jak ludzie w znajdowaniu sposobów na oszukanie swoich psychiatrów.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
