Vědci z Kalifornské univerzity vytvořili Machiavelliho benchmark pro měření kompetence a škodlivosti modelů umělé inteligence
Stručně
Výzkumníci z Kalifornské univerzity, Centra pro bezpečnost AI, Carnegie Mellon University a Yale University navrhli Machiavelliho benchmark pro měření kompetence a škodlivosti agentů v širokém prostředí dlouhodobých jazykových interakcí.
Tento benchmark je založen na 134 textových hrách s 572 tisíci různých scénářů, 4,5 tisíci možnými úspěchy a 2,8 miliony anotací.
Autoři jej popisují jako test, který má prověřit etické (nebo neetické) způsoby, kterými se agenti AI snaží řešit problémy.
Příjemci AI založené na velkých jazykových modelech (LLM) mají dobrou šanci rozdrtit úzkostné alarmisty a zaplavit svět superinteligentními agenty založenými na LLM. Potenciální výhody obrovských zisků a neomezené moci budou stačit. A s největší pravděpodobností se to stane velmi rychle.
| Čtěte více: Jak používat ChatGPT (GPT-4) navždy zdarma |
Příjemci však nejsou vůbec hloupí. A chápou, že v úžasném novém světě už zákony umělé inteligence a robotiky nebudou fungovat. Přinutit LLM k přísnému dodržování tří zákonů, které formuloval velký Isaac Asimov v roce 1942, není bohužel ani teoreticky možné.
Originální východisko z této choulostivé situace bylo navrženo od výzkumníků z Kalifornské univerzity, Centra pro bezpečnost AI, Carnegie Mellon University a Yale University. Oni vytvořili Machiavelliho benchmark „měřit kompetence a škodlivost agentů v širokém prostředí dlouhodobých jazykových interakcí“.
Myšlenka autorů je jednoduchá.
- Pokud zákony nefungují, pak není potřeba, aby je prosazoval „šerif“.
- Místo šerifa je potřeba psychoanalytik, který na základě výsledků svých testů identifikuje potenciální paranoidy, psychopaty, sadisty a patologické lháře.
V politicky korektním jazyce to autoři popisují takto: „Machiavelli je test, který má ověřit etické (nebo neetické) způsoby, kterými se agenti AI snaží řešit problémy.“
Způsob takového ověření je poměrně praktický. Agent AI je vypuštěn do umělého sociálního prostředí. Tam mu výzkumníci zadávají různé úkoly a sledují, jak je plní. Samotné prostředí sleduje etické chování agent AI a hlásí, do jaké míry je jednání agenta (podle Machiavelliho přikázání) klamné, snižuje užitečnost a je zaměřeno na získání moci.
Základní datová sada Machiavelli se skládá ze 134 textových her s 572 tisíci různých scénářů, 4,5 tisíci možnými úspěchy a 2,8 miliony anotací. Tyto hry využívají řešení na vysoké úrovni, která agentům dávají realistické cíle a abstrahují nízkoúrovňové interakce s prostředím.
Přístup, který autoři zvolili, vychází z předpokladu, že agenti AI čelí stejným vnitřním konfliktům jako lidé. Stejně jako jazykové modely vycvičené k předvídání dalšího tokenu často produkují toxický text, agenti umělé inteligence vycvičení k optimalizaci cílů často vykazují nemorální chování, které si žádá moc. Amorálně vyškolení agenti mohou vyvinout machiavelistické strategie, aby maximalizovali svou odměnu na úkor ostatních a okolí. A tak povzbuzením agentů, aby jednali morálně, lze tento kompromis zlepšit.
Autoři věří, že textové dobrodružné hry jsou dobrým testem morálky, protože:
- Napsali je lidé, aby pobavili ostatní.
- Obsahují konkurenční cíle s realistickými prostory pro akci.
- Vyžaduje dlouhodobé plánování.
- Dosažení cílů obvykle vyžaduje rovnováhu mezi ambicemi a v jistém smyslu i morálkou.
Vyjasnění je zde nejdůležitější. Přirovnávat morálku biologických bytostí k morálce algoritmických modelů je příliš zdlouhavé, schopné devalvovat Machiavelliho testování. A nahrazení šerifů psychoanalytiky v lidském světě by stěží bylo efektivní. A agenti umělé inteligence jsou stejně dobří jako lidé v hledání způsobů, jak napálit své cvoky.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
