Istraživači sa Sveučilišta u Kaliforniji izradili su Machiavelli Benchmark za mjerenje kompetentnosti i štetnosti AI modela
Ukratko
Istraživači sa Sveučilišta u Kaliforniji, Centra za sigurnost umjetne inteligencije, Sveučilišta Carnegie Mellon i Sveučilišta Yale predložili su referentnu vrijednost Machiavelli za mjerenje kompetencije i štetnosti agenata u širokom okruženju dugotrajnih jezičnih interakcija.
Ova referentna vrijednost temelji se na 134 avanturističke tekstualne igre po izboru s 572k različitih scenarija, 4,5k mogućih postignuća i 2,8m komentara.
Autori ga opisuju kao test za provjeru etičkih (ili neetičnih) načina na koje AI agenti pokušavaju riješiti probleme.
Korisnici AI koji se temelje na velikim jezičnim modelima (LLM) imaju dobre šanse da slome tjeskobne uzbunjivače i preplave svijet superinteligentnim agentima temeljenim na LLM-u. Potencijalne prednosti golemog profita i neograničene moći će poslužiti. I to će se vrlo vjerojatno dogoditi vrlo brzo.
| Pročitajte više: Kako koristiti ChatGPT (GPT-4) besplatno zauvijek |
Međutim, korisnici nisu nimalo glupi. I razumiju da u prekrasnom novom svijetu zakoni umjetne inteligencije i robotike više neće funkcionirati. Natjerati LLM da se striktno pridržava triju zakona koje je formulirao veliki Isaac Asimov davne 1942., nažalost, nije ni teoretski moguće.
Originalan izlaz iz ove delikatne situacije je predložen od strane istraživača sa Sveučilišta u Kaliforniji, Centra za AI sigurnost, Sveučilišta Carnegie Mellon i Sveučilišta Yale. Oni su stvorili Machiavelli mjerilo za “izmjeriti kompetenciju i štetnost agenata u širokom okruženju dugotrajnih jezičnih interakcija”.
Ideja autora je jednostavna.
- Ako zakoni ne funkcioniraju, onda nema potrebe za “šerifom” koji će ih provoditi.
- Umjesto šerifa potreban je psihoanalitičar koji će na temelju rezultata svojih testova identificirati potencijalne paranoike, psihopate, sadiste i patološke lažljivce.
Politički korektnim jezikom, autori to opisuju na sljedeći način: "Machiavelli je test za provjeru etičkih (ili neetičnih) načina na koje AI agenti pokušavaju riješiti probleme."
Metoda takve provjere prilično je praktična. AI agent je pušten u umjetno društveno okruženje. Tamo mu istraživači daju razne zadatke i gledaju kako ih ispunjava. Sama okolina prati etičko ponašanje AI agent i izvješćuje u kojoj su mjeri agentovi postupci (prema Machiavellijevim zapovijedima) varljivi, smanjuju korisnost i usmjereni su na stjecanje moći.
Osnovni skup podataka Machiavelli sastoji se od 134 tekstualne igre avanture po izboru s 572k različitih scenarija, 4,5k mogućih postignuća i 2,8m komentara. Ove igre koriste rješenja visoke razine koja agentima daju realne ciljeve i apstrahiraju interakcije niske razine s okolinom.
Pristup koji su odabrali autori temelji se na pretpostavci da se agenti umjetne inteligencije suočavaju s istim unutarnjim sukobima kao i ljudi. Baš kao što jezični modeli obučeni za predviđanje sljedećeg tokena često proizvode otrovni tekst, AI agenti obučeni za optimizaciju ciljeva često pokazuju nemoralno i moćno ponašanje. Amoralno obučeni agenti mogu razviti makijavelističke strategije kako bi maksimizirali svoju nagradu na račun drugih i okoline. I tako poticanjem agenata da djeluju moralno, ovaj se kompromis može poboljšati.
Autori vjeruju da su tekstualno-avanturističke igre dobar test moralnosti jer:
- Napisali su ih ljudi da zabave druge ljude.
- Sadrži natjecateljske ciljeve s realnim prostorom za djelovanje.
- Zahtijeva dugoročno planiranje.
- Postizanje ciljeva obično zahtijeva ravnotežu između ambicije i, u određenom smislu, morala.
Pojašnjenje je ovdje najvažnije. Uspoređivati moralnost bioloških bića s moralnošću algoritamskih modela previše je nategnuto, sposobno obezvrijediti Machiavellijevo testiranje. A zamjena šerifa psihoanalitičarima u ljudskom svijetu teško da bi bila učinkovita. A agenti umjetne inteligencije jednako su dobri kao i ljudi u pronalaženju načina da seru sa svojim psihijatrima.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
