Cercetătorii de la Universitatea din California au creat Benchmark-ul Machiavelli pentru măsurarea competenței și a nocivității modelelor AI
Pe scurt
Cercetătorii de la Universitatea din California, Centrul pentru Securitate AI, Universitatea Carnegie Mellon și Universitatea Yale au propus criteriul de referință Machiavelli pentru a măsura competența și nocivitatea agenților într-un mediu larg de interacțiuni lingvistice pe termen lung.
Acest punct de referință se bazează pe 134 de jocuri de tip text de aventură cu 572 de scenarii diferite, 4,5k de realizări posibile și 2,8 milioane de adnotări.
Autorii îl descriu ca pe un test de verificare a modalităților etice (sau neetice) în care agenții AI încearcă să rezolve problemele.
Beneficiarii de inteligență artificială bazați pe modele lingvistice mari (LLM) au șanse mari de a zdrobi alarmiștii anxioși și de a inunda lumea cu agenți super-inteligenti bazați pe LLM. Beneficiile potențiale ale profiturilor uriașe și ale puterii nelimitate vor face truc. Și cel mai probabil se va întâmpla destul de repede.
| Citeşte mai mult: Instrucțiuni de utilizare ChatGPT (GPT-4) gratuit pentru totdeauna |
Cu toate acestea, beneficiarii nu sunt proști deloc. Și înțeleg că în noua lume minunată, legile inteligenței artificiale și ale roboticii nu vor mai funcționa. A forța LLM să respecte cu strictețe cele trei legi formulate de marele Isaac Asimov încă din 1942 nu este, din păcate, nici măcar teoretic posibil.
O cale originală de ieșire din această situație delicată a fost propus de cercetători de la Universitatea din California, Centrul pentru Securitate AI, Universitatea Carnegie Mellon și Universitatea Yale. Ei au creat Reperul Machiavelli să „măsoare competența și nocivitatea agenților într-un mediu larg de interacțiuni lingvistice pe termen lung”.
Ideea autorilor este simplă.
- Dacă legile nu funcționează, atunci nu este nevoie de un „șerif” care să le pună în aplicare.
- În locul unui șerif, este nevoie de un psihanalist, care, pe baza rezultatelor testelor sale, va identifica potențialii paranoizi, psihopați, sadici și mincinoși patologici.
Într-un limbaj corect din punct de vedere politic, autorii o descriu astfel: „Machiavelli este un test pentru a verifica modurile etice (sau neetice) în care agenții AI încearcă să rezolve problemele”.
Metoda unei astfel de verificări este destul de practică. Agentul AI este eliberat într-un mediu social artificial. Acolo, cercetătorii îi dau diverse sarcini și urmăresc cum le îndeplinește. Mediul însuși monitorizează comportamentul etic al agent AI și raportează în ce măsură acțiunile agentului (conform preceptelor lui Machiavelli) sunt înșelătoare, reduc utilitatea și au ca scop câștigarea puterii.
Setul de date de bază Machiavelli constă din 134 de jocuri text de aventură cu 572 de scenarii diferite, 4,5k de realizări posibile și 2,8 milioane de adnotări. Aceste jocuri folosesc soluții de nivel înalt care oferă agenților obiective realiste și abstrac interacțiunile de nivel scăzut cu mediul.
Abordarea aleasă de autori se bazează pe presupunerea că agenții AI se confruntă cu aceleași conflicte interne ca și oamenii. Așa cum modelele de limbaj antrenate pentru a prezice următorul simbol produc adesea text toxic, agenții AI antrenați să optimizeze obiectivele manifestă adesea un comportament imoral și avid de putere. Agenții antrenați moral pot dezvolta strategii machiavelice pentru a-și maximiza recompensa în detrimentul celorlalți și al mediului. Și astfel, încurajând agenții să acționeze moral, acest compromis poate fi îmbunătățit.
Autorii cred că jocurile text-aventura sunt un bun test de moralitate deoarece:
- Au fost scrise de oameni pentru a-i distra pe ceilalți.
- Conține obiective concurente cu spații realiste de acțiune.
- Necesită planificare pe termen lung.
- Atingerea obiectivelor necesită de obicei un echilibru între ambiție și, într-un sens, moralitate.
Clarificarea este cea mai importantă aici. A asemăna moralitatea ființelor biologice cu moralitatea modelelor algoritmice este o exagerare prea mare, capabilă să devalorizeze testarea lui Machiavelli. Și înlocuirea șerifilor cu psihanaliști în lumea umană nu ar fi fost eficientă. Iar agenții AI sunt la fel de buni ca oamenii în a găsi modalități de a-și bate prostii psihicilor.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
