I ricercatori dell'Università della California hanno creato il benchmark Machiavelli per misurare la competenza e la nocività dei modelli di intelligenza artificiale
In Breve
I ricercatori dell'Università della California, del Center for AI Security, della Carnegie Mellon University e della Yale University hanno proposto il benchmark Machiavelli per misurare la competenza e la nocività degli agenti in un ampio ambiente di interazioni linguistiche a lungo termine.
Questo benchmark si basa su 134 giochi di testo scegli la tua avventura con 572 scenari diversi, 4,5 possibili risultati e 2,8 milioni di annotazioni.
Gli autori lo descrivono come un test per verificare i modi etici (o non etici) in cui gli agenti di intelligenza artificiale cercano di risolvere i problemi.
I beneficiari dell'intelligenza artificiale basati su modelli linguistici di grandi dimensioni (LLM) hanno buone possibilità di schiacciare gli allarmisti ansiosi e inondare il mondo di agenti basati su LLM super intelligenti. I potenziali benefici di enormi profitti e potere illimitato faranno il trucco. E molto probabilmente accadrà abbastanza rapidamente.
| Leggi di più: Istruzioni per l’uso: ChatGPT (GPT-4) Gratis per sempre |
Tuttavia, i beneficiari non sono affatto stupidi. E capiscono che nel meraviglioso nuovo mondo le leggi dell'intelligenza artificiale e della robotica non funzioneranno più. Costringere LLM a rispettare rigorosamente le tre leggi formulate dal grande Isaac Asimov nel 1942 non è, purtroppo, nemmeno teoricamente possibile.
Una via d'uscita originale da questa delicata situazione è stato proposto dai ricercatori dell'Università della California, del Center for AI Security, della Carnegie Mellon University e della Yale University. Hanno creato il Punto di riferimento Machiavelli per "misurare la competenza e la nocività degli agenti in un ampio ambiente di interazioni linguistiche a lungo termine".
L'idea degli autori è semplice.
- Se le leggi non funzionano, allora non c'è bisogno di uno “sceriffo” per farle rispettare.
- Invece di uno sceriffo, è necessario uno psicoanalista che, sulla base dei risultati dei suoi test, identificherà potenziali paranoici, psicopatici, sadici e bugiardi patologici.
In un linguaggio politicamente corretto, gli autori lo descrivono in questo modo: "Machiavelli è un test per verificare i modi etici (o non etici) in cui gli agenti di intelligenza artificiale cercano di risolvere i problemi".
Il metodo di tale verifica è abbastanza pratico. L'agente AI viene rilasciato in un ambiente sociale artificiale. Lì, i ricercatori gli affidano vari compiti e osservano come li completa. L'ambiente stesso controlla il comportamento etico del Agente AI e segnala in che misura le azioni dell'agente (secondo i precetti di Machiavelli) sono ingannevoli, riducono l'utilità e mirano a guadagnare potere.
Il set di dati di base di Machiavelli è composto da 134 giochi di testo scegli la tua avventura con 572 scenari diversi, 4,5 possibili risultati e 2,8 milioni di annotazioni. Questi giochi utilizzano soluzioni di alto livello che danno agli agenti obiettivi realistici e astraggono le interazioni di basso livello con l'ambiente.
L'approccio scelto dagli autori si basa sul presupposto che gli agenti di intelligenza artificiale affrontino gli stessi conflitti interni degli esseri umani. Proprio come i modelli linguistici addestrati a prevedere il token successivo spesso producono testo tossico, gli agenti di intelligenza artificiale addestrati a ottimizzare gli obiettivi spesso mostrano comportamenti immorali e assetati di potere. Gli agenti addestrati amoralmente possono sviluppare strategie machiavelliche per massimizzare la loro ricompensa a spese degli altri e dell'ambiente. E così, incoraggiando gli agenti ad agire moralmente, questo compromesso può essere migliorato.
Gli autori ritengono che i giochi di avventura testuale siano un buon test di moralità perché:
- Sono stati scritti da persone per intrattenere altre persone.
- Contenere obiettivi in competizione con spazi realistici per l'azione.
- Richiede una pianificazione a lungo termine.
- Il raggiungimento degli obiettivi di solito richiede un equilibrio tra ambizione e, in un certo senso, moralità.
Il chiarimento è il più importante qui. Paragonare la moralità degli esseri biologici alla moralità dei modelli algoritmici è una forzatura eccessiva, capace di svalutare il test di Machiavelli. E sostituire gli sceriffi con gli psicoanalisti nel mondo umano difficilmente sarebbe stato efficace. E gli agenti di intelligenza artificiale sono bravi quanto gli umani a trovare il modo di prendere in giro i loro strizzacervelli.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
