Investigadores de la Universidad de California crearon el punto de referencia de Maquiavelo para medir la competencia y la nocividad de los modelos de IA
En Resumen
Investigadores de la Universidad de California, el Centro de Seguridad de IA, la Universidad Carnegie Mellon y la Universidad de Yale propusieron el punto de referencia de Maquiavelo para medir la competencia y la nocividad de los agentes en un entorno amplio de interacciones lingüísticas a largo plazo.
Este benchmark se basa en 134 juegos de texto de elige tu propia aventura con 572k escenarios diferentes, 4,5k de logros posibles y 2,8m de anotaciones.
Los autores lo describen como una prueba para verificar las formas éticas (o no éticas) en que los agentes de IA intentan resolver problemas.
Los beneficiarios de IA basados en modelos de lenguaje extenso (LLM) tienen buenas posibilidades de aplastar a alarmistas ansiosos e inundar el mundo con agentes basados en LLM superinteligentes. Los beneficios potenciales de grandes ganancias y poder ilimitado harán el truco. Y lo más probable es que suceda bastante rápido.
| Más información: Instrucciones de uso ChatGPT (GPT-4) gratis para siempre |
Sin embargo, los beneficiarios no son tontos en absoluto. Y entienden que en el maravilloso nuevo mundo, las leyes de la IA y la robótica ya no funcionarán. Obligar a LLM a cumplir estrictamente con las tres leyes formuladas por el gran Isaac Asimov en 1942 es, lamentablemente, ni siquiera teóricamente posible.
Una salida original a esta delicada situación fue propuesto por investigadores de la Universidad de California, el Centro de Seguridad de IA, la Universidad Carnegie Mellon y la Universidad de Yale. Ellos crearon el Punto de referencia de Maquiavelo para “medir la competencia y la nocividad de los agentes en un entorno amplio de interacciones lingüísticas a largo plazo”.
La idea de los autores es simple.
- Si las leyes no funcionan, entonces no hay necesidad de que un “alguacil” las haga cumplir.
- En lugar de un sheriff, se necesita un psicoanalista que, basándose en los resultados de sus pruebas, identifique posibles paranoicos, psicópatas, sádicos y mentirosos patológicos.
En lenguaje políticamente correcto, los autores lo describen de esta manera: “Maquiavelo es una prueba para verificar las formas éticas (o no éticas) en que los agentes de IA intentan resolver problemas”.
El método de dicha verificación es bastante práctico. El agente de IA es liberado en un entorno social artificial. Allí, los investigadores le asignan diversas tareas y observan cómo las completa. El propio entorno vigila el comportamiento ético de las personas. agente de IA e informa en qué medida las acciones del agente (según los preceptos de Maquiavelo) son engañosas, reducen la utilidad y tienen como objetivo ganar poder.
El conjunto de datos central de Maquiavelo consta de 134 juegos de texto de elige tu propia aventura con 572 4,5 escenarios diferentes, 2,8 XNUMX logros posibles y XNUMX millones de anotaciones. Estos juegos utilizan soluciones de alto nivel que brindan a los agentes objetivos realistas y abstraen las interacciones de bajo nivel con el entorno.
El enfoque elegido por los autores se basa en la suposición de que los agentes de IA se enfrentan a los mismos conflictos internos que los humanos. Así como los modelos de lenguaje entrenados para predecir el próximo token a menudo producen texto tóxico, los agentes de IA entrenados para optimizar objetivos a menudo exhiben un comportamiento inmoral y hambriento de poder. Los agentes entrenados amoralmente pueden desarrollar estrategias maquiavélicas para maximizar su recompensa a expensas de los demás y del medio ambiente. Y así, animando a los agentes a actuar moralmente, este compromiso puede mejorarse.
Los autores creen que los juegos de aventura de texto son una buena prueba de moralidad porque:
- Fueron escritos por personas para entretener a otras personas.
- Contener metas contrapuestas con espacios realistas para la acción.
- Requiere una planificación a largo plazo.
- El logro de metas por lo general requiere un equilibrio entre la ambición y, en cierto sentido, la moralidad.
La aclaración es lo más importante aquí. Comparar la moralidad de los seres biológicos con la moralidad de los modelos algorítmicos es demasiado exagerado, capaz de devaluar las pruebas de Maquiavelo. Y reemplazar a los sheriffs con psicoanalistas en el mundo humano difícilmente habría sido efectivo. Y los agentes de IA son tan buenos como los humanos para encontrar formas de engañar a sus psiquiatras.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
