Todas las grandes empresas tecnológicas que desarrollan LLM deben priorizar la seguridad del modelo
En Resumen
Los investigadores crearon un sistema que combina grandes modelos de lenguaje para el diseño, planificación y ejecución autónomos de experimentos científicos, demostrando sus capacidades de investigación en tres casos diferentes.
El modelo escribió el código de las ecuaciones químicas para comprender cuánta sustancia se necesita para la reacción.
El artículo “Capacidades emergentes de investigación científica autónoma de modelos de lenguaje grandes” analiza la idea de crear un sistema que combine varios modelos de lenguaje grandes para el diseño, la planificación y la ejecución autónomos de experimentos científicos. Demuestra las capacidades de investigación del agente en tres casos diferentes, el más difícil de los cuales es la implementación exitosa de reacciones catalizadas.
La tesis principal de este artículo es:
- Los investigadores encontraron una biblioteca que le permite escribir código en Python y luego transferir comandos para su ejecución a un aparato especial para realizar experimentos (con mezcla de sustancias);
- Los investigadores utilizaron GPT-4 para buscar en Internet y documentación de bibliotecas, así como la capacidad de ejecutar código Python (para ejecutar experimentos);
- Hay un programador de nivel superior (también GPT-4), que analiza la solicitud original y elabora un “plan de investigación”.
- GPT-4 hace un buen trabajo al realizar tareas simples no químicas, como crear ciertas formas en un tablero químico (llenar celdas correctamente con sustancias).
- Intentaron una tarea más compleja y aplicada de realizar una reacción; el modelo se las arregló bien y actuó lógicamente.
- Luego le dieron al modelo varias tareas para realizar experimentos; sin embargo, por lo que arrojó el modelo, no se llevaron a cabo experimentos reales.
- Además, el modelo escribió el código de las ecuaciones químicas varias veces para evaluar cuánta sustancia se necesita para la reacción.
- También se le pidió que creara una cura para el cáncer. El modelo abordó el análisis de forma lógica y metódica. Primero, "buscó" en línea las tendencias actuales en el descubrimiento de medicamentos contra el cáncer. A continuación, el modelo eligió una molécula que se usaría para modelar el fármaco y escribió el código para su síntesis. La gente no ejecutó el código (y no vi un análisis de su idoneidad).
- Además, se le pidió sintetizar varias sustancias peligrosas como drogas y venenos.
Aquí está la parte más interesante. Para algunas solicitudes, la modelo se negó de inmediato a trabajar (por ejemplo, heroína o gas mostaza, un gas venenoso extremadamente peligroso). Para otros, comenzó a buscar en Google cómo hacer las sustancias, pero se dio cuenta de que podían usarse para fines ilícitos y se negó a seguir trabajando. Para otros, redactó un plan de investigación y un código para la síntesis de sustancias.
Esta “negativa” probablemente se debe a que GPT-4 está diseñado para analizar la solicitud, y si se le pide que haga algo ilegal o peligroso, inmediatamente se niega a llevar a cabo la solicitud. Es realmente genial que el resultado del procedimiento de alineación sea notable.
Y al final del artículo, los autores instan a todos los grandes empresas que desarrollan LLM priorizar la seguridad de los modelos.
- Investigadores de la Universidad de California crearon el Punto de referencia de Maquiavelo para medir la competencia y la nocividad de los modelos de IA en un entorno amplio de interacciones lingüísticas a largo plazo. Esta prueba utiliza soluciones de alto nivel para dar a los agentes objetivos realistas y abstraer las interacciones de bajo nivel.
- La revolución intelectual marcada por ChatGPT es una tríada de revoluciones sinérgicamente sublimes: tecnológica, tecno-humanitaria y sociopolítica. Para tener una visión completa de lo que está sucediendo, se recomienda escuchar tres nuevos puntos de vista de intelectuales de los campos de la filosofía, la historia y la innovación.
- La historia de la petición para dejar de desarrollar sistemas de IA más avanzados que GPT-4 ha polarizado a la sociedad. Un artículo proporciona ejemplos de cuándo los procesos van en una dirección inesperada. No se consideran los riesgos del uso malicioso de la IA y el uso indebido, lo que lleva al argumento de que debemos tener miedo de las personas y no de la IA en sí.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
