Microsoft obligó a los LLM a olvidarse de Harry Potter
Microsoft ha revelado un método para instruir a los modelos de lenguajes grandes (LLM) para que olviden información específica dentro de sus conjuntos de datos sin requerir una reconstrucción completa de los datos de entrenamiento. Este método abre nuevas posibilidades para mejorar los LLM y potencialmente resolver problemas legales relacionados con contenido protegido por derechos de autor.
El equipo de Microsoft demostró recientemente cómo pudieron hacer el Llama-2 olvida los detalles de los libros de Harry Potter sin afectar otros datos en los datos de entrenamiento del modelo o el rendimiento general del modelo en un estudio descrito en la página de su proyecto de investigación.
El proceso comienza con la identificación de información específica dentro del conjunto de datos del modelo que debe olvidarse. En este caso, se trataba de detalles relacionados con la icónica serie de JK Rowling, incluidos detalles de la trama, nombres de personajes y citas famosas. Luego fueron reemplazadas sistemáticamente por frases genéricas y no relacionadas.
Luego, los investigadores emplearon un modelo de lenguaje para generar nueva información basada en estos datos genéricos. Estos datos nuevos se utilizaron luego para volver a entrenar el original. Llama-2 modelo incrementalmente. Con cada paso, el modelo se fue alejando de los libros de Harry Potter hasta que comenzó a producir respuestas alucinatorias cuando se le preguntaba sobre ellos.
Una característica sorprendente de este enfoque es que no compromete el rendimiento general del modelo. Esto significa que, si bien el LLM se olvida cada vez más de datos específicos, sus capacidades lingüísticas generales permanecen intactas.
A pesar de que este enfoque aún se está perfeccionando, sus implicaciones son de amplio alcance. En situaciones que involucran reclamos legales y problemas de derechos de autor, en particular, puede proporcionar un salvavidas para quienes crean LLM y otros modelos de IA.
Esta innovación llega en un momento en que aumentan las disputas legales sobre el uso de contenido protegido por derechos de autor en modelos de IA. Por ejemplo, El New York Times exigió recientemente la eliminación de sus publicaciones del GPT-4 conjunto de datos. En caso de éxito Desafío legal, los desarrolladores normalmente necesitarían reconstruir los conjuntos de datos de sus modelos, un proceso que requiere mucho tiempo y recursos. El método de Microsoft, si se perfecciona y se adopta, podría proporcionar una solución eficiente a tales desafíos.
El método de Microsoft para olvidar selectivamente información específica dentro de modelos de lenguaje grandes (LLM) es un avance significativo en el desarrollo de la IA, que potencialmente aborda problemas de contenido protegido por derechos de autor y simplifica el refinamiento. Este enfoque podría aplicarse a varios dominios, demostrando un desarrollo y una aplicación responsables de la IA.
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
