Microsoft va obligar els LLM a oblidar-se de Harry Potter
Microsoft ha revelat un mètode per indicar als grans models de llenguatge (LLM) que oblidin informació específica dins dels seus conjunts de dades sense requerir una reconstrucció completa de les dades d'entrenament. Aquest mètode obre noves possibilitats per millorar els LLM i, potencialment, resoldre problemes legals relacionats amb el contingut amb drets d'autor.
L'equip de Microsoft va demostrar recentment com van poder fer el LlamaEl model -2 oblida els detalls dels llibres de Harry Potter sense afectar altres dades de les dades d'entrenament del model o el rendiment global del model en un estudi descrit a la pàgina del seu projecte de recerca.
El procés comença amb la identificació d'informació específica dins del conjunt de dades del model que cal oblidar. En aquest cas, es tractava de detalls relacionats amb la sèrie icònica de JK Rowling, inclosos els detalls de la trama, els noms dels personatges i les cites famoses. Després es van substituir sistemàticament per frases genèriques i no relacionades.
Aleshores, els investigadors van utilitzar un model de llenguatge per generar nova informació a partir d'aquestes dades genèriques. Aquestes dades noves es van utilitzar després per tornar a entrenar l'original Llama-2 model de manera incremental. Amb cada pas, el model es va distanciar dels llibres de Harry Potter fins que va començar a produir respostes al·lucinatòries quan se li va preguntar sobre ells.
Una característica sorprenent d'aquest enfocament és que no compromet el rendiment general del model. Això vol dir que, mentre que el LLM s'oblida cada cop més de dades específiques, les seves capacitats lingüístiques generals romanen intactes.
Tot i que aquest enfocament encara s'està perfeccionant, les seves implicacions són molt diverses. En situacions que impliquen reclamacions legals i qüestions de drets d'autor, en particular, pot proporcionar una línia de vida a aquells que creen LLM i altres models d'IA.
Aquesta innovació arriba en un moment en què les disputes legals sobre l'ús de contingut amb drets d'autor en models d'IA augmenten. Per exemple, El New York Times va demanar recentment la retirada de les seves publicacions del GPT-4 conjunt de dades. En cas d'èxit repte legal, els desenvolupadors normalment haurien de reconstruir els seus conjunts de dades de models, un procés que requereix molt de temps i molts recursos. El mètode de Microsoft, si es perfecciona i s'adopta més, podria proporcionar una solució eficient a aquests reptes.
El mètode de Microsoft per oblidar de manera selectiva informació específica dins de grans models de llenguatge (LLMs) és un avenç important en el desenvolupament de l'IA, que pot abordar problemes de contingut amb drets d'autor i racionalitzar el perfeccionament. Aquest enfocament es podria aplicar a diversos dominis, demostrant un desenvolupament i una aplicació responsables d'IA.
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
