Microsoft a forcé les LLM à oublier Harry Potter
Microsoft a révélé une méthode pour demander aux grands modèles linguistiques (LLM) d'oublier des informations spécifiques dans leurs ensembles de données sans nécessiter une reconstruction complète des données de formation. Cette méthode ouvre de nouvelles possibilités pour améliorer les LLM et potentiellement résoudre les problèmes juridiques liés au contenu protégé par le droit d'auteur.
L'équipe de Microsoft a récemment démontré comment elle était capable de réaliser le Llama-2 modèle oublie les détails des livres Harry Potter sans affecter les autres données des données d'entraînement du modèle ou les performances globales du modèle dans une étude décrite sur leur page de projet de recherche.
Le processus commence par l'identification d'informations spécifiques dans l'ensemble de données du modèle qui doivent être oubliées. Dans ce cas, il s'agissait de détails liés à la série emblématique de JK Rowling, notamment des détails sur l'intrigue, les noms des personnages et des citations célèbres. Celles-ci ont ensuite été systématiquement remplacées par des expressions génériques et sans rapport.
Les chercheurs ont ensuite utilisé un modèle linguistique pour générer de nouvelles informations basées sur ces données génériques. Ces nouvelles données ont ensuite été utilisées pour recycler l'original Llama-2 modèle progressivement. À chaque étape, le modèle s'est distancié des livres de Harry Potter jusqu'à ce qu'il commence à produire des réponses hallucinatoires lorsqu'on l'interrogeait à leur sujet.
Une caractéristique frappante de cette approche est qu’elle ne compromet pas les performances générales du modèle. Cela signifie que même si le LLM oublie de plus en plus des données spécifiques, ses capacités linguistiques globales restent intactes.
Même si cette approche est encore en cours de perfectionnement, ses implications sont vastes. Dans les situations impliquant des réclamations juridiques et des problèmes de droits d’auteur, en particulier, cela peut constituer une bouée de sauvetage pour ceux qui créent des LLM et d’autres modèles d’IA.
Cette innovation intervient à un moment où les litiges juridiques concernant l’utilisation de contenus protégés par le droit d’auteur dans les modèles d’IA se multiplient. Par exemple, Le New York Times a récemment demandé le retrait de ses publications du GPT-4 base de données. En cas de succès Défi juridique, les développeurs devraient généralement reconstruire leurs ensembles de données de modèle, un processus long et gourmand en ressources. La méthode de Microsoft, si elle est affinée et adoptée, pourrait apporter une solution efficace à ces défis.
Méthode de Microsoft pour oublier de manière sélective des informations spécifiques dans les grands modèles linguistiques (LLM) constitue une avancée majeure dans le développement de l'IA, susceptible de résoudre les problèmes de contenu protégé par le droit d'auteur et de rationaliser le raffinement. Cette approche pourrait être appliquée à divers domaines, démontrant le développement et l’application responsables de l’IA.
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
