Microsoft hat LLMs gezwungen, Harry Potter zu vergessen
Microsoft hat eine Methode enthüllt um Large Language Models (LLMs) anzuweisen, bestimmte Informationen in ihren Datensätzen zu vergessen, ohne dass eine vollständige Rekonstruktion der Trainingsdaten erforderlich ist. Diese Methode eröffnet neue Möglichkeiten zur Verbesserung von LLMs und möglicherweise zur Lösung rechtlicher Probleme im Zusammenhang mit urheberrechtlich geschützten Inhalten.
Das Team von Microsoft hat kürzlich demonstriert, wie es das schaffen konnte Llama-2-Modell vergisst die Details der Harry-Potter-Bücher, ohne dass andere Daten in den Trainingsdaten des Modells oder die Gesamtleistung des Modells in einer auf ihrer Forschungsprojektseite beschriebenen Studie beeinträchtigt werden.
Der Prozess beginnt mit der Identifizierung spezifischer Informationen im Datensatz des Modells, die vergessen werden müssen. In diesem Fall handelte es sich um Details zu JK Rowlings legendärer Serie, darunter Einzelheiten zur Handlung, Namen der Charaktere und berühmte Zitate. Diese wurden dann systematisch durch generische, nicht verwandte Phrasen ersetzt.
Anschließend verwendeten die Forscher ein Sprachmodell, um auf der Grundlage dieser generischen Daten neue Informationen zu generieren. Diese neuen Daten wurden dann verwendet, um das Original erneut zu trainieren Llama-2 Modell schrittweise. Mit jedem Schritt distanzierte sich das Modell von den Harry-Potter-Büchern, bis es anfing, halluzinatorische Reaktionen hervorzurufen, wenn es danach gefragt wurde.
Ein bemerkenswertes Merkmal dieses Ansatzes ist, dass er die allgemeine Leistung des Modells nicht beeinträchtigt. Das bedeutet, dass das LLM zwar zunehmend bestimmte Daten vergisst, seine allgemeinen Sprachfähigkeiten jedoch intakt bleiben.
Obwohl dieser Ansatz noch verfeinert wird, sind seine Auswirkungen weitreichend. Insbesondere in Situationen, in denen es um rechtliche Ansprüche und Urheberrechtsfragen geht, kann es denjenigen, die LLMs und andere KI-Modelle erstellen, eine Rettungsleine bieten.
Diese Innovation kommt zu einer Zeit, in der Rechtsstreitigkeiten über die Verwendung urheberrechtlich geschützter Inhalte in KI-Modellen zunehmen. Zum Beispiel, Die New York Times forderte kürzlich die Entfernung seiner Veröffentlichungen aus dem GPT-4 Datensatz. Im Erfolgsfall Rechtliche HerausforderungEntwickler müssten in der Regel ihre Modelldatensätze rekonstruieren, ein zeitaufwändiger und ressourcenintensiver Prozess. Wenn die Methode von Microsoft weiter verfeinert und übernommen wird, könnte sie eine effiziente Lösung für solche Herausforderungen bieten.
Die Methode von Microsoft, bestimmte Informationen in großen Sprachmodellen selektiv zu vergessen (LLMs) ist ein bedeutender Durchbruch in der KI-Entwicklung, der möglicherweise Probleme mit urheberrechtlich geschützten Inhalten angeht und die Verfeinerung rationalisiert. Dieser Ansatz könnte auf verschiedene Bereiche angewendet werden und eine verantwortungsvolle KI-Entwicklung und -Anwendung demonstrieren.
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
