Microsoft tvingade LLM:er att glömma Harry Potter
Microsoft har avslöjat en metod för att instruera stora språkmodeller (LLM) att glömma specifik information i sina datauppsättningar utan att kräva en fullständig rekonstruktion av träningsdata. Den här metoden öppnar nya möjligheter för att förbättra LLM:er och potentiellt lösa juridiska frågor som rör upphovsrättsskyddat innehåll.
Microsofts team visade nyligen hur de kunde göra Llama-2-modellen glömmer detaljerna i Harry Potter-böckerna utan att påverka andra data i modellens träningsdata eller modellens övergripande prestanda i en studie som beskrivs på deras forskningsprojektsida.
Processen börjar med identifieringen av specifik information inom modellens dataset som behöver glömmas bort. I det här fallet var det detaljer relaterade till JK Rowlings ikoniska serie, inklusive handlingsdetaljer, karaktärsnamn och berömda citat. Dessa ersattes sedan systematiskt med generiska, orelaterade fraser.
Forskarna använde sedan en språkmodell för att generera ny information baserad på dessa generiska data. Dessa färska data användes sedan för att omskola originalet Llama-2 modell stegvis. Med varje steg tog modellen avstånd från Harry Potter-böckerna tills den började producera hallucinatoriska svar när den frågades om dem.
Ett slående drag i detta tillvägagångssätt är att det inte äventyrar modellens allmänna prestanda. Detta innebär att även om LLM blir alltmer glömsk över specifik data, förblir dess övergripande språkkapacitet intakt.
Trots att detta tillvägagångssätt fortfarande förfinas, är dess implikationer vidsträckta. I situationer som involverar juridiska anspråk och upphovsrättsfrågor, i synnerhet, kan det ge en livlina för dem som skapar LLM:er och andra AI-modeller.
Denna innovation kommer vid en tidpunkt då juridiska tvister om användningen av upphovsrättsskyddat innehåll i AI-modeller ökar. Till exempel, New York Times krävde nyligen borttagningen av dess publikationer från GPT-4 dataset. Vid en lyckad Juridisk utmaning, skulle utvecklare vanligtvis behöva rekonstruera sina modelldatauppsättningar, en tidskrävande och resurskrävande process. Microsofts metod kan, om den förfinas och antas ytterligare, ge en effektiv lösning på sådana utmaningar.
Microsofts metod för att selektivt glömma specifik information inom stora språkmodeller (LLM) är ett betydande genombrott inom AI-utveckling, som potentiellt tar itu med upphovsrättsskyddat innehåll och effektiviserar förfining. Detta tillvägagångssätt kan tillämpas på olika domäner, vilket visar ansvarsfull AI-utveckling och tillämpning.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
