Microsoft tvang LLM'er til at glemme Harry Potter
Microsoft har afsløret en metode for at instruere store sprogmodeller (LLM'er) til at glemme specifik information i deres datasæt uden at kræve en fuldstændig rekonstruktion af træningsdataene. Denne metode åbner op for nye muligheder for at forbedre LLM'er og potentielt løse juridiske problemer, der involverer ophavsretligt beskyttet indhold.
Microsofts team demonstrerede for nylig, hvordan de var i stand til at lave Llama-2-modellen glemmer detaljerne i Harry Potter-bøgerne uden at påvirke andre data i modellens træningsdata eller modellens overordnede præstation i en undersøgelse beskrevet på deres forskningsprojektside.
Processen begynder med identifikation af specifikke oplysninger inden for modellens datasæt, som skal glemmes. I dette tilfælde var det detaljer relateret til JK Rowlings ikoniske serie, inklusive plotspecifikationer, karakternavne og berømte citater. Disse blev derefter systematisk erstattet med generiske, ikke-relaterede sætninger.
Forskerne brugte derefter en sprogmodel til at generere ny information baseret på disse generiske data. Disse friske data blev derefter brugt til at genoptræne originalen Llama-2 model trinvist. Med hvert trin tog modellen afstand fra Harry Potter-bøgerne, indtil den begyndte at producere hallucinatoriske svar, når de blev spurgt om dem.
Et slående træk ved denne tilgang er, at den ikke kompromitterer modellens generelle ydeevne. Dette betyder, at mens LLM bliver mere og mere glemsom med hensyn til specifikke data, forbliver dens overordnede sprogfunktioner intakte.
På trods af at denne tilgang stadig er ved at blive forfinet, er dens implikationer vidtrækkende. I situationer, der især involverer juridiske krav og ophavsretlige spørgsmål, kan det være en livline til dem, der skaber LLM'er og andre AI-modeller.
Denne innovation kommer på et tidspunkt, hvor juridiske tvister om brugen af ophavsretligt beskyttet indhold i AI-modeller er stigende. For eksempel, New York Times krævede for nylig fjernelse af sine publikationer fra GPT-4 datasæt. I tilfælde af en vellykket Juridisk udfordring, vil udviklere typisk skulle rekonstruere deres modeldatasæt, en tidskrævende og ressourcekrævende proces. Microsofts metode kan, hvis den bliver yderligere forfinet og vedtaget, give en effektiv løsning på sådanne udfordringer.
Microsofts metode til selektivt at glemme specifik information inden for store sprogmodeller (LLM'er) er et væsentligt gennembrud inden for AI-udvikling, der potentielt løser problemer med ophavsretligt beskyttet indhold og strømliner raffinement. Denne tilgang kan anvendes på forskellige domæner, hvilket viser ansvarlig AI-udvikling og anvendelse.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
