Microsoft je prisilio LLM-e da zaborave na Harryja Pottera
Microsoft je otkrio metodu za upućivanje velikih jezičnih modela (LLM) da zaborave određene informacije unutar svojih skupova podataka bez potrebe za potpunom rekonstrukcijom podataka za obuku. Ova metoda otvara nove mogućnosti za poboljšanje LLM-a i potencijalno rješavanje pravnih problema koji uključuju sadržaj zaštićen autorskim pravima.
Microsoftov tim nedavno je pokazao kako su uspjeli napraviti Llama-2 zaboraviti pojedinosti knjiga o Harryju Potteru bez utjecaja na druge podatke u podacima o obuci modela ili cjelokupnu izvedbu modela u studiji opisanoj na stranici njihovog istraživačkog projekta.
Proces počinje identifikacijom specifičnih informacija unutar skupa podataka modela koje je potrebno zaboraviti. U ovom slučaju radilo se o detaljima vezanim uz kultnu seriju JK Rowling, uključujući pojedinosti radnje, imena likova i poznate citate. Oni su zatim sustavno zamijenjeni generičkim, nepovezanim izrazima.
Istraživači su zatim upotrijebili jezični model za generiranje novih informacija na temelju ovih generičkih podataka. Ovi svježi podaci zatim su korišteni za ponovno uvježbavanje izvornika Llama-2 model postupno. Svakim korakom model se distancirao od knjiga o Harryju Potteru sve dok nije počeo proizvoditi halucinantne odgovore kada su ga ispitivali o njima.
Jedna upečatljiva značajka ovog pristupa je da ne ugrožava opću izvedbu modela. To znači da dok LLM sve više zaboravlja na određene podatke, njegove ukupne jezične sposobnosti ostaju netaknute.
Unatoč činjenici da se ovaj pristup još uvijek usavršava, njegove su implikacije široke. Osobito u situacijama koje uključuju pravne zahtjeve i probleme s autorskim pravima, može pružiti slamku spasa onima koji stvaraju LLM i druge modele umjetne inteligencije.
Ova inovacija dolazi u vrijeme kada su pravni sporovi oko korištenja sadržaja zaštićenog autorskim pravima u modelima umjetne inteligencije u porastu. Na primjer, New York Times je nedavno zatražio uklanjanje svojih publikacija iz GPT-4 skup podataka. U slučaju uspješnog Pravni izazov, programeri bi obično morali rekonstruirati skupove svojih modela podataka, što je dugotrajan proces koji zahtjeva mnogo resursa. Microsoftova metoda, ako se dalje doradi i usvoji, mogla bi pružiti učinkovito rješenje za takve izazove.
Microsoftova metoda selektivnog zaboravljanja određenih informacija unutar velikih jezičnih modela (LLMs) značajan je napredak u razvoju umjetne inteligencije, potencijalno rješavajući probleme sadržaja zaštićenog autorskim pravima i pojednostavljujući usavršavanje. Ovaj bi se pristup mogao primijeniti na različite domene, pokazujući odgovoran razvoj i primjenu umjetne inteligencije.
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
