Microsoft a forțat LLM-urile să uite de Harry Potter
Microsoft a dezvăluit o metodă pentru instruirea modelelor de limbaj mari (LLM) să uite informații specifice din seturile lor de date fără a necesita o reconstrucție completă a datelor de antrenament. Această metodă deschide noi posibilități pentru îmbunătățirea LLM-urilor și, eventual, rezolvarea problemelor legale care implică conținut protejat prin drepturi de autor.
Echipa Microsoft a demonstrat recent cum au reușit să realizeze Llama-2 modelul uită detaliile cărților Harry Potter fără a afecta alte date din datele de antrenament ale modelului sau performanța generală a modelului într-un studiu descris pe pagina proiectului lor de cercetare.
Procesul începe cu identificarea unor informații specifice din setul de date al modelului care trebuie uitate. În acest caz, au fost detalii legate de seria emblematică a lui JK Rowling, inclusiv detaliile intrigii, numele personajelor și citate celebre. Acestea au fost apoi înlocuite sistematic cu fraze generice, fără legătură.
Cercetătorii au folosit apoi un model de limbaj pentru a genera noi informații pe baza acestor date generice. Aceste date proaspete au fost apoi folosite pentru reantrenarea originalului Llama-model 2 treptat. Cu fiecare pas, modelul s-a distanțat de cărțile Harry Potter până când a început să producă răspunsuri halucinante atunci când a fost întrebat despre ele.
O caracteristică izbitoare a acestei abordări este că nu compromite performanța generală a modelului. Aceasta înseamnă că, în timp ce LLM-ul devine din ce în ce mai uitător de anumite date, capacitățile sale generale de limbaj rămân intacte.
În ciuda faptului că această abordare este încă în curs de perfecţionare, implicaţiile ei sunt ample. În situații care implică revendicări legale și probleme de drepturi de autor, în special, poate oferi un colac de salvare celor care creează LLM și alte modele AI.
Această inovație vine într-un moment în care disputele legale cu privire la utilizarea conținutului protejat prin drepturi de autor în modelele AI sunt în creștere. De exemplu, New York Times a cerut recent eliminarea a publicaţiilor sale din GPT-4 set de date. În cazul unui succes contestație juridică, dezvoltatorii ar trebui de obicei să-și reconstruiască seturile de date model, un proces consumator de timp și de resurse. Metoda Microsoft, dacă va fi rafinată și adoptată în continuare, ar putea oferi o soluție eficientă la astfel de provocări.
Metoda Microsoft de a uita în mod selectiv informații specifice din modelele de limbi mari (LLM-uri) reprezintă o descoperire semnificativă în dezvoltarea AI, abordând posibil problemele legate de conținutul protejat prin drepturi de autor și simplificând rafinarea. Această abordare ar putea fi aplicată în diferite domenii, demonstrând dezvoltarea și aplicarea AI responsabilă.
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
