Buletin de stiri Tehnologia
Octombrie 10, 2023

Microsoft a forțat LLM-urile să uite de Harry Potter

Microsoft a forțat LLM-urile să uite de Harry Potter
Sursa: Dall-E 3

Microsoft a dezvăluit o metodă pentru instruirea modelelor de limbaj mari (LLM) să uite informații specifice din seturile lor de date fără a necesita o reconstrucție completă a datelor de antrenament. Această metodă deschide noi posibilități pentru îmbunătățirea LLM-urilor și, eventual, rezolvarea problemelor legale care implică conținut protejat prin drepturi de autor.

Echipa Microsoft a demonstrat recent cum au reușit să realizeze Llama-2 modelul uită detaliile cărților Harry Potter fără a afecta alte date din datele de antrenament ale modelului sau performanța generală a modelului într-un studiu descris pe pagina proiectului lor de cercetare.

Procesul începe cu identificarea unor informații specifice din setul de date al modelului care trebuie uitate. În acest caz, au fost detalii legate de seria emblematică a lui JK Rowling, inclusiv detaliile intrigii, numele personajelor și citate celebre. Acestea au fost apoi înlocuite sistematic cu fraze generice, fără legătură.

Cercetătorii au folosit apoi un model de limbaj pentru a genera noi informații pe baza acestor date generice. Aceste date proaspete au fost apoi folosite pentru reantrenarea originalului Llama-model 2 treptat. Cu fiecare pas, modelul s-a distanțat de cărțile Harry Potter până când a început să producă răspunsuri halucinante atunci când a fost întrebat despre ele.

O caracteristică izbitoare a acestei abordări este că nu compromite performanța generală a modelului. Aceasta înseamnă că, în timp ce LLM-ul devine din ce în ce mai uitător de anumite date, capacitățile sale generale de limbaj rămân intacte.

În ciuda faptului că această abordare este încă în curs de perfecţionare, implicaţiile ei sunt ample. În situații care implică revendicări legale și probleme de drepturi de autor, în special, poate oferi un colac de salvare celor care creează LLM și alte modele AI.

Această inovație vine într-un moment în care disputele legale cu privire la utilizarea conținutului protejat prin drepturi de autor în modelele AI sunt în creștere. De exemplu, New York Times a cerut recent eliminarea a publicaţiilor sale din GPT-4 set de date. În cazul unui succes contestație juridică, dezvoltatorii ar trebui de obicei să-și reconstruiască seturile de date model, un proces consumator de timp și de resurse. Metoda Microsoft, dacă va fi rafinată și adoptată în continuare, ar putea oferi o soluție eficientă la astfel de provocări.

Metoda Microsoft de a uita în mod selectiv informații specifice din modelele de limbi mari (LLM-uri) reprezintă o descoperire semnificativă în dezvoltarea AI, abordând posibil problemele legate de conținutul protejat prin drepturi de autor și simplificând rafinarea. Această abordare ar putea fi aplicată în diferite domenii, demonstrând dezvoltarea și aplicarea AI responsabilă.

Declinare a responsabilităţii

În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.

Despre autor

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Mai multe articole
Damir Yalalov
Damir Yalalov

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

De la Ripple la Big Green DAO: Cum contribuie proiectele de criptomonede la caritate

Să explorăm inițiativele care valorifică potențialul monedelor digitale pentru cauze caritabile.

Aflați mai multe

AlphaFold 3, Med-Gemini și alții: modul în care AI transformă asistența medicală în 2024

Inteligența artificială se manifestă în diferite moduri în asistența medicală, de la descoperirea de noi corelații genetice până la abilitarea sistemelor chirurgicale robotizate...

Aflați mai multe
Alăturați-vă comunității noastre tehnologice inovatoare
Citeste mai mult
Află mai multe
RWA-urile tokenizate reduc decalajul dintre acestea DeFi și TradFi
Opinie Liste de top Afaceri pieţe Software Tehnologia
RWA-urile tokenizate reduc decalajul dintre acestea DeFi și TradFi
24 Iunie, 2024
Nivelul actual de corecție al Bitcoin este încă sub medie, spune analistul criptografic Rekt Capital
pieţe Buletin de stiri Tehnologia
Nivelul actual de corecție al Bitcoin este încă sub medie, spune analistul criptografic Rekt Capital
24 Iunie, 2024
Codul de indexare al protocolului SRC cu sursă deschisă pentru dezvoltatori de bază, inclusiv standardele de jetoane SRC-20, SRC-721 și SRC-101
Buletin de stiri Software Tehnologia
Codul de indexare al protocolului SRC cu sursă deschisă pentru dezvoltatori de bază, inclusiv standardele de jetoane SRC-20, SRC-721 și SRC-101
24 Iunie, 2024
Ascensiunea și căderea ambițiilor publicitare ale Oracle: un vis de 2 miliarde de dolari se prăbușește
Opinie Afaceri Stil de viață pieţe Tehnologia
Ascensiunea și căderea ambițiilor publicitare ale Oracle: un vis de 2 miliarde de dolari se prăbușește
24 Iunie, 2024
CRYPTOMERIA LABS PTE. LTD.