Microsoft je prisilil LLM-je, da so pozabili na Harryja Potterja
Microsoft je razkril metodo za ukazovanje velikim jezikovnim modelom (LLM), da pozabijo določene informacije v svojih naborih podatkov, ne da bi zahtevali popolno rekonstrukcijo podatkov o usposabljanju. Ta metoda odpira nove možnosti za izboljšanje študija LLM in potencialno reševanje pravnih vprašanj, ki vključujejo avtorsko zaščiteno vsebino.
Microsoftova ekipa je nedavno pokazala, kako jim je uspelo narediti LlamaModel -2 pozabi podrobnosti knjig o Harryju Potterju, ne da bi to vplivalo na druge podatke v podatkih o usposabljanju modela ali na splošno uspešnost modela v študiji, opisani na strani njihovega raziskovalnega projekta.
Postopek se začne z identifikacijo specifičnih informacij v naboru podatkov modela, ki jih je treba pozabiti. V tem primeru je šlo za podrobnosti, povezane z ikonično serijo JK Rowling, vključno s posebnostmi zapleta, imeni likov in slavnimi citati. Te so bile nato sistematično nadomeščene z generičnimi, nepovezanimi frazami.
Raziskovalci so nato uporabili jezikovni model za ustvarjanje novih informacij na podlagi teh generičnih podatkov. Ti sveži podatki so bili nato uporabljeni za ponovno usposabljanje izvirnika Llama-2 model postopoma. Z vsakim korakom se je model oddaljeval od knjig o Harryju Potterju, dokler ni začel proizvajati halucinacijskih odgovorov, ko so ga spraševali o njih.
Ena presenetljiva značilnost tega pristopa je, da ne ogroža splošne zmogljivosti modela. To pomeni, da medtem ko LLM vse bolj pozablja na določene podatke, njegove splošne jezikovne zmogljivosti ostajajo nedotaknjene.
Kljub dejstvu, da se ta pristop še izpopolnjuje, so njegove posledice široke. Zlasti v situacijah, ki vključujejo pravne zahtevke in težave z avtorskimi pravicami, lahko nudi rešilno bilko tistim, ki ustvarjajo programe LLM in druge modele umetne inteligence.
Ta novost prihaja v času, ko so pravni spori glede uporabe avtorsko zaščitene vsebine v modelih AI v porastu. Na primer, New York Times je nedavno zahteval odstranitev svojih publikacij iz GPT-4 nabor podatkov. V primeru uspešnega pravna izziv, bi morali razvijalci običajno rekonstruirati svoje nabore podatkov o modelih, kar je dolgotrajen proces, ki zahteva veliko virov. Microsoftova metoda, če bi jo še izboljšali in sprejeli, bi lahko zagotovila učinkovito rešitev za takšne izzive.
Microsoftova metoda za selektivno pozabljanje določenih informacij znotraj velikih jezikovnih modelov (LLM) je pomemben preboj v razvoju umetne inteligence, ki lahko obravnava težave z avtorsko zaščiteno vsebino in racionalizira izboljšavo. Ta pristop bi lahko uporabili na različnih področjih, kar bi pokazalo odgovoren razvoj in uporabo umetne inteligence.
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
