Microsoft pakotti LLM:t unohtamaan Harry Potterin
Microsoft on paljastanut menetelmän suurten kielimallien (LLM) ohjeistamiseksi unohtamaan tietyt tiedot tietojoukoissaan ilman, että vaaditaan koulutustietojen täydellistä rekonstruointia. Tämä menetelmä avaa uusia mahdollisuuksia parantaa LLM:itä ja mahdollisesti ratkaista tekijänoikeudella suojattua sisältöä koskevia juridisia ongelmia.
Microsoftin tiimi osoitti äskettäin, kuinka he pystyivät tekemään Llama-2 malli unohtaa Harry Potter -kirjojen yksityiskohdat vaikuttamatta muihin mallin harjoitustietojen tietoihin tai mallin yleiseen suorituskykyyn heidän tutkimusprojektinsa sivulla kuvatussa tutkimuksessa.
Prosessi alkaa tunnistamalla mallin tietojoukosta tietyt tiedot, jotka täytyy unohtaa. Tässä tapauksessa kyse oli JK Rowlingin ikoniseen sarjaan liittyvistä yksityiskohdista, mukaan lukien juonen yksityiskohdat, hahmojen nimet ja kuuluisat lainaukset. Nämä korvattiin sitten systemaattisesti yleisillä, toisiinsa liittymättömillä lauseilla.
Sitten tutkijat käyttivät kielimallia luodakseen uutta tietoa näiden yleisten tietojen perusteella. Näitä tuoreita tietoja käytettiin sitten alkuperäisen uudelleenopettamiseen Llama-2 mallia vähitellen. Jokaisella askeleella malli etääntyi Harry Potter -kirjoista, kunnes se alkoi tuottaa hallusinatiivisia vastauksia, kun niistä kysyttiin.
Yksi tämän lähestymistavan silmiinpistävä piirre on, että se ei vaaranna mallin yleistä suorituskykyä. Tämä tarkoittaa, että vaikka LLM unohtuu yhä enemmän tietyistä tiedoista, sen yleiset kieliominaisuudet pysyvät ennallaan.
Huolimatta siitä, että tätä lähestymistapaa jalostetaan edelleen, sen vaikutukset ovat laaja-alaisia. Erityisesti tilanteissa, joihin liittyy oikeudellisia vaateita ja tekijänoikeusongelmia, se voi tarjota pelastusköyden niille, jotka luovat LLM:itä ja muita tekoälymalleja.
Tämä innovaatio tulee aikaan, jolloin oikeudelliset kiistat tekijänoikeudella suojatun sisällön käytöstä tekoälymalleissa ovat lisääntymässä. Esimerkiksi, New York Times vaati äskettäin poistamista julkaisuistaan GPT-4 tietojoukko. Onnistumisen sattuessa Oikeudellinen haaste, kehittäjien on tyypillisesti rekonstruoitava mallitietojoukonsa, mikä on aikaa ja resursseja vievä prosessi. Jos Microsoftin menetelmää jalostetaan ja omaksutaan edelleen, se voisi tarjota tehokkaan ratkaisun tällaisiin haasteisiin.
Microsoftin menetelmä valikoivasti unohtaa tietyt tiedot suurissa kielimalleissa (LLM:t) on merkittävä läpimurto tekoälykehityksessä, sillä se saattaa ratkaista tekijänoikeudella suojatun sisällön ongelmia ja virtaviivaistaa tarkennusta. Tätä lähestymistapaa voitaisiin soveltaa useilla aloilla, mikä osoittaa vastuullisen tekoälyn kehittämisen ja soveltamisen.
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
