„Microsoft“ privertė LLM pamiršti Harį Poterį
„Microsoft“ atskleidė metodą už nurodymą didelių kalbų modeliams (LLM) pamiršti konkrečią informaciją savo duomenų rinkiniuose, nereikalaujant visiškai atkurti mokymo duomenų. Šis metodas atveria naujas galimybes tobulinti LLM ir galbūt išspręsti teisines problemas, susijusias su autorių teisių saugomu turiniu.
„Microsoft“ komanda neseniai pademonstravo, kaip pavyko sukurti Llama-2 modelis pamiršta Hario Poterio knygų detales, nepaveikdamas kitų modelio mokymo duomenų duomenų arba bendro modelio veikimo tyrimo, aprašyto jų tyrimo projekto puslapyje.
Procesas prasideda nuo konkrečios informacijos, kurią reikia pamiršti, modelio duomenų rinkinyje identifikavimo. Šiuo atveju tai buvo detalės, susijusios su JK Rowling ikonine serija, įskaitant siužeto specifiką, veikėjų vardus ir garsiąsias citatas. Tada jos buvo sistemingai pakeistos bendrinėmis, nesusijusiomis frazėmis.
Tada mokslininkai panaudojo kalbos modelį, kad gautų naują informaciją, pagrįstą šiais bendrais duomenimis. Tada šie nauji duomenys buvo naudojami originalui perkvalifikuoti Llama-2 modelis laipsniškai. Su kiekvienu žingsniu modelis atsiribojo nuo Hario Poterio knygų, kol paklaustas apie jas pradėjo kurti haliucinacinius atsakymus.
Vienas ryškus šio požiūrio bruožas yra tai, kad jis nekenkia bendram modelio veikimui. Tai reiškia, kad nors LLM vis labiau pamiršta konkrečius duomenis, jo bendrosios kalbos galimybės išlieka nepakitusios.
Nepaisant to, kad šis metodas vis dar tobulinamas, jo pasekmės yra plačios. Situacijose, susijusiose su teisiniais ieškiniais ir autorių teisių problemomis, tai gali būti išgelbėjimas tiems, kurie kuria LLM ir kitus AI modelius.
Ši naujovė atsirado tuo metu, kai daugėja teisinių ginčų dėl autorių teisių saugomo turinio naudojimo AI modeliuose. Pavyzdžiui, „New York Times“ neseniai pareikalavo pašalinti savo publikacijų iš GPT-4 duomenų rinkinys. Sėkmės atveju teisinio užginčijimo, kūrėjams paprastai tektų atkurti savo modelių duomenų rinkinius – tai daug laiko ir daug išteklių reikalaujantis procesas. „Microsoft“ metodas, jei bus toliau tobulinamas ir pritaikytas, galėtų būti veiksmingas tokių iššūkių sprendimas.
„Microsoft“ metodas selektyviai pamiršti konkrečią informaciją didelių kalbų modeliuose (LLM) yra reikšmingas DI kūrimo proveržis, galintis išspręsti autorių teisių saugomo turinio problemas ir supaprastinti tobulinimą. Šis metodas galėtų būti taikomas įvairiose srityse, demonstruojant atsakingą AI kūrimą ir taikymą.
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
