Microsoft donutil LLM zapomenout na Harryho Pottera
Microsoft odhalil metodu za instruování velkých jazykových modelů (LLM), aby zapomněly konkrétní informace ve svých datových sadách, aniž by vyžadovaly úplnou rekonstrukci trénovacích dat. Tato metoda otevírá nové možnosti pro zlepšení LLM a potenciální řešení právních problémů s obsahem chráněným autorským právem.
Tým Microsoftu nedávno předvedl, jak byli schopni vyrobit Llama-2 model zapomene detaily knih o Harrym Potterovi, aniž by to ovlivnilo další data v trénovacích datech modelu nebo celkový výkon modelu ve studii popsané na stránce jejich výzkumného projektu.
Proces začíná identifikací konkrétních informací v datovém souboru modelu, které je třeba zapomenout. V tomto případě šlo o detaily související s ikonickou sérií JK Rowlingové, včetně dějových specifik, jmen postav a slavných citátů. Ty byly poté systematicky nahrazovány obecnými, nesouvisejícími frázemi.
Výzkumníci poté použili jazykový model k vytvoření nových informací na základě těchto obecných dat. Tato čerstvá data byla poté použita k přeškolení originálu Llama-2 model postupně. S každým krokem se modelka distancovala od knih o Harrym Potterovi, dokud nezačala produkovat halucinační reakce, když se na ně ptala.
Jedním z pozoruhodných rysů tohoto přístupu je, že neohrožuje obecný výkon modelu. To znamená, že zatímco LLM stále více zapomíná na konkrétní data, jeho celkové jazykové schopnosti zůstávají nedotčeny.
Navzdory skutečnosti, že se tento přístup stále zdokonaluje, jeho důsledky jsou široké. Zejména v situacích týkajících se právních nároků a autorských práv může poskytnout záchranné lano těm, kteří vytvářejí LLM a další modely umělé inteligence.
Tato novinka přichází v době, kdy přibývají právní spory o používání obsahu chráněného autorským právem v modelech AI. Například, New York Times nedávno požadoval odstranění svých publikací z GPT-4 datový soubor. V případě úspěšného Právní výzva, vývojáři obvykle potřebují rekonstruovat své modelové datové sady, což je proces náročný na čas a zdroje. Pokud bude metoda Microsoftu dále zdokonalena a přijata, mohla by poskytnout účinné řešení takových problémů.
Metoda společnosti Microsoft k selektivnímu zapomenutí konkrétních informací v rámci velkých jazykových modelů (LLM) představuje významný průlom ve vývoji umělé inteligence, který potenciálně řeší problémy s obsahem chráněným autorským právem a zjednodušuje zdokonalování. Tento přístup by mohl být aplikován na různé domény, což demonstruje odpovědný vývoj a aplikaci AI.
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
