Microsoft prinútil LLM zabudnúť na Harryho Pottera
Microsoft odhalil metódu za pokyny pre veľké jazykové modely (LLM), aby zabudli špecifické informácie vo svojich súboroch údajov bez toho, aby vyžadovali úplnú rekonštrukciu trénovacích údajov. Táto metóda otvára nové možnosti na zlepšenie LLM a potenciálne riešenie právnych problémov s obsahom chráneným autorskými právami.
Tím Microsoftu nedávno ukázal, ako sa im to podarilo Llama-2 model zabudne na detaily kníh o Harrym Potterovi bez toho, aby to ovplyvnilo iné údaje v tréningových údajoch modelu alebo celkový výkon modelu v štúdii opísanej na stránke ich výskumného projektu.
Proces začína identifikáciou špecifických informácií v rámci súboru údajov modelu, na ktoré je potrebné zabudnúť. V tomto prípade išlo o detaily súvisiace s ikonickou sériou JK Rowlingovej vrátane špecifík deja, mien postáv a slávnych citátov. Tie boli potom systematicky nahradené všeobecnými, nesúvisiacimi frázami.
Výskumníci potom použili jazykový model na generovanie nových informácií na základe týchto všeobecných údajov. Tieto čerstvé údaje sa potom použili na preškolenie originálu Llama-2 model postupne. Každým krokom sa modelka dištancovala od kníh o Harrym Potterovi, až kým nezačala produkovať halucinačné reakcie, keď sa na ne pýtali.
Jednou z výrazných vlastností tohto prístupu je, že neohrozuje všeobecný výkon modelu. To znamená, že zatiaľ čo LLM čoraz viac zabúda na konkrétne údaje, jeho celkové jazykové schopnosti zostávajú nedotknuté.
Napriek tomu, že sa tento prístup stále zdokonaľuje, jeho dôsledky sú široké. Najmä v situáciách týkajúcich sa právnych nárokov a autorských práv môže poskytnúť záchranné lano tým, ktorí vytvárajú LLM a iné modely AI.
Táto inovácia prichádza v čase, keď pribúdajú právne spory o používaní obsahu chráneného autorskými právami v modeloch AI. napr. New York Times nedávno požadoval odstránenie svojich publikácií z GPT-4 súbor údajov. V prípade úspešného právna výzva, vývojári zvyčajne potrebujú rekonštruovať svoje modelové množiny údajov, čo je časovo a zdrojovo náročný proces. Metóda spoločnosti Microsoft, ak bude ďalej vylepšená a prijatá, by mohla poskytnúť efektívne riešenie takýchto problémov.
Metóda spoločnosti Microsoft na selektívne zabudnutie konkrétnych informácií v rámci veľkých jazykových modelov (LLM) predstavuje významný prelom vo vývoji AI, ktorý potenciálne rieši problémy s obsahom chráneným autorskými právami a zefektívňuje zdokonaľovanie. Tento prístup by sa dal použiť v rôznych doménach, čo demonštruje zodpovedný vývoj a aplikáciu AI.
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
