A Microsoft arra kényszerítette az LLM-eket, hogy felejtsék el Harry Pottert
A Microsoft feltárt egy módszert a Large Language Models (LLM) utasítására, hogy felejtsenek el bizonyos információkat az adatkészleteikben anélkül, hogy szükség lenne a betanítási adatok teljes rekonstrukciójára. Ez a módszer új lehetőségeket nyit meg az LLM-ek fejlesztésében és a szerzői jog által védett tartalommal kapcsolatos jogi problémák esetleges megoldásában.
A Microsoft csapata nemrégiben bemutatta, hogyan tudták elkészíteni a Llama-2 modell elfelejti a Harry Potter könyvek részleteit anélkül, hogy befolyásolná a modell képzési adataiban szereplő egyéb adatokat vagy a modell általános teljesítményét a kutatási projekt oldalán leírt tanulmányban.
A folyamat a modell adatkészletén belüli konkrét információk azonosításával kezdődik, amelyeket el kell felejteni. Ebben az esetben JK Rowling ikonikus sorozatához kapcsolódó részletekről volt szó, beleértve a cselekmény sajátosságait, a karakterneveket és a híres idézeteket. Ezeket azután szisztematikusan általános, nem kapcsolódó kifejezésekkel helyettesítették.
A kutatók ezután egy nyelvi modellt alkalmaztak, hogy ezen általános adatok alapján új információkat generáljanak. Ezt a friss adatot használták fel az eredeti újraképzésére Llama-2 modell fokozatosan. A modell minden lépéssel elhatárolódott a Harry Potter-könyvektől, amíg hallucinációs válaszokat nem kezdett produkálni, amikor megkérdezték róluk.
Ennek a megközelítésnek az egyik feltűnő jellemzője, hogy nem veszélyezteti a modell általános teljesítményét. Ez azt jelenti, hogy miközben az LLM egyre inkább megfeledkezik bizonyos adatokról, általános nyelvi képességei érintetlenek maradnak.
Annak ellenére, hogy ez a megközelítés még mindig finomítás alatt áll, következményei széleskörűek. Különösen jogi követelésekkel és szerzői jogi problémákkal kapcsolatos helyzetekben jelenthet mentőövet az LLM-eket és más mesterséges intelligencia modelleket létrehozók számára.
Ez az innováció abban az időben jött létre, amikor egyre szaporodnak a jogi viták a szerzői jog által védett tartalmak mesterséges intelligencia modellekben való felhasználásával kapcsolatban. Például, A New York Times nemrégiben követelte az eltávolítást kiadványai közül a GPT-4 adatkészlet. Siker esetén jogi kihívás, a fejlesztőknek általában rekonstruálniuk kell modelladatkészleteiket, ami idő- és erőforrás-igényes folyamat. A Microsoft módszere, ha tovább finomítják és elfogadják, hatékony megoldást nyújthat az ilyen kihívásokra.
A Microsoft módszere bizonyos információk szelektív elfelejtésére a nagy nyelvi modellekben (LLM-ek) jelentős áttörést jelent a mesterséges intelligencia fejlesztésében, amely potenciálisan megoldja a szerzői jog által védett tartalommal kapcsolatos problémákat és egyszerűsíti a finomítást. Ez a megközelítés különféle területeken alkalmazható, demonstrálva a felelős AI fejlesztést és alkalmazást.
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
