A kutatók új módszert fedeztek fel a mesterséges intelligencia által generált szöveg észlelésére
Röviden
A kutatók módszert fejlesztettek ki a mesterséges intelligencia által generált szöveg detektálására a RoBERTa-modell segítségével, amely kivonja a szövegjelek beágyazásait, és pontokként jeleníti meg őket egy többdimenziós térben.
Felfedezték, hogy a szöveg által generált GPT-3.5 modellek, mint pl ChatGPT és Davinci szignifikánsan alacsonyabb átlagos méretei voltak, mint az ember által írt szövegnek.
A kutatók egy robusztus, méretalapú detektort hoztak létre, amely ellenáll a gyakori kijátszási technikáknak.
A detektor pontossága állandóan magas maradt a tartományok és modellek megváltoztatásakor, rögzített küszöbértékkel és 40%-os pontosságcsökkenéssel, amikor a DIPPER technikával tesztelték.
A kutatók az AI által generált szövegek és a módszert dolgozott ki az AI által generált tartalom kimutatására modellek, mint pl GPT és a Llama. Érdekes meglátásokat fedeztek fel a generált szöveg természetéről a törtdimenzió fogalmának felhasználásával. Eredményeik rávilágítanak az emberek által írt szöveg és az AI-modellek által generált szöveg közötti eredendő különbségekre.
A természetes nyelvi szövegből levezetett pontfelhő dimenziója adhat-e hasznos információkat az eredetéről? A kutatók a RoBERTa modell segítségével kinyerték a szöveges tokenek beágyazott elemeit, és egy többdimenziós térben pontokként vizualizálták őket ennek vizsgálatára. A korábbi munkák által inspirált kifinomult technikák segítségével megbecsülték ezeknek a pontfelhőknek a töredékes méretét.
A kutatók megdöbbenve fedezték fel azt a szöveget, amelyet a GPT-3.5 modellek, mint pl ChatGPT és Davinci szignifikánsan alacsonyabb átlagos méretei voltak, mint az ember által írt szövegnek. Ez az érdekfeszítő minta továbbra is fennmaradt a tartományok között, és még akkor is, amikor alternatív modellek, mint pl GPT-2 vagy OPT-t használtak. Figyelemre méltó, hogy még a DIPPER parafrázis használatakor is, amelyet kifejezetten az észlelés elkerülésére terveztek, a méret csak körülbelül 3%-kal változott. Ezek a felfedezések lehetővé tették a kutatók számára, hogy olyan robusztus dimenzióalapú detektort hozzanak létre, amely ellenáll a gyakori kijátszási technikáknak.
Figyelemre méltó, hogy a detektor pontossága folyamatosan magas maradt a tartományok és a modellek megváltoztatásakor. Rögzített küszöb mellett az észlelési pontosság (igazi pozitív arány) 75% felett maradt, míg a hamis pozitív arány (FPR) 1% alatt maradt. Még akkor is, amikor az érzékelő rendszert a DIPPER technikával megtámadták, a pontosság 40%-ra esett, felülmúlva a meglévő detektorokat, beleértve a OpenAI.
Ezenkívül a kutatók többnyelvű modellek, például többnyelvű RoBERTa alkalmazását is megvizsgálták. Ez lehetővé tette számukra, hogy hasonló detektorokat fejlesszenek ki az angoltól eltérő nyelvekhez. Míg a beágyazások átlagos belső dimenziója a különböző nyelveken változott, a generált szövegek dimenziója következetesen alacsonyabb maradt, mint az ember által írt szövegé az egyes nyelveken.
A detektor azonban bizonyos gyenge pontokat mutatott, különösen, ha magas generációs hőmérsékletekkel és primitív hatásokkal néz szembe generátor modellek. Magasabb hőmérsékleten a generált szövegek belső mérete meghaladhatja az ember által írt szövegét, ami hatástalanná teheti a detektort. Szerencsére az ilyen generátormodellek alternatív módszerekkel már kimutathatók. Ezenkívül a kutatók elismerték, hogy a RoBERTán túl van lehetőség alternatív modellek feltárására a szövegbeágyazások kinyerésére.
Az emberi és a mesterséges intelligencia által írt szöveg megkülönböztetése
Januárban, OpenAI bejelentés egy új osztályozó bevezetése, amelynek célja az emberek által írt szövegek és az AI-rendszerek által generált szövegek megkülönböztetése. Ennek az osztályozónak az a célja, hogy kezelje a mesterséges intelligencia által generált tartalmak növekvő elterjedése által támasztott kihívásokat, például a félretájékoztatási kampányokat és a tudományos becstelenséget.
Bár a mesterséges intelligencia által írt szövegek felderítése összetett feladat, ez az osztályozó értékes eszközként szolgál a hamis állítások enyhítésére. emberi szerzőség mesterséges intelligencia által generált szövegben. Az angol szövegek szigorú értékelése során a fejlesztők azt találták, hogy ez az osztályozó a mesterséges intelligencia által írt szövegek 26%-át pontosan azonosítja „valószínűleg mesterséges intelligencia által írtként” (igaz pozitívumok), miközben időnként félrecímkézi az ember által írt szöveget mesterséges intelligencia által generáltnak (hamis). pozitív) 9%-kal. Fontos megjegyezni, hogy az osztályozó megbízhatósága a bemeneti szöveg hosszának növekedésével javul. A korábbi osztályozókhoz képest ez az új verzió lényegesen nagyobb megbízhatóságot mutat az újabb AI-rendszerek által generált szövegek esetében.
A fejlesztők arra készültek, hogy értékes visszajelzéseket gyűjtsenek az olyan tökéletlen eszközök hasznosságáról, mint ez az osztályozó nyílvánosan elérhető. Ingyenesen kipróbálhatja a folyamatban lévő munkák osztályozóját. Fontos azonban megérteni a korlátait. Az osztályozót kiegészítő eszközként kell használni, nem pedig elsődleges döntési forrásként a szöveg forrásának meghatározásához. Nagyon megbízhatatlan a rövid szövegeknél, és vannak olyan esetek, amikor az ember által írt szöveget helytelenül AI által generáltként jelölik meg.
Érdemes megjegyezni, hogy a rendkívül kiszámítható szövegeket nem lehet következetesen azonosítani, például az első 1,000 prímszám listáját. A mesterséges intelligencia által generált szövegek szerkesztése is segíthet az osztályozó elkerülésében, és bár a sikeres támadások alapján frissíthetjük és áttaníthatjuk az osztályozót, az észlelés hosszú távú előnye továbbra is bizonytalan. Továbbá az osztályozók alapján neurális hálózatok gyakran rosszul vannak kalibrálva az edzési adataikon kívül, ami rendkívüli bizalomhoz vezet az edzéskészlettől jelentősen eltérő bemenetek helytelen előrejelzésében.
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
