Výzkumníci objevují nový způsob, jak detekovat text generovaný umělou inteligencí
Stručně
Výzkumníci vyvinuli metodu pro detekci textu generovaného umělou inteligencí pomocí modelu RoBERTa, který extrahuje vložené textové tokeny a vizualizuje je jako body ve vícerozměrném prostoru.
Zjistili, že text vygenerovaný GPT-3.5 modely, jako nap ChatGPT a Davinci, měl výrazně nižší průměrné rozměry než text psaný člověkem.
Výzkumníci vytvořili robustní rozměrově založený detektor, který byl odolný vůči běžným únikovým technikám.
Přesnost detektoru zůstala konzistentně vysoká, když byly změněny domény a modely, s pevným prahem a 40% poklesem přesnosti, když byl testován technikou DIPPER.
Výzkumníci zkoumali oblast textu generovaného umělou inteligencí vyvinul metodu pro detekci obsahu generovaného umělou inteligencí modely jako např GPT a Llama. Objevili zajímavé poznatky o povaze generovaného textu pomocí konceptu zlomkové dimenze. Jejich zjištění vrhá světlo na základní rozdíly mezi textem napsaným lidmi a textem generovaným modely AI.
Může dimenze mračna bodů odvozená z textu v přirozeném jazyce poskytnout užitečné informace o jeho původu? Výzkumníci použili model RoBERTa k extrahování vložení textových tokenů a jejich vizualizaci jako bodů ve vícerozměrném prostoru, aby to prozkoumali. Odhadli zlomkový rozměr těchto mračen bodů pomocí sofistikovaných technik inspirovaných předchozími díly.
Výzkumníci byli ohromeni, když objevili, že text vygeneroval GPT-3.5 modely, jako nap ChatGPT a Davinci, měl výrazně nižší průměrné rozměry než text psaný člověkem. Tento zajímavý vzorec přetrvával napříč doménami a dokonce i když alternativní modely, jako např GPT-2 nebo OPT byly použity. Pozoruhodné je, že i při použití parafráze DIPPER, která je speciálně navržena tak, aby se vyhnula detekci, se rozměr změnil pouze asi o 3 %. Tyto objevy umožnily výzkumníkům vytvořit robustní rozměrově založený detektor, který je odolný vůči běžným únikovým technikám.
Pozoruhodné je, že přesnost detektoru zůstala trvale vysoká, když byly změněny domény a modely. Při pevném prahu zůstala přesnost detekce (skutečně pozitivní četnost) nad 75 %, zatímco četnost falešně pozitivních (FPR) zůstala menší než 1 %. I když byl detekční systém napaden technikou DIPPER, přesnost klesla na 40 %, čímž překonala stávající detektory, včetně těch vyvinutých společností OpenAI.
Kromě toho výzkumníci prozkoumali použití vícejazyčných modelů, jako je vícejazyčný RoBERTa. To jim umožnilo vyvinout podobné detektory pro jiné jazyky než angličtinu. Zatímco průměrná vnitřní dimenze vložení se v různých jazycích lišila, dimenze generovaných textů zůstávala konzistentně nižší než u textu psaného člověkem pro každý konkrétní jazyk.
Detektor však vykazoval určité slabiny, zejména když čelil vysokým generačním teplotám a primitivnímu modely generátorů. Při vyšších teplotách by vnitřní rozměr generovaných textů mohl předčít text psaný člověkem, takže detektor by byl neúčinný. Naštěstí jsou takové modely generátorů již zjistitelné pomocí alternativních metod. Kromě toho vědci uznali, že existuje prostor pro zkoumání alternativních modelů pro extrahování vložení textu mimo RoBERTa.
Rozdíl mezi textem napsaným člověkem a umělou inteligencí
V lednu, OpenAI oznámila, spuštění nového klasifikátoru určeného k rozlišení mezi textem napsaným lidmi a textem generovaným systémy umělé inteligence. Tento klasifikátor si klade za cíl řešit problémy, které představuje rostoucí prevalence obsahu generovaného umělou inteligencí, jako jsou dezinformační kampaně a akademická nepoctivost.
Zatímco detekce veškerého textu napsaného umělou inteligencí je složitý úkol, tento klasifikátor slouží jako cenný nástroj ke zmírnění nepravdivých tvrzení o lidské autorství v textu generovaném umělou inteligencí. Přes přísné vyhodnocení sady anglických textů vývojáři zjistili, že tento klasifikátor přesně identifikuje 26 % textu napsaného umělou inteligencí jako „pravděpodobně napsaný umělou inteligencí“ (skutečně pozitivní), zatímco text napsaný člověkem občas chybně označí jako vygenerovaný umělou inteligencí (nepravděpodobné). pozitivní) o 9 %. Je důležité si uvědomit, že spolehlivost klasifikátoru se zvyšuje s rostoucí délkou vstupního textu. Ve srovnání s předchozími klasifikátory tato nová verze prokazuje výrazně vyšší spolehlivost textu generovaného novějšími systémy umělé inteligence.
Vývojáři to udělali, aby získali cennou zpětnou vazbu o užitečnosti nedokonalých nástrojů, jako je tento klasifikátor veřejně dostupné. Náš nedokončený klasifikátor si můžete zdarma vyzkoušet. Je však důležité pochopit jeho omezení. Klasifikátor by měl být pro určení zdroje textu použit spíše jako doplňkový nástroj než jako primární zdroj rozhodování. U krátkých textů vykazuje vysokou nespolehlivost a existují případy, kdy může být text psaný člověkem nesprávně označen jako generovaný AI.
Stojí za zmínku, že vysoce předvídatelné texty nelze důsledně identifikovat, jako například seznam prvních 1,000 prvočísel. Úpravy textu generovaného umělou inteligencí mohou také pomoci vyhnout se klasifikátoru, a přestože můžeme klasifikátor aktualizovat a přeškolit na základě úspěšných útoků, dlouhodobá výhoda detekce zůstává nejistá. Dále klasifikátory založené na neuronové sítě jsou často špatně zkalibrovány mimo svá tréninková data, což vede k extrémní důvěře v nesprávné předpovědi pro vstupy výrazně odlišné od tréninkové sady.
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
