Forskare upptäcker ett nytt sätt att upptäcka AI-genererad text
I korthet
Forskare har utvecklat en metod för att upptäcka AI-genererad text med hjälp av RoBERTa-modellen, som extraherar inbäddningar av texttokens och visualiserar dem som punkter i ett flerdimensionellt utrymme.
De upptäckte den texten genererad av GPT-3.5 modeller, som t.ex ChatGPT och Davinci, hade betydligt lägre genomsnittliga dimensioner än mänskligt skriven text.
Forskarna skapade en robust dimensionsbaserad detektor som var resistent mot vanliga undanflyktstekniker.
Detektorns noggrannhet förblev genomgående hög när domäner och modeller ändrades, med ett fast tröskelvärde och ett 40%-igt noggrannhetsfall när den utmanades med DIPPER-tekniken.
Forskare har undersökt området AI-genererad text och utvecklat en metod för att upptäcka innehåll genererat av AI modeller som t.ex GPT och Llama. De upptäckte intressanta insikter om karaktären hos genererad text genom att använda konceptet bråkdimension. Deras resultat kastar ljus över de inneboende skillnaderna mellan text skriven av människor och text genererad av AI-modeller.
Kan dimensionen av ett punktmoln härledd från naturlig språktext ge användbar information om dess ursprung? Forskarna använde RoBERTa-modellen för att extrahera inbäddningar av texttokens och visualisera dem som punkter i ett flerdimensionellt utrymme för att undersöka detta. De uppskattade bråkdimensionen av dessa punktmoln med hjälp av sofistikerade tekniker inspirerade av tidigare verk.
Forskarna blev förvånade över att upptäcka den texten genererad av GPT-3.5 modeller, som t.ex ChatGPT och Davinci, hade betydligt lägre genomsnittliga dimensioner än mänskligt skriven text. Detta spännande mönster kvarstod över domäner och även när alternativa modeller som t.ex GPT-2 eller OPT användes. Noterbart, även när du använder DIPPER-parafrasen, som är speciellt utformad för att undvika upptäckt, ändrades dimensionen endast med cirka 3 %. Dessa upptäckter gjorde det möjligt för forskarna att skapa en robust dimensionsbaserad detektor som är resistent mot vanliga undanflyktstekniker.
Noterbart var detektorns noggrannhet konstant hög när domäner och modeller ändrades. Med ett fast tröskelvärde förblev detektionsnoggrannheten (sann positiv frekvens) över 75 % medan falsk positiv frekvens (FPR) förblev mindre än 1 %. Även när detektionssystemet utmanades med DIPPER-tekniken sjönk noggrannheten till 40 %, vilket överträffade befintliga detektorer, inklusive de som utvecklats av OpenAI.
Dessutom undersökte forskarna tillämpningen av flerspråkiga modeller som flerspråkig RoBERTa. Detta gjorde det möjligt för dem att utveckla liknande detektorer för andra språk än engelska. Medan den genomsnittliga interna dimensionen av inbäddningar varierade mellan olika språk, förblev dimensionen av genererade texter genomgående lägre än den för mänskligt skriven text för varje specifikt språk.
Detektorn uppvisade dock vissa svagheter, särskilt när den stod inför höga generationstemperaturer och primitiv generatormodeller. Vid högre temperaturer kan den inre dimensionen hos genererade texter överträffa den hos mänsklig text, vilket gör detektorn ineffektiv. Lyckligtvis är sådana generatormodeller redan detekterbara med hjälp av alternativa metoder. Dessutom erkände forskarna att det finns utrymme för att utforska alternativa modeller för att extrahera textinbäddningar bortom RoBERTa.
Att skilja mellan mänsklig och AI-skriven text
I januari, OpenAI meddelade lanseringen av en ny klassificerare utformad för att skilja mellan text skriven av människor och text genererad av AI-system. Denna klassificerare syftar till att ta itu med de utmaningar som den ökande förekomsten av AI-genererat innehåll innebär, såsom desinformationskampanjer och akademisk oärlighet.
Även om det är en komplex uppgift att upptäcka all AI-skriven text, fungerar denna klassificerare som ett värdefullt verktyg för att mildra falska påståenden om mänskligt författarskap i AI-genererad text. Genom rigorösa utvärderingar av en uppsättning engelska texter har utvecklare funnit att klassificeraren exakt identifierar 26 % av AI-skriven text som "sannolikt AI-skriven" (sant positiva), samtidigt som den ibland felmärker mänsklig skriven text som AI-genererad (falskt) positiva) med 9 %. Det är viktigt att notera att klassificerarens tillförlitlighet förbättras när längden på inmatningstexten ökar. Jämfört med tidigare klassificerare visar den här nya versionen betydligt högre tillförlitlighet på text som genererats av nyare AI-system.
För att samla in värdefull feedback om användbarheten av ofullkomliga verktyg som denna klassificerare har utvecklare gjort det allmänt tillgängligt. Du kan prova vår pågående klassificerare gratis. Det är dock viktigt att förstå dess begränsningar. Klassificeraren bör användas som ett kompletterande verktyg, snarare än en primär beslutsresurs, för att bestämma källan till en text. Den uppvisar hög opålitlighet på korta texter, och det finns tillfällen där mänskligt skriven text felaktigt kan märkas som AI-genererad.
Det är värt att notera att mycket förutsägbara texter inte kan identifieras konsekvent, till exempel en lista över de första 1,000 XNUMX primtalen. Att redigera AI-genererad text kan också hjälpa till att undvika klassificeraren, och även om vi kan uppdatera och omskola klassificeraren baserat på framgångsrika attacker, är den långsiktiga fördelen med upptäckt fortfarande osäker. Dessutom klassificerare baserade på neurala nätverk är ofta dåligt kalibrerade utanför sina träningsdata, vilket leder till extremt förtroende för felaktiga förutsägelser för indata som skiljer sig väsentligt från träningsuppsättningen.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
