Onderzoekers ontdekken een nieuwe manier om door AI gegenereerde tekst te detecteren
In het kort
Onderzoekers hebben een methode ontwikkeld voor het detecteren van door AI gegenereerde tekst met behulp van het RoBERTa-model, dat inbeddingen van teksttokens extraheert en visualiseert als punten in een multidimensionale ruimte.
Ze ontdekten dat de tekst werd gegenereerd door GPT-3.5-modellen, zoals ChatGPT en Davinci, hadden significant lagere gemiddelde afmetingen dan door mensen geschreven tekst.
De onderzoekers creëerden een robuuste, op dimensies gebaseerde detector die bestand was tegen veelgebruikte ontwijkingstechnieken.
De nauwkeurigheid van de detector bleef constant hoog wanneer domeinen en modellen werden gewijzigd, met een vaste drempel en een nauwkeurigheidsdaling van 40% wanneer deze werd uitgedaagd met de DIPPER-techniek.
Onderzoekers hebben onderzoek gedaan op het gebied van door AI gegenereerde tekst en ontwikkelde een methode voor het detecteren van door AI gegenereerde inhoud modellen zoals: GPT en Llama. Ze ontdekten interessante inzichten over de aard van gegenereerde tekst door gebruik te maken van het concept van fractionele dimensie. Hun bevindingen werpen licht op de inherente verschillen tussen tekst geschreven door mensen en tekst gegenereerd door AI-modellen.
Kan de dimensie van een puntenwolk afgeleid van natuurlijke taaltekst nuttige informatie geven over de oorsprong ervan? De onderzoekers gebruikten het RoBERTa-model om inbeddingen van teksttokens te extraheren en ze te visualiseren als punten in een multidimensionale ruimte om dit te onderzoeken. Ze schatten de fractionele dimensie van deze puntenwolken met behulp van geavanceerde technieken die waren geïnspireerd op eerder werk.
De onderzoekers waren verbaasd toen ze ontdekten dat de tekst werd gegenereerd door GPT-3.5-modellen, zoals ChatGPT en Davinci, hadden aanzienlijk lagere gemiddelde afmetingen dan door mensen geschreven tekst. Dit intrigerende patroon bleef bestaan in alle domeinen en zelfs bij alternatieve modellen zoals GPT-2 of OPT werden gebruikt. Met name bij gebruik van de DIPPER-parafrase, die specifiek is ontworpen om detectie te voorkomen, veranderde de dimensie slechts met ongeveer 3%. Deze ontdekkingen stelden de onderzoekers in staat een robuuste, op dimensies gebaseerde detector te creëren die bestand is tegen gangbare ontwijkingstechnieken.
Met name de nauwkeurigheid van de detector bleef constant hoog wanneer domeinen en modellen werden gewijzigd. Met een vaste drempel bleef de detectienauwkeurigheid (true positive rate) boven de 75%, terwijl de false positive rate (FPR) onder de 1% bleef. Zelfs toen het detectiesysteem werd uitgedaagd met de DIPPER-techniek, daalde de nauwkeurigheid tot 40%, waarmee het beter presteerde dan bestaande detectoren, waaronder die ontwikkeld door OpenAI.
Verder onderzochten de onderzoekers de toepassing van meertalige modellen zoals meertalig RoBERTa. Hierdoor konden ze vergelijkbare detectoren ontwikkelen voor andere talen dan het Engels. Hoewel de gemiddelde interne dimensie van inbeddingen in verschillende talen varieerde, bleef de dimensie van gegenereerde teksten consistent lager dan die van door mensen geschreven tekst voor elke specifieke taal.
De detector vertoonde echter enkele zwakke punten, vooral bij hoge generatietemperaturen en primitief generator modellen. Bij hogere temperaturen kan de interne dimensie van gegenereerde teksten die van door mensen geschreven tekst overtreffen, waardoor de detector ondoeltreffend wordt. Gelukkig zijn dergelijke generatormodellen al detecteerbaar met behulp van alternatieve methoden. Bovendien erkenden de onderzoekers dat er ruimte is voor het verkennen van alternatieve modellen voor het extraheren van tekstinbedding buiten RoBERTa.
Onderscheid maken tussen menselijke en door AI geschreven tekst
In januari, OpenAI aangekondigd de lancering van een nieuwe classificatie die is ontworpen om onderscheid te maken tussen tekst die door mensen is geschreven en tekst die door AI-systemen is gegenereerd. Deze classificatie is bedoeld om de uitdagingen aan te gaan die worden veroorzaakt door de toenemende prevalentie van door AI gegenereerde inhoud, zoals desinformatiecampagnes en academische oneerlijkheid.
Hoewel het detecteren van alle door AI geschreven tekst een complexe taak is, dient deze classificatie als een waardevol hulpmiddel om valse claims te onderdrukken menselijk auteurschap in door AI gegenereerde tekst. Door rigoureuze evaluaties van een reeks Engelse teksten hebben ontwikkelaars ontdekt dat deze classificator 26% van de door AI geschreven tekst accuraat identificeert als ‘waarschijnlijk door AI geschreven’ (true positives), terwijl af en toe door mensen geschreven tekst ten onrechte wordt bestempeld als door AI gegenereerde tekst (false). positieven) met 9%. Het is belangrijk op te merken dat de betrouwbaarheid van de classificator verbetert naarmate de lengte van de invoertekst toeneemt. Vergeleken met eerdere classificaties vertoont deze nieuwe versie een aanzienlijk hogere betrouwbaarheid op het gebied van tekst die is gegenereerd door recentere AI-systemen.
Om waardevolle feedback te verzamelen over het nut van onvolmaakte tools zoals deze classifier, hebben ontwikkelaars het gemaakt publiekelijk verkrijgbaar. U kunt onze work-in-progress classifier gratis uitproberen. Het is echter essentieel om de beperkingen ervan te begrijpen. De classificator moet worden gebruikt als een aanvullend hulpmiddel, in plaats van als een primair hulpmiddel bij het nemen van beslissingen, om de bron van een tekst te bepalen. Het vertoont een hoge onbetrouwbaarheid op korte teksten, en er zijn gevallen waarin door mensen geschreven tekst ten onrechte kan worden bestempeld als door AI gegenereerd.
Het is vermeldenswaard dat zeer voorspelbare teksten niet consistent kunnen worden geïdentificeerd, zoals een lijst met de eerste 1,000 priemgetallen. Het bewerken van door AI gegenereerde tekst kan ook helpen om de classificatie te omzeilen, en hoewel we de classificatie kunnen bijwerken en opnieuw trainen op basis van succesvolle aanvallen, blijft het langetermijnvoordeel van detectie onzeker. Bovendien zijn classificaties gebaseerd op neurale netwerken zijn vaak slecht gekalibreerd buiten hun trainingsgegevens, wat leidt tot extreem vertrouwen in onjuiste voorspellingen voor invoer die aanzienlijk verschilt van de trainingsset.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
