Forscher entdecken eine neue Methode zur Erkennung von KI-generiertem Text
In Kürze
Forscher haben mithilfe des RoBERTa-Modells eine Methode zur Erkennung von KI-generiertem Text entwickelt, die Einbettungen von Text-Tokens extrahiert und diese als Punkte in einem mehrdimensionalen Raum visualisiert.
Sie entdeckten den Text, der von generiert wurde GPT-3.5 Modelle, wie z ChatGPT und Davinci hatten deutlich geringere durchschnittliche Abmessungen als von Menschen geschriebener Text.
Die Forscher entwickelten einen robusten, dimensionsbasierten Detektor, der gegen gängige Umgehungstechniken resistent war.
Die Genauigkeit des Detektors blieb konstant hoch, wenn Domänen und Modelle geändert wurden, mit einem festen Schwellenwert und einem Genauigkeitsabfall von 40 % bei der Prüfung mit der DIPPER-Technik.
Forscher haben den Bereich KI-generierter Text untersucht und entwickelte eine Methode zur Erkennung von durch KI generierten Inhalten Modelle wie z GPT machen Llama. Sie entdeckten interessante Erkenntnisse über die Natur des generierten Textes, indem sie das Konzept der Bruchdimension nutzten. Ihre Ergebnisse werfen Licht auf die inhärenten Unterschiede zwischen von Menschen geschriebenen Texten und von KI-Modellen generierten Texten.
Kann die Dimension einer aus Text in natürlicher Sprache abgeleiteten Punktwolke nützliche Informationen über ihren Ursprung liefern? Um dies zu untersuchen, verwendeten die Forscher das RoBERTa-Modell, um Einbettungen von Text-Tokens zu extrahieren und sie als Punkte in einem mehrdimensionalen Raum zu visualisieren. Sie schätzten die Bruchdimension dieser Punktwolken mithilfe ausgefeilter Techniken, die von früheren Arbeiten inspiriert waren.
Die Forscher waren erstaunt, als sie entdeckten, dass der Text von GPT-3.5 Modelle, wie z ChatGPT und Davinci hatten deutlich geringere durchschnittliche Abmessungen als von Menschen geschriebener Text. Dieses faszinierende Muster blieb bereichsübergreifend bestehen und selbst dann, wenn alternative Modelle wie z GPT-2 oder OPT verwendet wurden. Bemerkenswerterweise änderte sich die Dimension selbst bei Verwendung der DIPPER-Umschreibung, die speziell zur Vermeidung einer Erkennung entwickelt wurde, nur um etwa 3 %. Diese Entdeckungen ermöglichten es den Forschern, einen robusten dimensionsbasierten Detektor zu entwickeln, der gegen gängige Umgehungstechniken resistent ist.
Bemerkenswert ist, dass die Genauigkeit des Detektors auch bei Domänen- und Modellwechseln konstant hoch blieb. Bei einem festen Schwellenwert blieb die Erkennungsgenauigkeit (True-Positiv-Rate) über 75 %, während die Falsch-Positiv-Rate (FPR) unter 1 % blieb. Selbst als das Erkennungssystem mit der DIPPER-Technik herausgefordert wurde, sank die Genauigkeit auf 40 % und übertraf damit bestehende Detektoren, einschließlich der von entwickelten OpenAI.
Darüber hinaus untersuchten die Forscher die Anwendung mehrsprachiger Modelle wie Multilingual RoBERTa. Dadurch konnten sie ähnliche Detektoren für andere Sprachen als Englisch entwickeln. Während die durchschnittliche interne Dimension der Einbettungen in den verschiedenen Sprachen variierte, blieb die Dimension der generierten Texte für jede einzelne Sprache durchweg niedriger als die von von Menschen geschriebenen Texten.
Der Detektor wies jedoch einige Schwächen auf, insbesondere bei hohen Erzeugungstemperaturen und primitiven Generatormodelle. Bei höheren Temperaturen könnte die interne Dimension der generierten Texte die von Menschen geschriebenen Texten übertreffen, wodurch der Detektor unwirksam wird. Glücklicherweise sind solche Generatormodelle bereits mit alternativen Methoden erkennbar. Darüber hinaus erkannten die Forscher an, dass es Raum für die Erforschung alternativer Modelle zum Extrahieren von Texteinbettungen über RoBERTa hinaus gibt.
Unterscheidung zwischen menschlichem und KI-geschriebenem Text
Im Januar OpenAI angekündigt die Einführung eines neuen Klassifikators, der zwischen von Menschen geschriebenem Text und von KI-Systemen generiertem Text unterscheiden soll. Dieser Klassifikator zielt darauf ab, die Herausforderungen anzugehen, die sich aus der zunehmenden Verbreitung von KI-generierten Inhalten ergeben, wie etwa Fehlinformationskampagnen und akademische Unehrlichkeit.
Während die Erkennung sämtlicher KI-geschriebener Texte eine komplexe Aufgabe ist, dient dieser Klassifikator als wertvolles Werkzeug zur Eindämmung falscher Behauptungen menschliche Urheberschaft in KI-generierten Texten. Durch strenge Auswertungen einer Reihe englischer Texte haben Entwickler herausgefunden, dass dieser Klassifikator 26 % der von KI geschriebenen Texte genau als „wahrscheinlich von KI geschrieben“ identifiziert (richtig positiv), während von Menschen geschriebener Text gelegentlich fälschlicherweise als von KI generiert gekennzeichnet wird (falsch). positiv) um 9 %. Es ist wichtig zu beachten, dass die Zuverlässigkeit des Klassifikators mit zunehmender Länge des Eingabetextes zunimmt. Im Vergleich zu früheren Klassifikatoren zeigt diese neue Version eine deutlich höhere Zuverlässigkeit bei Texten, die von neueren KI-Systemen generiert wurden.
Um wertvolles Feedback zur Nützlichkeit unvollkommener Tools wie dieses Klassifikators zu sammeln, haben die Entwickler es erstellt Öffentlich verfügbar. Sie können unseren Work-in-Progress-Klassifikator kostenlos testen. Es ist jedoch wichtig, die Grenzen zu verstehen. Der Klassifikator sollte als ergänzendes Werkzeug und nicht als primäre Entscheidungshilfe zur Bestimmung der Quelle eines Textes verwendet werden. Bei kurzen Texten weist es eine hohe Unzuverlässigkeit auf, und es gibt Fälle, in denen von Menschen geschriebener Text fälschlicherweise als KI-generiert gekennzeichnet wird.
Es ist erwähnenswert, dass sehr vorhersehbare Texte nicht konsistent identifiziert werden können, beispielsweise eine Liste der ersten 1,000 Primzahlen. Das Bearbeiten von KI-generiertem Text kann auch dabei helfen, dem Klassifikator zu entgehen, und obwohl wir den Klassifikator basierend auf erfolgreichen Angriffen aktualisieren und neu trainieren können, bleibt der langfristige Vorteil der Erkennung ungewiss. Darüber hinaus basieren Klassifikatoren auf Neuronale Netze sind außerhalb ihrer Trainingsdaten oft schlecht kalibriert, was zu einem extremen Vertrauen in falsche Vorhersagen für Eingaben führt, die sich erheblich vom Trainingssatz unterscheiden.
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
