Els investigadors descobreixen una nova manera de detectar el text generat per IA
En breu
Els investigadors han desenvolupat un mètode per detectar text generat per IA mitjançant el model RoBERTa, que extreu incrustacions de fitxes de text i els visualitza com a punts en un espai multidimensional.
Van descobrir aquell text generat per GPT-3.5 models, com ara ChatGPT i Davinci, tenien dimensions mitjanes significativament més baixes que el text escrit per humans.
Els investigadors van crear un detector robust basat en dimensions que era resistent a les tècniques d'evasió comunes.
La precisió del detector es va mantenir constantment alta quan es van canviar els dominis i els models, amb un llindar fix i una caiguda de precisió del 40% quan es va desafiar amb la tècnica DIPPER.
Els investigadors han investigat el camp del text generat per IA i va desenvolupar un mètode per detectar contingut generat per IA models com ara GPT i Llama. Van descobrir idees interessants sobre la naturalesa del text generat utilitzant el concepte de dimensió fraccionària. Les seves troballes aclareixen les diferències inherents entre el text escrit per humans i el text generat pels models d'IA.
La dimensió d'un núvol de punts derivat d'un text en llenguatge natural pot proporcionar informació útil sobre el seu origen? Els investigadors van utilitzar el model RoBERTa per extreure incrustacions de fitxes de text i visualitzar-les com a punts en un espai multidimensional per investigar-ho. Van estimar la dimensió fraccionària d'aquests núvols de punts mitjançant tècniques sofisticades inspirades en treballs anteriors.
Els investigadors es van quedar sorpresos en descobrir aquell text generat per GPT-3.5 models, com ara ChatGPT i Davinci, tenien dimensions mitjanes significativament més baixes que el text escrit per humans. Aquest patró intrigant va persistir en tots els dominis i fins i tot quan hi havia models alternatius com ara GPT-2 o OPT s'han utilitzat. En particular, fins i tot quan s'utilitza la paràfrasi DIPPER, que està dissenyada específicament per evitar la detecció, la dimensió només va canviar en un 3%. Aquests descobriments van permetre als investigadors crear un detector robust basat en dimensions que sigui resistent a les tècniques d'evasió habituals.
En particular, la precisió del detector es va mantenir constantment alta quan es van canviar els dominis i els models. Amb un llindar fix, la precisió de la detecció (taxa veritable positiva) es va mantenir per sobre del 75%, mentre que la taxa de falsos positius (FPR) es va mantenir per sota de l'1%. Fins i tot quan es va desafiar el sistema de detecció amb la tècnica DIPPER, la precisió va baixar al 40%, superant els detectors existents, inclosos els desenvolupats per OpenAI.
A més, els investigadors van explorar l'aplicació de models multilingües com RoBERTa multilingüe. Això els va permetre desenvolupar detectors similars per a idiomes diferents de l'anglès. Tot i que la dimensió interna mitjana de les incrustacions variava entre diferents idiomes, la dimensió dels textos generats es va mantenir constantment inferior a la del text escrit per humans per a cada idioma específic.
No obstant això, el detector presentava algunes debilitats, sobretot quan s'enfrontava a temperatures d'alta generació i primitives models de generadors. A temperatures més altes, la dimensió interna dels textos generats podria superar la del text escrit per humans, fent que el detector sigui ineficaç. Afortunadament, aquests models de generadors ja es poden detectar mitjançant mètodes alternatius. A més, els investigadors van reconèixer que hi ha espai per explorar models alternatius per extreure incrustacions de text més enllà de RoBERTa.
Diferenciar entre text humà i escrit amb IA
Al gener, OpenAI anunciat el llançament d'un nou classificador dissenyat per distingir entre text escrit per humans i text generat per sistemes d'IA. Aquest classificador pretén abordar els reptes que planteja la creixent prevalença del contingut generat per IA, com ara les campanyes de desinformació i la deshonestedat acadèmica.
Tot i que detectar tot el text escrit amb IA és una tasca complexa, aquest classificador serveix com una eina valuosa per mitigar les afirmacions falses de l'autoria humana en el text generat per IA. Mitjançant avaluacions rigoroses sobre un conjunt de textos en anglès, els desenvolupadors han descobert que aquest classificador identifica amb precisió el 26% del text escrit amb IA com a "probablement escrit per IA" (positius veritables), mentre que ocasionalment etiqueta incorrectament el text escrit per humans com a generat per IA (fals). positius) en un 9%. És important tenir en compte que la fiabilitat del classificador millora a mesura que augmenta la longitud del text d'entrada. En comparació amb els classificadors anteriors, aquesta nova versió demostra una fiabilitat significativament més alta en el text generat per sistemes d'IA més recents.
Per recollir comentaris valuosos sobre la utilitat d'eines imperfectes com aquest classificador, els desenvolupadors ho han fet disponible públicament. Pots provar el nostre classificador de treballs en curs de forma gratuïta. Tanmateix, és essencial entendre les seves limitacions. El classificador s'ha d'utilitzar com una eina suplementària, més que com a recurs primari per a la presa de decisions, per determinar la font d'un text. Presenta una gran falta de fiabilitat en textos curts i hi ha casos en què el text escrit per humans es pot etiquetar incorrectament com a generat per IA.
Val la pena assenyalar que els textos altament predictibles no es poden identificar de manera coherent, com ara una llista dels primers 1,000 nombres primers. L'edició de text generat per IA també pot ajudar a evadir el classificador i, tot i que podem actualitzar i tornar a entrenar el classificador en funció d'atacs reeixits, l'avantatge a llarg termini de la detecció segueix sent incert. A més, classificadors basats en xarxes neuronals sovint estan mal calibrats fora de les seves dades d'entrenament, cosa que condueix a una confiança extrema en prediccions incorrectes per a entrades significativament diferents del conjunt d'entrenament.
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
