Teadlased avastavad uue viisi AI-ga loodud teksti tuvastamiseks
Põgusalt
Teadlased on välja töötanud meetodi AI-ga loodud teksti tuvastamiseks, kasutades RoBERTa mudelit, mis ekstraheerib tekstimärkide manuseid ja visualiseerib need punktidena mitmemõõtmelises ruumis.
Nad avastasid, et teksti genereeris GPT-3.5 mudelid, nt ChatGPT ja Davinci keskmised mõõtmed olid oluliselt väiksemad kui inimese kirjutatud tekst.
Teadlased lõid tugeva mõõtmepõhise detektori, mis oli vastupidav tavalistele kõrvalehoidmistehnikatele.
Detektori täpsus jäi domeenide ja mudelite muutmisel püsivalt kõrgeks, fikseeritud lävi ja 40% täpsuse langus DIPPER-tehnika kasutamisel.
Teadlased on uurinud AI-ga loodud teksti valdkonda ja töötas välja meetodi AI poolt loodud sisu tuvastamiseks mudelid nagu GPT ja Llama. Nad avastasid huvitavaid teadmisi genereeritud teksti olemuse kohta, kasutades murdosa mõõtme kontseptsiooni. Nende leiud heidavad valgust inimeste kirjutatud teksti ja AI mudelite loodud teksti olemuslikele erinevustele.
Kas loomuliku keele tekstist tuletatud punktipilve mõõde võib anda kasulikku teavet selle päritolu kohta? Teadlased kasutasid selle uurimiseks RoBERTa mudelit, et ekstraheerida tekstimärkide manuseid ja visualiseerida neid punktidena mitmemõõtmelises ruumis. Nad hindasid nende punktipilvede murdosa suurust, kasutades eelmistest töödest inspireeritud keerukaid tehnikaid.
Teadlased olid hämmastunud, kui avastasid, et tekst, mille genereeris GPT-3.5 mudelid, nt ChatGPT ja Davinci keskmised mõõtmed olid oluliselt väiksemad kui inimese kirjutatud tekst. See intrigeeriv muster püsis kõigis valdkondades ja isegi siis, kui alternatiivsed mudelid, näiteks GPT-2 või OPT-d. Märkimisväärne on see, et isegi DIPPER parafraasi kasutamisel, mis on spetsiaalselt loodud tuvastamise vältimiseks, muutus mõõde vaid umbes 3%. Need avastused võimaldasid teadlastel luua tugeva mõõtmepõhise detektori, mis on vastupidav tavalistele kõrvalehoidmistehnikatele.
Nimelt jäi detektori täpsus domeenide ja mudelite muutmisel püsivalt kõrgeks. Fikseeritud läve korral jäi tuvastamise täpsus (tõeline positiivne määr) üle 75%, samas kui valepositiivsete määr (FPR) jäi alla 1%. Isegi kui tuvastussüsteemi prooviti kasutada DIPPER-tehnikaga, langes täpsus 40% -ni, ületades olemasolevaid detektoreid, sealhulgas OpenAI.
Lisaks uurisid teadlased mitmekeelsete mudelite, näiteks mitmekeelse RoBERTa, rakendamist. See võimaldas neil välja töötada sarnased detektorid ka muude keelte jaoks peale inglise keele. Kuigi manustamise keskmine sisemõõde oli erinevates keeltes erinev, jäi loodud tekstide mõõde iga konkreetse keele puhul pidevalt madalamaks kui inimese kirjutatud teksti oma.
Detektoril oli siiski mõningaid nõrkusi, eriti kui see seisis silmitsi kõrge generatsiooni temperatuuriga ja primitiivne generaatorite mudelid. Kõrgematel temperatuuridel võib loodud tekstide sisemõõde ületada inimese kirjutatud teksti oma, muutes detektori ebatõhusaks. Õnneks on sellised generaatorimudelid juba alternatiivsete meetodite abil tuvastatavad. Lisaks tunnistasid teadlased, et lisaks RoBERTa-le on ruumi alternatiivsete mudelite uurimiseks teksti manustamise ekstraheerimiseks.
Inimese ja tehisintellekti kirjutatud teksti eristamine
Jaanuaris OpenAI teatas uue klassifikaatori käivitamine, mille eesmärk on eristada inimeste kirjutatud teksti ja AI-süsteemide loodud teksti. Selle klassifikaatori eesmärk on tegeleda tehisintellekti loodud sisu kasvavast levimusest tulenevate väljakutsetega, nagu desinformatsioonikampaaniad ja akadeemiline ebaausus.
Kuigi kogu tehisintellektiga kirjutatud teksti tuvastamine on keeruline ülesanne, on see klassifikaator väärtuslik vahend valeväidete leevendamiseks. inimese autorsus AI loodud tekstis. Läbi ingliskeelsete tekstide range hindamise on arendajad leidnud, et see klassifikaator tuvastab täpselt 26% tehisintellektiga kirjutatud tekstist "tõenäoliselt tehisintellekti kirjutatud" (tõelised positiivsed näitajad), kuid aeg-ajalt märgib inimese kirjutatud teksti valesti tehisintellekti loodud tekstiks (vale). positiivsed) 9% võrra. Oluline on märkida, et klassifikaatori töökindlus paraneb, kui sisendteksti pikkus suureneb. Võrreldes eelmiste klassifikaatoritega näitab see uus versioon oluliselt suuremat usaldusväärsust uuemate AI-süsteemide loodud teksti puhul.
Arendajad on seda teinud, et koguda väärtuslikku tagasisidet ebatäiuslike tööriistade, nagu see klassifikaator, kasulikkuse kohta avalikult kättesaadav. Saate tasuta proovida meie pooleliolevate tööde klassifikaatorit. Siiski on oluline mõista selle piiranguid. Klassifikaatorit tuleks kasutada täiendava vahendina, mitte peamise otsustusallikana teksti allika määramisel. See näitab lühikeste tekstide puhul suurt ebausaldusväärsust ja on juhtumeid, kus inimese kirjutatud tekst võib olla valesti märgistatud tehisintellekti loodud tekstiks.
Väärib märkimist, et väga etteaimatavaid tekste ei saa järjepidevalt tuvastada, näiteks esimese 1,000 algarvu loendit. AI-ga loodud teksti redigeerimine võib samuti aidata klassifikaatorist kõrvale hiilida ning kuigi me saame edukate rünnakute põhjal klassifikaatorit värskendada ja ümber õpetada, jääb tuvastamise pikaajaline eelis ebakindel. Lisaks sellele põhinevad klassifikaatorid närvivõrgud on sageli väljaspool treeninguandmeid halvasti kalibreeritud, mis põhjustab äärmise kindlustunde treeningkomplektist oluliselt erinevate sisendite valede prognooside suhtes.
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
