Tyrėjai atranda naują būdą, kaip aptikti AI sukurtą tekstą
Trumpai
Tyrėjai sukūrė AI sukurto teksto aptikimo metodą naudodami RoBERTa modelį, kuris ištraukia teksto žetonų įterpimus ir vizualizuoja juos kaip taškus daugiamatėje erdvėje.
Jie atrado, kad tekstą sukūrė GPT-3.5 modeliai, pvz ChatGPT ir Davinci, turėjo žymiai mažesnius vidutinius matmenis nei žmogaus parašytas tekstas.
Tyrėjai sukūrė tvirtą matmenų detektorių, kuris buvo atsparus įprastoms vengimo technikoms.
Detektoriaus tikslumas išliko nuolat aukštas, kai buvo pakeisti domenai ir modeliai, su fiksuota riba ir 40 % tikslumo kritimu, kai buvo išbandyta DIPPER technika.
Tyrėjai ištyrė dirbtinio intelekto sukurto teksto ir sukūrė AI sukurto turinio aptikimo metodą modeliai, tokie kaip GPT ir Llama. Jie atrado įdomių įžvalgų apie sugeneruoto teksto prigimtį, panaudodami trupmeninės dimensijos koncepciją. Jų išvados atskleidžia būdingus skirtumus tarp žmonių parašyto teksto ir teksto, sukurto AI modeliais.
Ar taškinio debesies matmuo, gautas iš natūralios kalbos teksto, gali suteikti naudingos informacijos apie jo kilmę? Tyrėjai naudojo RoBERTa modelį, norėdami išgauti teksto žetonų įterpimus ir vizualizuoti juos kaip taškus daugiamatėje erdvėje, kad tai ištirtų. Jie įvertino šių taškų debesų dalinį matmenį, naudodami sudėtingus metodus, įkvėptus ankstesnių darbų.
Tyrėjai nustebo atradę, kad tekstą sukūrė GPT-3.5 modeliai, pvz ChatGPT ir Davinci, turėjo žymiai mažesnius vidutinius matmenis nei žmogaus parašytas tekstas. Šis intriguojantis modelis išliko įvairiose srityse ir net tada, kai alternatyvūs modeliai, tokie kaip GPT-2 arba OPT. Pažymėtina, kad net naudojant DIPPER parafrazę, kuri yra specialiai sukurta siekiant išvengti aptikimo, matmenys pasikeitė tik apie 3%. Šie atradimai leido tyrėjams sukurti tvirtą matmenimis pagrįstą detektorių, atsparų įprastoms vengimo technikoms.
Pažymėtina, kad pakeitus domenus ir modelius, detektoriaus tikslumas išliko nuolat didelis. Taikant fiksuotą slenkstį, aptikimo tikslumas (tikrasis teigiamas rodiklis) išliko didesnis nei 75%, o klaidingai teigiamų rezultatų rodiklis (FPR) išliko mažesnis nei 1%. Net tada, kai aptikimo sistema buvo išbandyta naudojant DIPPER techniką, tikslumas sumažėjo iki 40%, pralenkdamas esamus detektorius, įskaitant sukurtus OpenAI.
Be to, mokslininkai ištyrė daugiakalbių modelių, tokių kaip daugiakalbis RoBERTa, taikymą. Tai leido jiems sukurti panašius detektorius kitoms kalboms nei anglų. Nors vidutinis vidinis įterpimų matmuo įvairiose kalbose skyrėsi, sugeneruotų tekstų matmenys išliko nuolat mažesni nei kiekvienos konkrečios kalbos žmogaus parašyto teksto.
Tačiau detektorius turėjo tam tikrų trūkumų, ypač susidūrus su aukšta generavimo temperatūra ir primityvu generatorių modeliai. Esant aukštesnei temperatūrai, sukurto teksto vidinis matmuo gali viršyti žmogaus parašyto teksto matmenis, todėl detektorius neveiksmingas. Laimei, tokius generatorių modelius jau galima aptikti naudojant alternatyvius metodus. Be to, tyrėjai pripažino, kad yra galimybių ištirti alternatyvius teksto įterpimo modelius už RoBERTa ribų.
Žmogaus ir dirbtinio intelekto rašyto teksto atskyrimas
Sausį, OpenAI paskelbė pristatytas naujas klasifikatorius, skirtas atskirti žmonių parašytą tekstą nuo AI sistemų sukurto teksto. Šiuo klasifikatoriumi siekiama spręsti problemas, kylančias dėl didėjančio AI sukurto turinio paplitimo, pavyzdžiui, dezinformacijos kampanijos ir akademinis nesąžiningumas.
Nors aptikti visą dirbtinio intelekto parašytą tekstą yra sudėtinga užduotis, šis klasifikatorius yra vertinga priemonė siekiant sumažinti klaidingus teiginius apie žmogaus autorystė dirbtinio intelekto sukurtame tekste. Kruopščiai įvertinę angliškų tekstų rinkinį, kūrėjai nustatė, kad šis klasifikatorius tiksliai identifikuoja 26 % AI parašyto teksto kaip „tikėtina AI parašyto“ (tikrieji teigiami rezultatai), o kartais žmogaus parašytą tekstą klaidingai pažymi kaip sukurtą dirbtinio intelekto (klaidinga). teigiamų) 9 proc. Svarbu pažymėti, kad didėjant įvesties teksto ilgiui, didėja klasifikatoriaus patikimumas. Palyginti su ankstesniais klasifikatoriais, ši nauja versija rodo žymiai didesnį teksto, sukurto naudojant naujesnes dirbtinio intelekto sistemas, patikimumą.
Norėdami surinkti vertingų atsiliepimų apie netobulų įrankių, tokių kaip šis klasifikatorius, naudingumą, kūrėjai tai padarė viešai prieinama. Galite nemokamai išbandyti mūsų nebaigtų darbų klasifikatorių. Tačiau svarbu suprasti jo apribojimus. Klasifikatorius turėtų būti naudojamas kaip papildoma priemonė, o ne pagrindinis sprendimų priėmimo šaltinis nustatant teksto šaltinį. Trumpi tekstai yra labai nepatikimi, ir yra atvejų, kai žmogaus parašytas tekstas gali būti neteisingai pažymėtas kaip sukurtas dirbtinio intelekto.
Verta paminėti, kad labai nuspėjamų tekstų negalima nuosekliai identifikuoti, pvz., pirmųjų 1,000 pirminių skaičių sąrašo. Dirbtinio intelekto sukurto teksto redagavimas taip pat gali padėti išvengti klasifikatoriaus, ir nors galime atnaujinti ir perkvalifikuoti klasifikatorių pagal sėkmingas atakas, ilgalaikis aptikimo pranašumas lieka neaiškus. Be to, klasifikatoriai, pagrįsti neuroniniai tinklai dažnai yra prastai sukalibruoti už treniruočių duomenų ribų, todėl labai pasitikima neteisingomis įvesties prognozėmis, kurios labai skiriasi nuo treniruočių rinkinio.
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
