Raziskovalci odkrivajo nov način za zaznavanje besedila, ki ga ustvari umetna inteligenca
Na kratko
Raziskovalci so razvili metodo za odkrivanje besedila, ustvarjenega z umetno inteligenco, z uporabo modela RoBERTa, ki ekstrahira vdelane besedilne žetone in jih vizualizira kot točke v večdimenzionalnem prostoru.
Odkrili so, da je besedilo, ki ga je ustvaril GPT-3.5 modeli, kot npr ChatGPT in Davinci, je imelo bistveno nižje povprečne dimenzije kot človeško napisano besedilo.
Raziskovalci so ustvarili robusten detektor na podlagi dimenzij, ki je bil odporen na običajne tehnike izogibanja.
Natančnost detektorja je ostala dosledno visoka, ko so bile domene in modeli spremenjeni, s fiksnim pragom in 40-odstotnim padcem natančnosti pri izzivu s tehniko DIPPER.
Raziskovalci so raziskali področje besedila, ustvarjenega z umetno inteligenco, in razvil metodo za odkrivanje vsebine, ki jo ustvari AI modeli kot npr GPT in Llama. Z uporabo koncepta frakcijske dimenzije so odkrili zanimive vpoglede v naravo ustvarjenega besedila. Njihove ugotovitve osvetljujejo inherentne razlike med besedilom, ki so ga napisali ljudje, in besedilom, ki so ga ustvarili modeli AI.
Ali lahko razsežnost oblaka točk, ki izhaja iz besedila v naravnem jeziku, nudi koristne informacije o njegovem izvoru? Raziskovalci so uporabili model RoBERTa za ekstrahiranje vdelav besedilnih žetonov in jih vizualizirali kot točke v večdimenzionalnem prostoru, da bi to raziskali. Ocenili so delno dimenzijo teh oblakov točk z uporabo sofisticiranih tehnik, ki so jih navdihnila prejšnja dela.
Raziskovalci so bili presenečeni, ko so odkrili, da je besedilo ustvarilo GPT-3.5 modeli, kot npr ChatGPT in Davinci, je imelo bistveno nižje povprečne dimenzije kot človeško napisano besedilo. Ta zanimiv vzorec se je ohranil na različnih področjih in celo, ko so bili uporabljeni alternativni modeli, kot je npr GPT-2 ali OPT. Predvsem pri uporabi parafraze DIPPER, ki je posebej zasnovana za izogibanje zaznavanju, se je dimenzija spremenila le za približno 3 %. Ta odkritja so raziskovalcem omogočila ustvariti robusten detektor na podlagi dimenzij, ki je odporen na običajne tehnike izogibanja.
Predvsem je natančnost detektorja ostala dosledno visoka, ko so bile domene in modeli spremenjeni. S fiksnim pragom je natančnost zaznavanja (resnična pozitivna stopnja) ostala nad 75 %, medtem ko je lažno pozitivna stopnja (FPR) ostala nižja od 1 %. Tudi ko je bil sistem zaznavanja izzvan s tehniko DIPPER, je natančnost padla na 40 %, kar je preseglo obstoječe detektorje, vključno s tistimi, ki jih je razvil OpenAI.
Poleg tega so raziskovalci raziskovali uporabo večjezičnih modelov, kot je večjezični RoBERTa. To jim je omogočilo, da so razvili podobne detektorje za druge jezike poleg angleščine. Medtem ko se je povprečna notranja razsežnost vdelav razlikovala v različnih jezikih, je razsežnost ustvarjenih besedil ostala dosledno nižja od razsežnosti besedila, ki ga je napisal človek, za vsak določen jezik.
Vendar pa je detektor pokazal nekaj slabosti, zlasti ko se sooča z visokimi generacijskimi temperaturami in primitivno modeli generatorjev. Pri višjih temperaturah lahko notranja razsežnost ustvarjenih besedil preseže tisto besedila, ki ga je napisal človek, zaradi česar je detektor neučinkovit. Na srečo je takšne modele generatorjev že mogoče zaznati z alternativnimi metodami. Poleg tega so raziskovalci priznali, da obstaja prostor za raziskovanje alternativnih modelov za pridobivanje vdelanih besedil izven RoBERTa.
Razlikovanje med človeškim besedilom in besedilom, napisanim z umetno inteligenco
Januarja, OpenAI razglasitve lansiranje novega klasifikatorja, zasnovanega za razlikovanje med besedilom, ki so ga napisali ljudje, in besedilom, ki so ga ustvarili sistemi AI. Namen tega klasifikatorja je obravnavati izzive, ki jih predstavlja vse večja razširjenost vsebine, ustvarjene z umetno inteligenco, kot so dezinformacijske kampanje in akademska nepoštenost.
Medtem ko je zaznavanje vsega besedila, napisanega z umetno inteligenco, zapletena naloga, ta klasifikator služi kot dragoceno orodje za ublažitev lažnih trditev o človeško avtorstvo v besedilu, ustvarjenem z umetno inteligenco. S strogimi ocenami nabora besedil v angleščini so razvijalci ugotovili, da ta klasifikator natančno identificira 26 % besedila, napisanega z umetno inteligenco, kot »verjetno napisano z umetno inteligenco« (resnično pozitivno), medtem ko občasno napačno označi besedilo, ki ga je napisal človek, kot besedilo, ki ga je ustvarila umetna inteligenca (napačno pozitivne) za 9 %. Pomembno je omeniti, da se zanesljivost klasifikatorja izboljšuje z večanjem dolžine vhodnega besedila. V primerjavi s prejšnjimi klasifikatorji ta nova različica dokazuje znatno večjo zanesljivost besedila, ki so ga ustvarili novejši sistemi AI.
Da bi zbrali dragocene povratne informacije o uporabnosti nepopolnih orodij, kot je ta klasifikator, so ga razvili razvijalci javno dostopna. Brezplačno lahko preizkusite naš klasifikator dela v teku. Vendar pa je nujno razumeti njegove omejitve. Klasifikator je treba uporabljati kot dopolnilno orodje in ne kot primarni vir odločanja za določanje vira besedila. Pri kratkih besedilih kaže visoko nezanesljivost in obstajajo primeri, ko je lahko besedilo, ki ga je napisal človek, nepravilno označeno kot ustvarjeno z umetno inteligenco.
Omeniti velja, da zelo predvidljivih besedil ni mogoče dosledno identificirati, kot je seznam prvih 1,000 praštevil. Urejanje besedila, ustvarjenega z umetno inteligenco, lahko prav tako pomaga pri izogibanju klasifikatorju, in čeprav lahko klasifikator posodobimo in ponovno usposobimo na podlagi uspešnih napadov, ostaja dolgoročna prednost odkrivanja negotova. Poleg tega klasifikatorji, ki temeljijo na nevronske mreže so pogosto slabo umerjeni zunaj svojih podatkov o usposabljanju, kar vodi do izjemnega zaupanja v nepravilne napovedi za vnose, ki se bistveno razlikujejo od nabora za usposabljanje.
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
