Istraživači otkrivaju novi način otkrivanja teksta generiranog umjetnom inteligencijom
Ukratko
Istraživači su razvili metodu za otkrivanje teksta generiranog umjetnom inteligencijom pomoću modela RoBERTa, koji izvlači umetnute tekstualne tokene i vizualizira ih kao točke u višedimenzionalnom prostoru.
Otkrili su taj tekst generiran od GPT-3.5 modeli, kao što su ChatGPT i Davinci, imale su znatno niže prosječne dimenzije od ljudskog pisanog teksta.
Istraživači su stvorili robustan detektor temeljen na dimenzijama koji je bio otporan na uobičajene tehnike izbjegavanja.
Preciznost detektora ostala je konstantno visoka kada su se domene i modeli mijenjali, s fiksnim pragom i padom točnosti od 40% kada je ispitivana DIPPER tehnikom.
Istraživači su istraživali polje teksta generiranog umjetnom inteligencijom i razvio metodu za otkrivanje sadržaja generiranog umjetnom inteligencijom modeli kao što su GPT i Llama. Otkrili su zanimljive uvide o prirodi generiranog teksta korištenjem koncepta frakcijske dimenzije. Njihova otkrića bacaju svjetlo na inherentne razlike između teksta koji su napisali ljudi i teksta generiranog pomoću modela umjetne inteligencije.
| Pročitajte: Top 100+ riječi koje otkrivaju AI detektori |
Može li dimenzija oblaka točaka izvedena iz teksta prirodnog jezika pružiti korisne informacije o njegovom podrijetlu? Istraživači su koristili model RoBERTa za izdvajanje umetanja tekstualnih tokena i vizualizirali ih kao točke u višedimenzionalnom prostoru kako bi to istražili. Procijenili su frakcijske dimenzije ovih oblaka točaka koristeći sofisticirane tehnike inspirirane prethodnim radovima.
Istraživači su bili zapanjeni kada su otkrili da je taj tekst generirao GPT-3.5 modeli, kao što su ChatGPT i Davinci, imale su znatno niže prosječne dimenzije od ljudskog pisanog teksta. Ovaj intrigantni obrazac postojao je u svim domenama, pa čak i kada su alternativni modeli kao što je GPT-2 ili OPT. Značajno, čak i kada se koristi parafraza DIPPER, koja je posebno dizajnirana za izbjegavanje otkrivanja, dimenzija se promijenila samo za oko 3%. Ova su otkrića omogućila istraživačima stvaranje robusnog detektora temeljenog na dimenzijama koji je otporan na uobičajene tehnike izbjegavanja.
Primjetno je da je točnost detektora ostala dosljedno visoka kada su se domene i modeli mijenjali. S fiksnim pragom, točnost detekcije (stvarna pozitivna stopa) ostala je iznad 75% dok je lažno pozitivna stopa (FPR) ostala manja od 1%. Čak i kada je sustavu detekcije doveden u pitanje DIPPER tehnika, točnost je pala na 40%, nadmašujući postojeće detektore, uključujući one koje je razvio OpenAI.
Nadalje, istraživači su istraživali primjenu višejezičnih modela poput višejezičnog RoBERTa. To im je omogućilo da razviju slične detektore za druge jezike osim engleskog. Dok je prosječna unutarnja dimenzija ugrađivanja varirala u različitim jezicima, dimenzija generiranih tekstova ostala je dosljedno niža od one ljudsko napisanog teksta za svaki određeni jezik.
Međutim, detektor je pokazao neke slabosti, osobito kada je suočen s visokim generacijskim temperaturama i primitivnim modeli generatora. Na višim temperaturama, unutarnja dimenzija generiranih tekstova mogla bi nadmašiti onu teksta koji su napisali ljudi, čineći detektor neučinkovitim. Na sreću, takvi modeli generatora već se mogu otkriti alternativnim metodama. Osim toga, istraživači su priznali da postoji prostor za istraživanje alternativnih modela za izdvajanje umetnutih tekstova izvan RoBERTa.
Razlikovanje između ljudskog teksta i teksta pisanog umjetnom inteligencijom
U siječnju, OpenAI najavio lansiranje novog klasifikatora dizajniranog za razlikovanje teksta koji su napisali ljudi i teksta koji generiraju sustavi umjetne inteligencije. Ovaj klasifikator ima za cilj odgovoriti na izazove koje donosi sve veća rasprostranjenost sadržaja generiranog umjetnom inteligencijom, kao što su kampanje dezinformiranja i akademsko nepoštenje.
Iako je otkrivanje cjelokupnog teksta pisanog umjetnom inteligencijom složen zadatak, ovaj klasifikator služi kao vrijedan alat za ublažavanje lažnih tvrdnji o ljudsko autorstvo u tekstu generiranom umjetnom inteligencijom. Kroz rigorozne procjene skupa engleskih tekstova, programeri su otkrili da taj klasifikator točno identificira 26% teksta napisanog umjetnom inteligencijom kao "vjerojatno napisano umjetnom inteligencijom" (istinski pozitivno), dok povremeno pogrešno označava tekst koji je napisao čovjek kao generiran umjetnom inteligencijom (netočno pozitivnih) za 9%. Važno je napomenuti da se pouzdanost klasifikatora poboljšava kako se duljina ulaznog teksta povećava. U usporedbi s prethodnim klasifikatorima, ova nova verzija pokazuje znatno veću pouzdanost teksta koji generiraju noviji AI sustavi.
Kako bi prikupili vrijedne povratne informacije o korisnosti nesavršenih alata poput ovog klasifikatora, programeri su ga napravili javno dostupni. Možete besplatno isprobati naš klasifikator koji je u tijeku. Međutim, bitno je razumjeti njegova ograničenja. Klasifikator bi se trebao koristiti kao dopunski alat, a ne primarni resurs za donošenje odluka, za određivanje izvora teksta. Pokazuje visoku nepouzdanost na kratkim tekstovima, a postoje slučajevi u kojima se tekst koji su napisali ljudi može netočno označiti kao generiran umjetnom inteligencijom.
Vrijedno je napomenuti da se vrlo predvidljivi tekstovi ne mogu dosljedno identificirati, poput popisa prvih 1,000 prostih brojeva. Uređivanje teksta generiranog umjetnom inteligencijom također može pomoći u izbjegavanju klasifikatora, a iako možemo ažurirati i ponovno obučiti klasifikator na temelju uspješnih napada, dugoročna prednost otkrivanja ostaje neizvjesna. Nadalje, klasifikatori temeljeni na neuronske mreže često su loše kalibrirani izvan svojih podataka za obuku, što dovodi do ekstremnog povjerenja u netočna predviđanja za ulaze koji se značajno razlikuju od skupa za obuku.
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
