Pētnieki atklāj jaunu veidu, kā noteikt mākslīgā intelekta radītu tekstu
Īsumā
Pētnieki ir izstrādājuši metodi mākslīgā intelekta ģenerēta teksta noteikšanai, izmantojot RoBERTa modeli, kas ekstrahē teksta marķieru iegulumus un vizualizē tos kā punktus daudzdimensiju telpā.
Viņi atklāja, ka tekstu ģenerēja GPT-3.5 modeļi, piemēram ChatGPT un Davinci, bija ievērojami zemāki vidējie izmēri nekā cilvēka rakstītam tekstam.
Pētnieki izveidoja stabilu, uz izmēriem balstītu detektoru, kas bija izturīgs pret parastajām izvairīšanās metodēm.
Detektora precizitāte saglabājās nemainīgi augsta, mainot domēnus un modeļus, ar fiksētu slieksni un 40% precizitātes kritumu, kad tika izmantota DIPPER tehnika.
Pētnieki ir izpētījuši AI radītā teksta jomu un izstrādāja metodi AI radītā satura noteikšanai tādi modeļi kā GPT un Llama. Viņi atklāja interesantus ieskatus par ģenerētā teksta būtību, izmantojot daļējas dimensijas jēdzienu. Viņu atklājumi atklāj raksturīgās atšķirības starp cilvēku rakstīto tekstu un AI modeļu radīto tekstu.
Vai punktu mākoņa dimensija, kas iegūta no dabiskās valodas teksta, var sniegt noderīgu informāciju par tā izcelsmi? Pētnieki izmantoja RoBERTa modeli, lai iegūtu teksta marķieru iegulumus un vizualizētu tos kā punktus daudzdimensiju telpā, lai to izpētītu. Viņi novērtēja šo punktu mākoņu daļējo dimensiju, izmantojot sarežģītas metodes, ko iedvesmojuši iepriekšējie darbi.
Pētnieki bija pārsteigti, atklājot, ka tekstu ģenerēja GPT-3.5 modeļi, piemēram ChatGPT un Davinci, bija ievērojami zemāki vidējie izmēri nekā cilvēka rakstītam tekstam. Šis intriģējošais modelis saglabājās dažādās jomās un pat tad, ja alternatīvi modeļi, piemēram, GPT-2 vai OPT. Jo īpaši, pat izmantojot DIPPER parafrāzi, kas ir īpaši izstrādāta, lai izvairītos no atklāšanas, izmērs mainījās tikai par aptuveni 3%. Šie atklājumi ļāva pētniekiem izveidot izturīgu, uz izmēriem balstītu detektoru, kas ir izturīgs pret parastajām izvairīšanās metodēm.
Jo īpaši, mainot domēnus un modeļus, detektora precizitāte saglabājās nemainīgi augsta. Izmantojot fiksētu slieksni, noteikšanas precizitāte (patiesais pozitīvais rādītājs) saglabājās virs 75%, bet viltus pozitīvo rezultātu rādītājs (FPR) palika mazāks par 1%. Pat tad, kad noteikšanas sistēma tika apstrīdēta ar DIPPER tehniku, precizitāte samazinājās līdz 40%, pārspējot esošos detektorus, tostarp tos, kurus izstrādāja OpenAI.
Turklāt pētnieki pētīja daudzvalodu modeļu, piemēram, daudzvalodu RoBERTa, pielietojumu. Tas viņiem ļāva izstrādāt līdzīgus detektorus valodām, kas nav angļu valoda. Lai gan iegulšanas vidējā iekšējā dimensija dažādās valodās bija atšķirīga, ģenerēto tekstu dimensija joprojām bija zemāka nekā cilvēka rakstītā teksta dimensija katrā konkrētajā valodā.
Tomēr detektoram bija dažas nepilnības, īpaši, saskaroties ar augstu paaudzes temperatūru un primitīvu ģeneratoru modeļi. Augstākā temperatūrā ģenerēto tekstu iekšējā dimensija varētu pārsniegt cilvēka rakstītā teksta iekšējo dimensiju, padarot detektoru neefektīvu. Par laimi, šādi ģeneratoru modeļi jau ir nosakāmi, izmantojot alternatīvas metodes. Turklāt pētnieki atzina, ka ir iespējams izpētīt alternatīvus modeļus teksta iegulšanas iegūšanai ārpus RoBERTa.
Atšķirība starp cilvēku un mākslīgā intelekta rakstītu tekstu
Janvārī, OpenAI paziņoja jauna klasifikatora palaišana, kas izstrādāta, lai atšķirtu cilvēku rakstītu tekstu un AI sistēmu ģenerētu tekstu. Šī klasifikatora mērķis ir risināt problēmas, ko rada AI radītā satura pieaugošā izplatība, piemēram, dezinformācijas kampaņas un akadēmisku negodīgumu.
Lai gan visa AI rakstītā teksta noteikšana ir sarežģīts uzdevums, šis klasifikators kalpo kā vērtīgs instruments, lai mazinātu nepatiesus apgalvojumus par cilvēka autorība AI ģenerētā tekstā. Stingri izvērtējot tekstu kopumu angļu valodā, izstrādātāji ir atklājuši, ka šis klasifikators precīzi identificē 26% no mākslīgā intelekta rakstītā teksta kā “iespējams, AI rakstītu” (patiesi pozitīvi), bet dažkārt nepareizi marķē cilvēka rakstīto tekstu kā mākslīgā intelekta radītu (nepatiesi). pozitīvi) par 9%. Ir svarīgi atzīmēt, ka klasifikatora uzticamība uzlabojas, palielinoties ievades teksta garumam. Salīdzinot ar iepriekšējiem klasifikatoriem, šī jaunā versija demonstrē ievērojami lielāku uzticamību tekstam, ko ģenerē jaunākas AI sistēmas.
Lai apkopotu vērtīgas atsauksmes par tādu nepilnīgu rīku lietderību kā šis klasifikators, izstrādātāji to ir izveidojuši Publiski pieejama. Jūs varat bez maksas izmēģināt mūsu nepabeigto darbu klasifikatoru. Tomēr ir svarīgi saprast tā ierobežojumus. Klasifikators ir jāizmanto kā papildu instruments, nevis primārais lēmumu pieņemšanas resurss, lai noteiktu teksta avotu. Īsiem tekstiem tas ir ļoti neuzticams, un ir gadījumi, kad cilvēka rakstīts teksts var tikt nepareizi apzīmēts kā AI radīts.
Ir vērts atzīmēt, ka ļoti paredzamus tekstus nevar konsekventi identificēt, piemēram, pirmo 1,000 pirmskaitļu sarakstu. AI ģenerēta teksta rediģēšana var arī palīdzēt izvairīties no klasifikatora, un, lai gan mēs varam atjaunināt un pārkvalificēt klasifikatoru, pamatojoties uz veiksmīgiem uzbrukumiem, noteikšanas ilgtermiņa priekšrocības joprojām nav skaidras. Turklāt klasifikatori, kuru pamatā ir neironu tīkli bieži ir slikti kalibrēti ārpus treniņu datiem, tādējādi radot ārkārtīgu pārliecību par nepareizām prognozēm ievades datiem, kas būtiski atšķiras no apmācības kopas.
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
