Tadqiqotchilar AI tomonidan yaratilgan matnni aniqlashning yangi usulini kashf qilishdi
Qisqacha
Tadqiqotchilar RoBERTa modelidan foydalangan holda AI tomonidan yaratilgan matnni aniqlash usulini ishlab chiqdilar, u matn tokenlarining o'rnatilishini ajratib oladi va ularni ko'p o'lchovli makonda nuqta sifatida ko'rsatadi.
Ular tomonidan yaratilgan matnni aniqladilar GPT-3kabi .5 modellari ChatGPT va Davincining o'rtacha o'lchamlari inson tomonidan yozilgan matnga qaraganda ancha past edi.
Tadqiqotchilar umumiy qochish usullariga chidamli mustahkam o'lchamlarga asoslangan detektorni yaratdilar.
Domenlar va modellar o'zgartirilganda detektorning aniqligi doimiy ravishda yuqori bo'lib turdi, belgilangan chegara va DIPPER texnikasi bilan sinovdan o'tganda aniqlik 40% pasaydi.
Tadqiqotchilar AI tomonidan yaratilgan matn va sohani o'rganishdi AI tomonidan yaratilgan tarkibni aniqlash usulini ishlab chiqdi kabi modellar GPT va Llama. Ular kasr o'lchovi kontseptsiyasidan foydalangan holda yaratilgan matnning tabiati haqida qiziqarli tushunchalarni topdilar. Ularning topilmalari odamlar tomonidan yozilgan matn va AI modellari tomonidan yaratilgan matn o'rtasidagi o'ziga xos farqlarni yoritib beradi.
Tabiiy til matnidan olingan nuqta bulutining o'lchami uning kelib chiqishi haqida foydali ma'lumot bera oladimi? Tadqiqotchilar RoBERTa modelidan matn tokenlarining joylashuvini ajratib olish va buni tekshirish uchun ularni ko‘p o‘lchovli makonda nuqta sifatida ko‘rish uchun foydalandilar. Ular oldingi ishlardan ilhomlangan murakkab usullardan foydalangan holda ushbu nuqta bulutlarining fraksiyonel o'lchamlarini taxmin qilishdi.
Tadqiqotchilar ushbu matnni yaratganidan hayratda qolishdi GPT-3kabi .5 modellari ChatGPT va Davincining o'rtacha o'lchamlari inson tomonidan yozilgan matnga qaraganda ancha past edi. Ushbu qiziqarli naqsh domenlarda va hatto muqobil modellar paydo bo'lganda ham saqlanib qoldi GPT-2 yoki OPT ishlatilgan. Shunisi e'tiborga loyiqki, hatto aniqlanmaslik uchun maxsus mo'ljallangan DIPPER parafrazasidan foydalanganda ham o'lcham atigi 3% ga o'zgargan. Ushbu kashfiyotlar tadqiqotchilarga umumiy qochish usullariga chidamli mustahkam o'lchamlarga asoslangan detektorni yaratishga imkon berdi.
Shunisi e'tiborga loyiqki, domenlar va modellar o'zgartirilganda detektorning aniqligi doimiy ravishda yuqori bo'lib qoldi. Ruxsat etilgan chegara bilan aniqlashning aniqligi (haqiqiy ijobiy ko'rsatkich) 75% dan yuqori, noto'g'ri ijobiy ko'rsatkich (FPR) esa 1% dan kam bo'lib qoldi. Aniqlash tizimi DIPPER texnikasi bilan sinovdan o'tganda ham, aniqlik 40% ga tushib, mavjud detektorlardan, jumladan, tomonidan ishlab chiqilganlardan ham oshib ketdi. OpenAI.
Bundan tashqari, tadqiqotchilar ko'p tilli RoBERTa kabi ko'p tilli modellarni qo'llashni o'rganishdi. Bu ularga ingliz tilidan boshqa tillar uchun o'xshash detektorlarni ishlab chiqish imkonini berdi. O'rnatishning o'rtacha ichki o'lchami turli tillarda o'zgargan bo'lsa-da, yaratilgan matnlarning o'lchami har bir muayyan til uchun inson tomonidan yozilgan matndan doimiy ravishda past bo'lib qoldi.
Biroq, detektor ba'zi zaif tomonlarini ko'rsatdi, ayniqsa yuqori avlod harorati va ibtidoiy holatlarga duch kelganda generator modellari. Yuqori haroratlarda yaratilgan matnlarning ichki o'lchami inson tomonidan yozilgan matndan oshib ketishi mumkin, bu esa detektorni samarasiz qiladi. Yaxshiyamki, bunday generator modellari allaqachon muqobil usullar yordamida aniqlangan. Bundan tashqari, tadqiqotchilar RoBERTa-dan tashqari matn kiritishlarini olish uchun muqobil modellarni o'rganish uchun joy mavjudligini tan olishdi.
Inson va AI tomonidan yozilgan matn o'rtasidagi farq
Yanvar oyida, OpenAI e'lon odamlar tomonidan yozilgan matn va AI tizimlari tomonidan yaratilgan matnni farqlash uchun mo'ljallangan yangi tasniflagichni ishga tushirish. Ushbu tasniflagich noto'g'ri ma'lumot kampaniyalari va akademik insofsizlik kabi sun'iy intellekt tomonidan yaratilgan kontentning tarqalishi ortib borayotgan muammolarni hal qilishga qaratilgan.
AI tomonidan yozilgan barcha matnlarni aniqlash murakkab vazifa bo'lsa-da, bu tasniflagich noto'g'ri da'volarni yumshatish uchun qimmatli vosita bo'lib xizmat qiladi. AI tomonidan yaratilgan matnda inson muallifligi. Ingliz tilidagi matnlar to‘plamini sinchkovlik bilan baholash natijasida ishlab chiquvchilar ushbu tasniflagich sun’iy intellektda yozilgan matnning 26 foizini “ehtimol sun’iy intellektda yozilgan” (haqiqiy ijobiylar) deb aniq aniqlashini va vaqti-vaqti bilan inson tomonidan yozilgan matnni AI tomonidan yaratilgan (noto‘g‘ri) deb noto‘g‘ri belgilashini aniqladilar. ijobiy) 9% ga. Shuni ta'kidlash kerakki, klassifikatorning ishonchliligi kiritilgan matn uzunligi oshgani sayin yaxshilanadi. Oldingi tasniflagichlar bilan taqqoslaganda, ushbu yangi versiya so'nggi AI tizimlari tomonidan yaratilgan matnga nisbatan ancha yuqori ishonchlilikni namoyish etadi.
Ushbu tasniflagich kabi nomukammal vositalarning foydaliligi haqida qimmatli fikr-mulohazalarni to'plash uchun ishlab chiquvchilar buni qildilar hammaga ochiq. Siz bizning tugallanmagan klassifikatorimizni bepul sinab ko'rishingiz mumkin. Biroq, uning cheklovlarini tushunish juda muhimdir. Klassifikator matn manbasini aniqlash uchun asosiy qaror qabul qilish manbasi emas, balki qo'shimcha vosita sifatida ishlatilishi kerak. U qisqa matnlarda yuqori ishonchsizlikni ko'rsatadi va inson tomonidan yozilgan matn noto'g'ri AI tomonidan yaratilgan deb nomlanishi mumkin bo'lgan holatlar mavjud.
Shuni ta'kidlash joizki, yuqori bashorat qilinadigan matnlarni, masalan, dastlabki 1,000 ta tub sonlar ro'yxatini doimiy ravishda aniqlash mumkin emas. AI tomonidan yaratilgan matnni tahrirlash, shuningdek, tasniflagichdan qochishga yordam beradi va biz muvaffaqiyatli hujumlar asosida tasniflagichni yangilash va qayta tayyorlashimiz mumkin, ammo aniqlashning uzoq muddatli afzalligi noaniqligicha qolmoqda. Bundan tashqari, tasniflagichlar asoslanadi neyron tarmoqlari ko'pincha o'quv ma'lumotlaridan tashqarida noto'g'ri sozlangan, bu esa o'quv majmuasidan sezilarli darajada farq qiladigan kirishlar uchun noto'g'ri prognozlarga o'ta ishonchga olib keladi.
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
