محققان روش جدیدی برای تشخیص متن تولید شده توسط هوش مصنوعی کشف کردند
به طور خلاصه
محققان روشی را برای تشخیص متن تولید شده توسط هوش مصنوعی با استفاده از مدل RoBERTa ابداع کرده‌اند که جاسازی‌های نشانه‌های متن را استخراج می‌کند و آنها را به عنوان نقاطی در یک فضای چند بعدی تجسم می‌کند.
آنها متوجه شدند که متن تولید شده توسط GPT-3.5 مدل مانند ChatGPT و داوینچی، ابعاد متوسط کمتری نسبت به متن نوشته شده توسط انسان داشتند.
محققان یک آشکارساز مبتنی بر ابعاد قوی ایجاد کردند که در برابر تکنیک های رایج فرار مقاوم بود.
دقت آشکارساز با تغییر دامنه‌ها و مدل‌ها، با یک آستانه ثابت و کاهش دقت 40 درصدی در هنگام به چالش کشیدن با تکنیک DIPPER، به طور مداوم بالا باقی می‌ماند.
محققان حوزه متن تولید شده توسط هوش مصنوعی و روشی را برای تشخیص محتوای تولید شده توسط هوش مصنوعی توسعه داده است مدل هایی مانند GPT و Llama. آنها با استفاده از مفهوم بعد کسری، بینش های جالبی در مورد ماهیت متن تولید شده کشف کردند. یافته های آنها تفاوت های ذاتی بین متن نوشته شده توسط انسان و متن تولید شده توسط مدل های هوش مصنوعی را روشن می کند.
آیا بعد ابر نقطه ای که از متن زبان طبیعی گرفته شده است می تواند اطلاعات مفیدی در مورد منشاء آن ارائه دهد؟ محققان از مدل RoBERTa برای استخراج نشانه های متنی و تجسم آنها به عنوان نقاطی در فضای چند بعدی برای بررسی این موضوع استفاده کردند. آنها ابعاد کسری این ابرهای نقطه ای را با استفاده از تکنیک های پیچیده الهام گرفته از آثار قبلی تخمین زدند.
محققان از کشف متن ایجاد شده توسط GPT-3.5 مدل مانند ChatGPT و داوینچی، ابعاد متوسط کمتری نسبت به متن نوشته شده توسط انسان داشتند. این الگوی جذاب در سراسر حوزه ها و حتی زمانی که مدل های جایگزین مانند GPT-2 یا OPT استفاده شد. قابل ذکر است، حتی در هنگام استفاده از عبارت DIPPER، که به طور خاص برای جلوگیری از تشخیص طراحی شده است، ابعاد فقط حدود 3٪ تغییر می کند. این اکتشافات محققان را قادر ساخت که یک آشکارساز مبتنی بر ابعاد قوی ایجاد کنند که در برابر تکنیک های رایج فرار مقاوم است.
قابل توجه است که دقت آشکارساز در هنگام تغییر دامنه ها و مدل ها به طور مداوم بالا باقی می ماند. با یک آستانه ثابت، دقت تشخیص (نرخ مثبت واقعی) بالای 75٪ باقی ماند در حالی که نرخ مثبت کاذب (FPR) کمتر از 1٪ باقی ماند. حتی زمانی که سیستم تشخیص با تکنیک DIPPER به چالش کشیده شد، دقت به 40% کاهش یافت و از آشکارسازهای موجود، از جمله آنهایی که توسط OpenAI.
علاوه بر این، محققان کاربرد مدل های چند زبانه مانند RoBERTa چند زبانه را بررسی کردند. این به آنها اجازه داد تا آشکارسازهای مشابهی را برای زبان‌هایی غیر از انگلیسی توسعه دهند. در حالی که میانگین بعد داخلی تعبیه‌ها در زبان‌های مختلف متفاوت است، بعد متون تولید شده به طور مداوم کمتر از متن نوشته شده توسط انسان برای هر زبان خاص باقی مانده است.
با این حال، آشکارساز برخی از نقاط ضعف را نشان داد، به ویژه در هنگام مواجهه با دماهای نسل بالا و ابتدایی مدل های ژنراتور. در دماهای بالاتر، بعد داخلی متون تولید شده می تواند از متن نوشته شده توسط انسان پیشی بگیرد و آشکارساز را بی اثر کند. خوشبختانه، چنین مدل های ژنراتور در حال حاضر با استفاده از روش های جایگزین قابل شناسایی هستند. علاوه بر این، محققان اذعان کردند که فضایی برای کاوش مدل‌های جایگزین برای استخراج جاسازی‌های متنی فراتر از RoBERTa وجود دارد.
تمایز بین متن نوشته شده توسط انسان و هوش مصنوعی
در ژانویه، OpenAI اعلام کرد راه اندازی یک طبقه بندی جدید طراحی شده برای تمایز بین متن نوشته شده توسط انسان و متن تولید شده توسط سیستم های هوش مصنوعی. هدف این طبقه‌بندی‌کننده بررسی چالش‌های ناشی از شیوع روزافزون محتوای تولید شده توسط هوش مصنوعی، مانند کمپین‌های اطلاعات نادرست و عدم صداقت دانشگاهی است.
در حالی که تشخیص تمام متن های نوشته شده با هوش مصنوعی یک کار پیچیده است، این طبقه بندی کننده به عنوان یک ابزار ارزشمند برای کاهش ادعاهای نادرست عمل می کند. تألیف انسان در متن تولید شده توسط هوش مصنوعی. از طریق ارزیابی‌های دقیق روی مجموعه‌ای از متون انگلیسی، توسعه‌دهندگان دریافته‌اند که آن طبقه‌بندی‌کننده به‌طور دقیق ۲۶ درصد از متن‌های نوشته‌شده با هوش مصنوعی را به‌عنوان «احتمالاً نوشته‌شده با هوش مصنوعی» (مثبت‌های واقعی) شناسایی می‌کند، در حالی که گاهی اوقات متن نوشته‌شده توسط انسان را به‌عنوان نوشته‌شده توسط هوش مصنوعی (نادرست) برچسب‌گذاری می‌کند. مثبت) 26٪. توجه به این نکته مهم است که با افزایش طول متن ورودی، قابلیت اطمینان طبقه‌بندی‌کننده بهبود می‌یابد. در مقایسه با طبقه‌بندی‌کننده‌های قبلی، این نسخه جدید قابلیت اطمینان بسیار بالاتری را در متن تولید شده توسط سیستم‌های جدید هوش مصنوعی نشان می‌دهد.
توسعه دهندگان برای جمع آوری بازخورد ارزشمند در مورد سودمندی ابزارهای ناقصی مانند این طبقه بندی کننده، آن را ساخته اند در دسترس عموم. شما می توانید طبقه بندی کار در حال انجام ما را به صورت رایگان امتحان کنید. با این حال، درک محدودیت های آن ضروری است. طبقه‌بندی‌کننده باید به‌جای یک منبع تصمیم‌گیری اولیه، به‌عنوان یک ابزار تکمیلی برای تعیین منبع یک متن استفاده شود. در متون کوتاه غیرقابل اطمینان بالایی نشان می دهد، و مواردی وجود دارد که ممکن است متن نوشته شده توسط انسان به اشتباه به عنوان تولید شده توسط هوش مصنوعی برچسب گذاری شود.
شایان ذکر است که متون بسیار قابل پیش بینی را نمی توان به طور مداوم شناسایی کرد، مانند لیستی از 1,000 عدد اول اول. ویرایش متن ایجاد شده توسط هوش مصنوعی همچنین می تواند به فرار از طبقه بندی کننده کمک کند، و در حالی که می توانیم طبقه بندی کننده را بر اساس حملات موفقیت آمیز به روز کرده و دوباره آموزش دهیم، مزیت طولانی مدت شناسایی نامشخص است. علاوه بر این، طبقه بندی بر اساس شبکه های عصبی اغلب خارج از داده‌های آموزشی خود کالیبره ضعیفی دارند، که منجر به اطمینان شدید در پیش‌بینی‌های نادرست برای ورودی‌های متفاوت از مجموعه آموزشی می‌شود.
سلب مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
مقالات بیشتر
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
