Исследователи открыли новый способ обнаружения текста, сгенерированного искусственным интеллектом
Коротко
Исследователи разработали метод обнаружения сгенерированного ИИ текста с использованием модели RoBERTa, которая извлекает вложения текстовых токенов и визуализирует их в виде точек в многомерном пространстве.
Они обнаружили, что текст, сгенерированный GPT-3.5 модели, такие как ChatGPT и Davinci, имели значительно меньшие средние размеры, чем текст, написанный человеком.
Исследователи создали надежный детектор на основе измерений, устойчивый к обычным методам уклонения.
Точность детектора оставалась неизменно высокой при изменении доменов и моделей с фиксированным порогом и падением точности на 40% при использовании метода DIPPER.
Исследователи исследовали область текста, сгенерированного ИИ, и разработал метод обнаружения контента, генерируемого ИИ такие модели, как GPT и Llama. Они обнаружили интересные сведения о природе генерируемого текста, используя концепцию дробной размерности. Их результаты проливают свет на неотъемлемые различия между текстом, написанным людьми, и текстом, созданным моделями ИИ.
Может ли измерение облака точек, полученное из текста на естественном языке, предоставить полезную информацию о его происхождении? Исследователи использовали модель RoBERTa для извлечения вложений текстовых токенов и визуализации их в виде точек в многомерном пространстве. Они оценили дробный размер этих облаков точек, используя сложные методы, вдохновленные предыдущими работами.
Исследователи были поражены, обнаружив, что текст, созданный GPT-3.5 модели, такие как ChatGPT и Давинчи, имели значительно меньшие средние размеры, чем текст, написанный человеком. Эта интригующая закономерность сохранялась во всех областях и даже тогда, когда альтернативные модели, такие как GPT-2 или ОПТ. Примечательно, что даже при использовании парафраза DIPPER, специально разработанного для предотвращения обнаружения, размерность изменилась всего лишь примерно на 3%. Эти открытия позволили исследователям создать надежный детектор на основе измерений, устойчивый к обычным методам уклонения.
Примечательно, что точность детектора оставалась неизменно высокой при смене доменов и моделей. При фиксированном пороге точность обнаружения (истинно положительные результаты) оставалась выше 75 %, а ложноположительные результаты (FPR) оставались менее 1 %. Даже когда система обнаружения была дополнена методом DIPPER, точность упала до 40%, превзойдя существующие детекторы, в том числе разработанные OpenAI.
Кроме того, исследователи изучили возможность применения многоязычных моделей, таких как многоязычная RoBERTa. Это позволило им разработать аналогичные детекторы для языков, отличных от английского. Хотя средний внутренний размер вложений различался в разных языках, размер сгенерированных текстов оставался неизменно ниже, чем размер рукописного текста для каждого конкретного языка.
Однако у детектора были некоторые недостатки, особенно при работе с высокими температурами генерации и примитивными модели генераторов. При более высоких температурах внутренний размер сгенерированного текста может превысить размер текста, написанного человеком, что сделает детектор неэффективным. К счастью, такие модели генераторов уже можно обнаружить с помощью альтернативных методов. Кроме того, исследователи признали, что существует возможность изучения альтернативных моделей извлечения вложений текста помимо RoBERTa.
Различие между текстом, написанным человеком и текстом, написанным искусственным интеллектом
В январе OpenAI объявило запуск нового классификатора, предназначенного для различения текста, написанного людьми, и текста, сгенерированного системами ИИ. Этот классификатор направлен на решение проблем, связанных с растущим распространением контента, созданного ИИ, таких как кампании по дезинформации и академическая нечестность.
Хотя обнаружение всего текста, написанного ИИ, является сложной задачей, этот классификатор служит ценным инструментом для смягчения ложных заявлений о человеческое авторство в тексте, сгенерированном ИИ. Путем тщательной оценки набора английских текстов разработчики обнаружили, что этот классификатор точно идентифицирует 26% текста, написанного ИИ, как «вероятно написанного ИИ» (истинные положительные результаты), в то же время иногда неверно маркируя написанный человеком текст как текст, созданный ИИ (ложный результат). позитивы) на 9%. Важно отметить, что надежность классификатора повышается по мере увеличения длины входного текста. По сравнению с предыдущими классификаторами эта новая версия демонстрирует значительно более высокую надежность текста, сгенерированного более современными системами искусственного интеллекта.
Чтобы собрать ценные отзывы о полезности таких несовершенных инструментов, как этот классификатор, разработчики сделали его общедоступной. Вы можете бесплатно попробовать наш незавершенный классификатор. Однако важно понимать его ограничения. Классификатор следует использовать как дополнительный инструмент, а не как основной ресурс для принятия решений, для определения источника текста. Он демонстрирует высокую ненадежность коротких текстов, и бывают случаи, когда текст, написанный человеком, может быть неправильно помечен как сгенерированный ИИ.
Стоит отметить, что очень предсказуемые тексты не могут быть последовательно идентифицированы, например, список первых 1,000 простых чисел. Редактирование сгенерированного ИИ текста также может помочь обойти классификатор, и хотя мы можем обновлять и переобучать классификатор на основе успешных атак, долгосрочное преимущество обнаружения остается неопределенным. Кроме того, классификаторы, основанные на нейронные сети часто плохо откалиброваны за пределами своих обучающих данных, что приводит к крайней уверенности в неверных прогнозах для входных данных, значительно отличающихся от обучающего набора.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
