Эксперты предостерегают от «злонамеренных вставок» в наборы данных ИИ в ChatGPT
Коротко
ChatGPT потенциально жертвами благодаря тренировочным данным.
По мнению исследователей, всего за 60 долларов в США мы могли бы отравить 0.01% наборов данных LAION-400 или COYO-700 в 2022 году.
ChatGPT технологии становятся все более популярными, но в последнее время исследованиям предполагает, что эта технология может быть уязвима из-за используемых ею обучающих данных. По мере того как модели становятся все более сложными, а наборы данных становятся все более и более сложными, злоумышленники могут использовать эту уязвимость, чтобы манипулировать наборами данных и заставить модели машинного обучения давать неточные результаты.
| Рекомендуется: 10 самых многообещающих акций по прогнозам ChatGPT (AI) превзойдет ведущие мировые фонды в 2023 году |
Основная проблема заключается в том, что базы данных чат-ботов часто представляют собой «условно проверенные» наборы данных, а это означает, что существует определенный уровень доверия к данным без тщательной проверки. Другими словами, эти наборы данных часто могут иметь основные проблемы, которые не были учтены. Хотя проверка наборов данных часто не выполняется из-за их большого размера, существует вероятность того, что злоумышленники смогут манипулировать этими данными.
Фактически, исследователи предположили, что к 2022 году злоумышленники могут потратить около 60 долларов на отравление 0.01% наборов данных LAION-400 или COYO-700. Хотя это звучит не так уж и много, злоумышленники могут использовать эти отравленные данные для собственной выгоды, если их не остановить. Вредоносные данные могут в конечном итоге утечка в большие наборы данных, ухудшая качество данных и приводя к ненадежным моделям машинного обучения.
Необходимо принять меры для защиты баз данных от вредоносных данных. Объединение нескольких источников данных должно стать стандартом для чат-бота. наборы данных для обучения чтобы данные были надежными и точными. Кроме того, компаниям следует экспериментировать с наборами данных, чтобы убедиться, что они не уязвимы для злоумышленников.
Чат-боты с искусственным интеллектом с вредоносным кодом могут быть уязвимы для взлома
Угроза вредоносного кода в чат-ботах может быть весьма серьезной; вредоносный код может использоваться для кражи пользовательских данных, обеспечения злонамеренного доступа к серверам и осуществления вредоносных действий, таких как отмывание денег или эксфильтрации данных. Если чат-бот с искусственным интеллектом обучается на данных с вредоносными вставками, он может неосознанно внедрять вредоносный код в свои ответы и неосознанно использоваться в качестве инструмента для злонамеренной выгоды.
Злоумышленники могут воспользоваться этой уязвимостью, преднамеренно или непреднамеренно внедрив вредоносный код в данные обучения. Кроме того, поскольку чат-боты ИИ учатся на данных, которые им представлены, это также может привести к тому, что они будут обучаться неверным ответам или даже злонамеренному поведению.
Еще одна опасность, с которой могут столкнуться чат-боты с искусственным интеллектом, — это «переоснащение». Это когда модели прогнозирования слишком тщательно обучаются на данных, которые им были предоставлены, что приводит к плохим прогнозам при представлении новых данных. Это может быть особой проблемой, поскольку AI чатботы обученные работе с вредоносным кодом потенциально могут стать более эффективными при внедрении вредоносного кода в свои ответы по мере того, как они лучше ознакомятся с данными.
Очень важно знать о рисках и принимать меры предосторожности, чтобы гарантировать данные обучения, используемые для обучения. ChatGPT является безопасным и надежным, чтобы предотвратить эти потенциальные недостатки. Исходные данные, используемые для обучения, также должны храниться раздельно и уникально; продвижение «вредоносных вставок» не должно конфликтовать с другими источниками или пересекаться с ними. Его следует изучить и сравнить с другими доменами, если возможен «захват» нескольких подтвержденных доменов для проверки данных.
Технология чат-ботов обещает изменить то, как люди ведут человеческие обсуждения. Но прежде чем он сможет полностью реализовать свой потенциал, его необходимо улучшить и защитить. Наборы данных для чат-ботов должны быть тщательно проверены и подготовлены для защиты от злоумышленников. Делая это, мы можем гарантировать, что мы полностью используем потенциал технологии и продолжаем продвигать рамки искусственного интеллекта.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
