Експерти застерігають від «зловмисних вставок» у набори даних ШІ ChatGPT
Коротко
ChatGPT потенційно уразливий завдяки навчальним даним.
За словами дослідників, лише за 60 доларів у США ми могли б отруїти 0.01% наборів даних LAION-400 або COYO-700 у 2022 році.
ChatGPT технологія стає все більш популярною, але нещодавно дослідження припускає, що ця технологія може бути вразливою через навчальні дані, які вона використовує. Коли моделі стають складнішими, а набори даних стають все більшими та складнішими, зловмисники можуть використовувати цю вразливість, щоб маніпулювати наборами даних і спричиняти неточні результати моделей машинного навчання.
| Рекомендується: 10 найперспективніших акцій за прогнозами ChatGPT (AI), щоб перевершити провідні світові фонди в 2023 році |
Основне занепокоєння полягає в тому, що бази даних чат-ботів часто є «умовно перевіреними» наборами даних, тобто існує певний рівень довіри до даних без ретельної перевірки. Іншими словами, ці набори даних часто можуть мати основні проблеми, які не були розглянуті. Хоча перевірка наборів даних часто не виконується через їх великий розмір, зловмисники можуть маніпулювати цими даними.
Фактично, дослідники припустили, що до 2022 року зловмисники можуть витратити приблизно 60 доларів на отруєння 0.01% наборів даних LAION-400 або COYO-700. Хоча це звучить небагато, зловмисники можуть використовувати ці отруєні дані для власної вигоди, якщо їх не контролювати. Шкідливі дані можуть зрештою витік у більші набори даних, погіршуючи якість даних і створюючи ненадійні моделі машинного навчання.
Необхідно вжити заходів для захисту баз даних від шкідливих даних. Агрегування кількох джерел даних має стати стандартом для чат-бота навчальні набори даних щоб дані були надійними та точними. Крім того, компанії повинні експериментувати з наборами даних, щоб переконатися, що вони не вразливі для зловмисників.
ШІ-чат-боти зі зловмисним кодом можуть бути вразливими до злому
Загроза шкідливого коду в чат-ботах може бути досить серйозною; зловмисний код може бути використаний для викрадення даних користувача, уможливлення зловмисного доступу до серверів і здійснення зловмисних дій, наприклад відмивання грошей або викрадання даних. Якщо чат-бот зі штучним інтелектом навчено використовувати дані зі зловмисними вставками, він може неусвідомлено вставити зловмисний код у свої відповіді та несвідомо використовуватися як інструмент для зловмисної вигоди.
Зловмисники можуть скористатися цією вразливістю, навмисно або ненавмисно впровадивши шкідливий код у дані навчання. Крім того, оскільки чат-боти зі штучним інтелектом навчаються на даних, які їм надаються, це також може призвести до того, що вони навчаться неправильним відповідям або навіть зловмисній поведінці.
Ще одна небезпека, з якою можуть зіткнутися чат-боти штучного інтелекту, — це «переобладнання». Це коли моделі прогнозування надто ретельно тренуються на даних, які вони надали, що призводить до поганих прогнозів, коли представлені нові дані. Це може бути особливою проблемою, оскільки AI чат-боти навчені шкідливому коду можуть потенційно стати більш ефективними у впровадженні шкідливого коду у свої відповіді, коли вони ближче ознайомляться з даними.
Важливо знати про ризики та вживати запобіжних заходів, щоб гарантувати навчальні дані, які використовуються для навчання ChatGPT є безпечним і надійним для запобігання цим потенційним недолікам. Вихідні дані, які використовуються для навчання, також повинні зберігатися окремо та унікально; просування «зловмисних вставок» не повинно суперечити іншим джерелам або збігатися з ними. Його слід вивчити та порівняти з іншими доменами, якщо «захопити» кілька підтверджених доменів можливо для перевірки даних.
Технологія чат-ботів обіцяє змінити те, як люди ведуть людські дискусії. Але перш ніж він зможе повністю реалізувати свій потенціал, його потрібно покращити та захистити. Набори даних для чат-ботів мають бути ретельно перевірені та готові до захисту від зловмисників. Роблячи це, ми можемо гарантувати, що повністю використовуємо потенціал технології та продовжуємо просувати рамки штучного інтелекту.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
