Експертите предупреждават срещу „злонамерени вмъквания“ в набори от данни за AI ChatGPT
Накратко
ChatGPT е потенциално уязвим поради данните за обучението.
Според изследователите само за 60 долара в САЩ бихме могли да отровим 0.01% от наборите от данни LAION-400 или COYO-700 през 2022 г.
ChatGPT технологията става все по-популярна, но наскоро изследване предполага, че тази технология може да е уязвима поради данните за обучение, които използва. Тъй като моделите стават по-сложни и наборите от данни стават по-големи и по-сложни, злонамерените участници могат да се възползват от тази уязвимост, за да манипулират наборите от данни и да накарат моделите за машинно обучение да произвеждат неточни резултати.
| Препоръчва се: Топ 10 на най-обещаващите акции, прогнозирани от ChatGPT (AI) да надмине водещите световни фондове през 2023 г |
Основното безпокойство е, че базите данни на chatbot често са „условно проверени“ набори от данни, което означава, че има определено ниво на доверие, поставено в данните без задълбочена проверка. С други думи, тези набори от данни често могат да имат основни проблеми, които не са били взети предвид. Въпреки че валидирането на набори от данни често не се извършва поради големия им размер, съществува потенциал за злонамерени участници да манипулират тези данни.
Всъщност изследователите предполагат, че до 2022 г. нападателите биха могли да похарчат около 60 долара, за да отровят 0.01% от наборите от данни LAION-400 или COYO-700. Въпреки че това не звучи много, злонамерените участници биха могли да използват тези отровени данни за собствена изгода, ако не бъдат проверени. Злонамерените данни в крайна сметка могат изтичане в по-големи масиви от данни, което влошава качеството на данните и води до ненадеждни модели на машинно обучение.
Необходимо е да се предприемат стъпки за защита на базите данни срещу злонамерени данни. Обединяването на няколко източника на данни трябва да се превърне в стандарт за chatbot набори от данни за обучение за да се гарантира, че данните са надеждни и точни. Освен това компаниите трябва да експериментират с набори от данни, за да гарантират, че не са уязвими от злонамерени участници.
AI Chatbots със злонамерен код могат да бъдат уязвими за хакване
Заплахата от злонамерен код в chatbots може да бъде доста сериозна; злонамереният код може да се използва за кражба на потребителски данни, активиране на злонамерен достъп до сървъри и активиране на злонамерени дейности като изпирането на пари или ексфилтриране на данни. Ако AI chatbot е обучен на данни със злонамерени вмъквания, той може несъзнателно да инжектира злонамерения код в своите отговори и несъзнателно да бъде използван като инструмент за злонамерена печалба.
Възможно е злонамерените участници да се възползват от тази уязвимост чрез умишлено или неволно въвеждане на зловреден код в данни за обучение. Освен това, тъй като AI chatbots се учат от данните, с които се представят, това също може потенциално да доведе до научаването им на неправилни отговори или дори злонамерено поведение.
Друга опасност, пред която могат да се изправят чат ботовете с изкуствен интелект, е тази от „прекомерно оборудване“. Това е, когато моделите за прогнозиране се обучават твърде внимателно върху данните, които са им дадени, което води до лоши прогнози, когато се представят с нови данни. Това може да бъде особен проблем като AI чат ботове обучени за злонамерен код потенциално биха могли да станат по-ефективни при инжектирането на злонамерен код в своите отговори, когато се запознаят по-добре с данните.
От съществено значение е да сте наясно с рисковете и да вземете предпазни мерки, за да гарантирате данните за обучение, използвани за преподаване ChatGPT е сигурен и надежден за предотвратяване на тези потенциални слабости. Първоначалните данни, използвани за обучение, също трябва да се съхраняват отделно и уникално; популяризирането на „злонамерени вмъквания“ не трябва да противоречи или да се припокрива с други източници. Трябва да се проучи и сравни с други домейни, ако „улавянето“ на множество потвърдени домейни е осъществимо за валидиране на данните.
Технологията Chatbot обещава да промени начина, по който хората водят човешки дискусии. Но преди да може да реализира пълния си потенциал, той трябва да бъде подобрен и защитен. Наборите от данни за чатботове трябва да бъдат добре проверени и подготвени за отблъскване на злонамерени участници. Правейки това, можем да гарантираме, че ще използваме напълно потенциала на технологията и ще продължим да настояваме граници на изкуствения интелект.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
