Стручњаци упозоравају на „злонамерне уметке“ у скупове АИ података у ChatGPT
Укратко
ChatGPT је потенцијално рањива због података о обуци.
Према истраживачима, за само 60 долара у САД, могли бисмо отровати 0.01% скупова података ЛАИОН-400 или ЦОИО-700 2022.
ChatGPT технологија постаје све популарнија, али новија истраживање сугерише да ова технологија може бити рањива због података о обуци које користи. Како модели постају сложенији, а скупови података све већи и сложенији, злонамерни актери би могли да искористе ову рањивост да манипулишу скуповима података и изазову да модели машинског учења дају нетачне резултате.
| Препоручује се: Топ 10 најперспективнијих акција које предвиђа ChatGPT (АИ) надмашити водеће светске фондове 2023 |
Примарна брига је да су базе података цхатбот-а често „условно верификовани“ скупови података, што значи да постоји одређени ниво поверења у податке без опсежне провере. Другим речима, ови скупови података често могу имати основне проблеме који нису узети у обзир. Иако се валидација скупова података често не врши због њихове велике величине, постоји потенцијал да злонамерни актери манипулишу овим подацима.
У ствари, истраживачи су сугерисали да би до 2022. нападачи могли да потроше око 60 долара на тровање 0.01% скупова података ЛАИОН-400 или ЦОИО-700. Иако ово не звучи много, злонамерни актери би могли да искористе ове затроване податке за сопствену корист ако се не провере. Злонамерни подаци могу на крају цурење у веће скупове података, нарушавајући квалитет података и доводећи до непоузданих модела машинског учења.
Неопходно је предузети кораке за заштиту база података од злонамерних података. Обједињавање неколико извора података требало би да постане стандард за цхат бот скупови података за обуку како би се осигурало да су подаци поуздани и тачни. Поред тога, компаније би требало да експериментишу са скуповима података како би се увериле да нису рањиве на злонамерне актере.
АИ цхат-ботови са злонамерним кодом могу бити рањиви на хаковање
Претња од злонамерног кода у цхатботовима може бити прилично озбиљна; злонамерни код се може користити за крађу корисничких података, омогућавање злонамерног приступа серверима и омогућавање злонамерних активности као нпр прање новца или ексфилтрације података. Ако је АИ цхатбот обучен за податке са злонамерним уметцима, могао би несвесно убризгати злонамерни код у своје одговоре и несвесно се користити као алат за злонамерну добит.
Могуће је да злонамерни актери искористе ову рањивост намерно или ненамерно увођењем злонамерног кода у подаци о обуци. Поред тога, пошто АИ цхат ботови уче из података са којима су представљени, то такође потенцијално може довести до тога да науче нетачне одговоре или чак злонамерно понашање.
Још једна опасност са којом се АИ цхат ботови могу суочити је опасност од „преоптерећења“. То је када се модели предвиђања превише обучавају за податке који су им дати, што доводи до лоших предвиђања када се презентују са новим подацима. Ово може бити посебан проблем као АИ цхатботови обучени о злонамерном коду би потенцијално могли да постану ефикаснији у убацивању злонамерног кода у њихове одговоре како се боље упознају са подацима.
Неопходно је бити свестан ризика и предузети мере предострожности како би се гарантовали подаци о обуци који се користе за подучавање ChatGPT је сигуран и поуздан за спречавање ових потенцијалних слабости. Почетни подаци који се користе за обуку такође морају бити одвојени и јединствени; промоција „злонамерних уметака“ не сме да буде у супротности са другим изворима нити да се преклапа са њима. Требало би га испитати и упоредити са другим доменима ако је „хватање“ више потврђених домена изводљиво за валидацију података.
Технологија за ћаскање обећава да ће трансформисати начин на који људи воде људске дискусије. Али пре него што може да оствари свој пуни потенцијал, треба га побољшати и заштитити. Скупови података за цхат ботове морају бити добро проверени и спремни да се одбију од злонамерних актера. Чинећи ово, можемо осигурати да у потпуности искористимо потенцијал технологије и да наставимо да развијамо ограничења вештачке интелигенције.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
