Stručnjaci upozoravaju na 'zlonamjerne umetke' u skupove podataka umjetne inteligencije ChatGPT
Ukratko
ChatGPT je potencijalno ranjiv zbog podataka o obuci.
Prema istraživačima, za samo 60 dolara u SAD-u mogli bismo otrovati 0.01% skupova podataka LAION-400 ili COYO-700 2022. godine.
ChatGPT tehnologija postaje sve popularnija, ali nedavno istraživanje sugerira da bi ova tehnologija mogla biti ranjiva zbog podataka o obuci koje koristi. Kako modeli postaju sve složeniji, a skupovi podataka sve veći i složeniji, zlonamjerni bi akteri mogli iskoristiti ovu ranjivost za manipuliranje skupovima podataka i uzrokovati da modeli strojnog učenja daju netočne rezultate.
| Preporučena: Predvidio 10 dionica koje najviše obećavaju ChatGPT (AI) nadmašiti vodeće svjetske fondove 2023 |
Primarna briga je da su baze podataka chatbota često "uvjetno provjereni" skupovi podataka, što znači da postoji određena razina povjerenja u podatke bez opsežne provjere. Drugim riječima, ti skupovi podataka često mogu imati temeljne probleme koji nisu razmotreni. Iako se provjera valjanosti skupova podataka često ne provodi zbog njihove velike veličine, postoji mogućnost da zlonamjerni akteri manipuliraju tim podacima.
Zapravo, istraživači su sugerirali da bi do 2022. napadači mogli potrošiti procijenjenih 60 USD da otruju 0.01% skupova podataka LAION-400 ili COYO-700. Iako to ne zvuči mnogo, zlonamjerni bi akteri mogli iskoristiti ove zatrovane podatke za vlastitu korist ako ih se ne kontrolira. Zlonamjerni podaci mogu na kraju propuštati u veće skupove podataka, kvareći kvalitetu podataka i dovodeći do nepouzdanih modela strojnog učenja.
Potrebno je poduzeti korake za zaštitu baza podataka od zlonamjernih podataka. Agregiranje nekoliko izvora podataka trebalo bi postati standard za chatbot skupovi podataka za obuku kako bismo osigurali pouzdanost i točnost podataka. Osim toga, tvrtke bi trebale eksperimentirati sa skupovima podataka kako bi osigurale da nisu ranjive na zlonamjerne aktere.
AI Chatbotovi sa zlonamjernim kodom mogu biti ranjivi na hakiranje
Prijetnja zlonamjernog koda u chatbotovima može biti vrlo ozbiljna; zlonamjerni kod može se koristiti za krađu korisničkih podataka, omogućavanje zlonamjernog pristupa poslužiteljima i omogućavanje zlonamjernih aktivnosti kao što su pranje novca ili eksfiltraciju podataka. Ako je AI chatbot obučen za podatke sa zlonamjernim umetcima, mogao bi nesvjesno ubaciti zlonamjerni kod u svoje odgovore i nesvjesno se koristiti kao alat za zlonamjernu dobit.
Moguće je da zlonamjerni akteri iskoriste ovu ranjivost namjernim ili nenamjernim uvođenjem zlonamjernog koda u podatke o treningu. Osim toga, budući da AI chatbotovi uče iz podataka s kojima se prezentiraju, to bi potencijalno moglo dovesti do toga da uče netočne odgovore ili čak zlonamjerno ponašanje.
Još jedna opasnost s kojom se AI chatbotovi mogu suočiti je "pretjerano opremanje". To je slučaj kada se modeli predviđanja previše uvježbavaju na podacima koje su dobili, što dovodi do loših predviđanja kada se prezentiraju s novim podacima. Ovo može biti poseban problem jer AI chatbotovi obučeni za zlonamjerni kod potencijalno bi mogli postati učinkovitiji u ubacivanju zlonamjernog koda u svoje odgovore kako se bolje upoznaju s podacima.
Bitno je biti svjestan rizika i poduzeti mjere opreza kako bi se zajamčili podaci o obuci koji se koriste za podučavanje ChatGPT je siguran i pouzdan kako bi spriječio te potencijalne slabosti. Početni podaci korišteni za obuku također se moraju čuvati odvojeno i jedinstveno; promicanje "zlonamjernih umetaka" ne smije biti u sukobu s drugim izvorima niti se s njima preklapati. Trebalo bi ga ispitati i usporediti s drugim domenama ako je "hvatanje" više potvrđenih domena izvedivo za provjeru valjanosti podataka.
Tehnologija chatbota obećava transformaciju načina na koji ljudi vode ljudske rasprave. Ali prije nego što ostvari svoj puni potencijal, potrebno ga je poboljšati i zaštititi. Skupovi podataka za chatbotove moraju biti dobro provjereni i spremni za obranu od zlonamjernih aktera. Čineći to, možemo osigurati da u potpunosti iskoristimo potencijal tehnologije i nastavimo gurati Limiti umjetne inteligencije.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
