Strokovnjaki svarijo pred "zlonamernimi vložki" v nabore podatkov AI ChatGPT
Na kratko
ChatGPT je potencialno ranljivi zaradi podatkov o usposabljanju.
Po mnenju raziskovalcev bi lahko za samo 60 $ v ZDA leta 0.01 zastrupili 400 % nizov podatkov LAION-700 ali COYO-2022.
ChatGPT tehnologija postaja vse bolj priljubljena, vendar pred kratkim Raziskave nakazuje, da je ta tehnologija lahko ranljiva zaradi podatkov o usposabljanju, ki jih uporablja. Ko modeli postanejo bolj zapleteni in nabori podatkov večji in bolj zapleteni, lahko zlonamerni akterji izkoristijo to ranljivost za manipulacijo naborov podatkov in povzročijo, da modeli strojnega učenja ustvarijo netočne rezultate.
| Priporočamo: 10 najbolj obetavnih delnic po napovedih ChatGPT (AI), da bo leta 2023 presegel vodilne svetovne sklade |
Glavna skrb je, da so zbirke podatkov chatbotov pogosto »pogojno preverjeni« nabori podatkov, kar pomeni, da obstaja določena stopnja zaupanja v podatke brez obsežnega preverjanja. Z drugimi besedami, ti nabori podatkov imajo lahko pogosto osnovne težave, ki niso bile upoštevane. Čeprav se preverjanje naborov podatkov pogosto ne izvaja zaradi njihove velike velikosti, obstaja možnost, da zlonamerni akterji manipulirajo s temi podatki.
Pravzaprav so raziskovalci predlagali, da bi lahko napadalci do leta 2022 porabili približno 60 USD za zastrupitev 0.01 % nizov podatkov LAION-400 ali COYO-700. Čeprav se to ne sliši veliko, bi lahko zlonamerni akterji uporabili te zastrupljene podatke za lastno korist, če jih ne bi nadzorovali. Zlonamerni podatki lahko sčasoma uhajanje v večje nabore podatkov, kar poslabša kakovost podatkov in povzroči nezanesljive modele strojnega učenja.
Treba je sprejeti ukrepe za zaščito baz podatkov pred zlonamernimi podatki. Združevanje več podatkovnih virov bi moralo postati standard za chatbot nabori podatkov za usposabljanje da zagotovimo zanesljivost in točnost podatkov. Poleg tega bi morala podjetja eksperimentirati z nabori podatkov, da zagotovijo, da niso ranljiva za zlonamerne akterje.
Klepetalni roboti AI z zlonamerno kodo so lahko ranljivi za vdiranje
Nevarnost zlonamerne kode v chatbotih je lahko zelo resna; zlonamerno kodo je mogoče uporabiti za krajo uporabniških podatkov, omogočanje zlonamernega dostopa do strežnikov in omogočanje zlonamernih dejavnosti, kot je npr pranje denarja ali ekstrakcijo podatkov. Če je klepetalni robot z umetno inteligenco usposobljen za podatke z zlonamernimi vstavki, bi lahko nevede vbrizgal zlonamerno kodo v svoje odzive in se nevede uporabil kot orodje za zlonamerno pridobitev.
Možno je, da zlonamerni akterji izkoristijo to ranljivost tako, da namerno ali nenamerno vnesejo zlonamerno kodo v podatki o usposabljanju. Ker se klepetalni roboti z umetno inteligenco učijo iz podatkov, ki so mu predstavljeni, bi to lahko privedlo tudi do tega, da se naučijo napačnih odgovorov ali celo zlonamernega vedenja.
Druga nevarnost, s katero se lahko soočijo klepetalni roboti z umetno inteligenco, je »prekomerno opremljanje«. To je takrat, ko se modeli napovedi preveč usmerjajo na podatke, ki so jim bili dani, kar vodi do slabih napovedi, ko so predstavljeni z novimi podatki. To je lahko posebna težava, saj AI klepeti usposobljeni za zlonamerno kodo, bi lahko postali učinkovitejši pri vnašanju zlonamerne kode v svoje odzive, ko se bolje seznanijo s podatki.
Bistvenega pomena je, da se zavedate tveganj in sprejmete previdnostne ukrepe, da zagotovite podatke o usposabljanju, ki se uporabljajo za poučevanje ChatGPT je varen in zanesljiv za preprečevanje teh potencialnih slabosti. Tudi začetni podatki, ki se uporabljajo za usposabljanje, morajo biti ločeni in edinstveni; promocija "zlonamernih vložkov" ne sme biti v nasprotju z drugimi viri ali se z njimi prekrivati. Treba ga je preučiti in primerjati z drugimi domenami, če je za potrditev podatkov izvedljivo "zajemanje" več potrjenih domen.
Tehnologija Chatbot obljublja spremembo načina, kako ljudje vodijo medčloveške razprave. Toda preden lahko uresniči svoj polni potencial, ga je treba izboljšati in zaščititi. Podatkovne nize za klepetalne robote je treba dobro preveriti in pripraviti za obrambo pred zlonamernimi akterji. S tem lahko zagotovimo, da bomo v celoti izkoristili potencial tehnologije in še naprej spodbujali Meje umetne inteligence.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
