Odborníci varujú pred „škodlivými vložkami“ do súborov údajov AI v ChatGPT
Stručne
ChatGPT je potenciálne zraniteľný kvôli tréningovým údajom.
Podľa výskumníkov by sme len za 60 dolárov v USA mohli v roku 0.01 otráviť 400 % súborov údajov LAION-700 alebo COYO-2022.
ChatGPT technológia sa stáva čoraz populárnejšou, ale nedávnou výskum naznačuje, že táto technológia môže byť zraniteľná v dôsledku tréningových údajov, ktoré používa. Keď sa modely stanú zložitejšími a súbory údajov budú väčšie a zložitejšie, zlomyseľní aktéri by mohli túto zraniteľnosť zneužiť na manipuláciu so súbormi údajov a spôsobiť, že modely strojového učenia budú produkovať nepresné výsledky.
| Odporúčaná: Top 10 najsľubnejších akcií podľa predpovedí ChatGPT (AI) prekonať popredné svetové fondy v roku 2023 |
Primárnym problémom je, že databázy chatbotov sú často „podmienečne overené“ súbory údajov, čo znamená, že existuje určitá úroveň dôvery vložená do údajov bez rozsiahleho overovania. Inými slovami, tieto súbory údajov môžu mať často základné problémy, ktoré neboli zohľadnené. Hoci sa validácia súborov údajov často nevykonáva kvôli ich veľkej veľkosti, existuje možnosť, že by s týmito údajmi mohli manipulovať zlomyseľní aktéri.
V skutočnosti výskumníci navrhli, že do roku 2022 by útočníci mohli minúť odhadom 60 dolárov na otravu 0.01 % súborov údajov LAION-400 alebo COYO-700. Aj keď to neznie ako veľa, zlomyseľní herci by mohli použiť tieto otrávené údaje pre svoj vlastný zisk, ak by to nebolo zaškrtnuté. Škodlivé údaje môžu nakoniec unikať do väčších súborov údajov, čo poškodzuje kvalitu údajov a vedie k nespoľahlivým modelom strojového učenia.
Je potrebné podniknúť kroky na ochranu databáz pred škodlivými údajmi. Agregácia niekoľkých dátových zdrojov by sa mala stať štandardom pre chatbota tréningové dátové súbory aby boli údaje spoľahlivé a presné. Spoločnosti by navyše mali experimentovať so súbormi údajov, aby sa ubezpečili, že nie sú zraniteľné voči škodlivým činiteľom.
Chatboty AI so škodlivým kódom môžu byť náchylné na hackovanie
Hrozba škodlivého kódu v chatbotoch môže byť dosť vážna; škodlivý kód možno použiť na odcudzenie používateľských údajov, umožnenie škodlivého prístupu k serverom a umožnenie škodlivých aktivít, ako napr prania špinavých peňazí alebo exfiltráciu údajov. Ak je chatbot AI trénovaný na dátach so škodlivými vložkami, mohol by nevedomky vložiť škodlivý kód do svojich odpovedí a nevedomky ho použiť ako nástroj na škodlivý zisk.
Zločinci môžu využiť túto zraniteľnosť zámerným alebo neúmyselným zavedením škodlivého kódu do tréningové údaje. Okrem toho, keďže chatboty AI sa učia z údajov, s ktorými sú prezentované, môže to potenciálne viesť k tomu, že sa naučia nesprávne odpovede alebo dokonca škodlivé správanie.
Ďalším nebezpečenstvom, ktorému môžu chatboty AI čeliť, je „premontovanie“. To je, keď sú predikčné modely trénované príliš presne na údajoch, ktoré dostali, čo vedie k zlým predpovediam, keď sú prezentované s novými údajmi. Toto môže byť osobitný problém, napr AI chatboti vyškolení na škodlivý kód by sa mohli stať efektívnejšími pri zavádzaní škodlivého kódu do ich odpovedí, keď sa s údajmi lepšie zoznámia.
Je nevyhnutné, aby ste si boli vedomí rizík a prijali preventívne opatrenia, aby ste zaručili školiace údaje používané pri výučbe ChatGPT je bezpečný a spoľahlivý, aby zabránil týmto potenciálnym slabinám. Počiatočné údaje použité na školenie musia byť tiež uchovávané oddelene a jedinečné; propagácia „škodlivých príloh“ nesmie byť v rozpore s inými zdrojmi ani sa s nimi prekrývať. Malo by sa preskúmať a porovnať s inými doménami, či je na overenie údajov možné „zachytenie“ viacerých potvrdených domén.
Technológia Chatbot sľubuje, že zmení spôsob, akým ľudia vedú ľudské diskusie. Ale skôr, ako môže naplno využiť svoj potenciál, je potrebné ho zlepšiť a chrániť. Dátové súbory pre chatboty musia byť dobre skontrolované a pripravené na odvrátenie škodlivých aktérov. Takto môžeme zabezpečiť, že naplno využijeme potenciál technológie a budeme ho neustále posúvať ďalej limity umelej inteligencie.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
