Odborníci varují před „škodlivými vložkami“ do datových sad AI v ChatGPT
Stručně
ChatGPT je potenciálně zranitelný kvůli tréninkovým datům.
Podle výzkumníků bychom za pouhých 60 dolarů v USA mohli v roce 0.01 otrávit 400 % datových souborů LAION-700 nebo COYO-2022.
ChatGPT technologie je stále populárnější, ale nejnovější výzkum naznačuje, že tato technologie může být zranitelná kvůli tréninkovým datům, které používá. S tím, jak se modely stávají složitějšími a soubory dat jsou stále větší a komplexnější, mohou útočníci zneužít tuto zranitelnost k manipulaci s datovými sadami a způsobit, že modely strojového učení produkují nepřesné výsledky.
| Doporučená: Top 10 nejslibnějších akcií podle předpovědi ChatGPT (AI) překonat v roce 2023 přední světové fondy |
Primárním problémem je, že databáze chatbotů jsou často „podmínečně ověřené“ soubory dat, což znamená, že existuje určitá úroveň důvěry vložená do dat bez rozsáhlého ověřování. Jinými slovy, tyto datové soubory mohou mít často základní problémy, které nebyly brány v úvahu. I když se validace datových sad často neprovádí kvůli jejich velké velikosti, existuje možnost, že by s těmito daty mohli manipulovat záškodníci.
Vědci ve skutečnosti navrhli, že do roku 2022 by útočníci mohli utratit odhadem 60 dolarů za otravu 0.01 % datových souborů LAION-400 nebo COYO-700. I když to nezní moc, zlomyslní aktéři by mohli tato otrávená data využít pro svůj vlastní zisk, pokud by to nezkontrolovali. Škodlivá data mohou nakonec unikat do větších datových sad, což narušuje kvalitu dat a vede k nespolehlivým modelům strojového učení.
Je nutné podniknout kroky k ochraně databází před škodlivými daty. Agregace několika zdrojů dat by se měla stát standardem pro chatbota tréninkové datové sady abychom zajistili, že údaje jsou spolehlivé a přesné. Kromě toho by společnosti měly experimentovat s datovými soubory, aby zajistily, že nebudou zranitelné vůči zlomyslným aktérům.
AI Chatboti se škodlivým kódem mohou být zranitelní vůči hackingu
Hrozba škodlivého kódu v chatbotech může být docela vážná; škodlivý kód lze použít ke krádeži uživatelských dat, povolení škodlivého přístupu k serverům a povolení škodlivých aktivit, jako je např praní špinavých peněz nebo exfiltrace dat. Pokud je AI chatbot trénován na datech se škodlivými vložkami, mohl by nevědomky vložit škodlivý kód do svých odpovědí a nevědomky by mohl být použit jako nástroj pro škodlivý zisk.
Je možné, že aktéři se zlými úmysly zneužijí tuto zranitelnost záměrným nebo neúmyslným zavedením škodlivého kódu do tréninková data. Navíc, jelikož se AI chatboti učí z dat, která jim jsou prezentována, může to také potenciálně vést k tomu, že se naučí nesprávné odpovědi nebo dokonce škodlivé chování.
Dalším nebezpečím, kterému mohou AI chatboti čelit, je „přebavení“. To je, když jsou predikční modely trénovány příliš přesně na datech, která jim byla poskytnuta, což vede ke špatným předpovědím, když jsou prezentovány s novými daty. To může být zvláštní problém např AI chatboti vyškolení na škodlivý kód by se potenciálně mohli stát efektivnějšími při vkládání škodlivého kódu do jejich odpovědí, jakmile se s daty lépe seznámí.
Je nezbytné být si vědom rizik a přijmout preventivní opatření, aby byla zaručena tréninková data používaná k výuce ChatGPT je bezpečný a spolehlivý, aby zabránil těmto potenciálním slabinám. Počáteční data použitá pro školení musí být rovněž uchovávána odděleně a jedinečná; propagace „škodlivých příloh“ nesmí být v rozporu s jinými zdroji ani se s nimi překrývat. Mělo by být prozkoumáno a porovnáno s jinými doménami, zda je pro ověření dat možné „zachytit“ více potvrzených domén.
Technologie Chatbot slibuje, že změní způsob, jakým lidé vedou lidské diskuse. Než však může plně využít svůj potenciál, je třeba jej zlepšit a chránit. Datové sady pro chatboty musí být dobře zkontrolovány a připraveny odrazit zlomyslné aktéry. Tímto způsobem můžeme zajistit, že plně využijeme potenciál technologie a budeme jej neustále posouvat limity umělé inteligence.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
