Els experts adverteixen contra les "insercions malicioses" als conjunts de dades d'IA ChatGPT
En breu
ChatGPT és potencialment vulnerable a causa de les dades de formació.
Segons els investigadors, per només 60 dòlars als EUA, podríem enverinar el 0.01% dels conjunts de dades LAION-400 o COYO-700 el 2022.
ChatGPT La tecnologia és cada cop més popular, però recent investigació suggereix que aquesta tecnologia pot ser vulnerable a causa de les dades de formació que utilitza. A mesura que els models es tornen més complexos i els conjunts de dades es fan més grans i més complexos, els actors maliciosos podrien explotar aquesta vulnerabilitat per manipular els conjunts de dades i fer que els models d'aprenentatge automàtic produeixin resultats inexactes.
La preocupació principal és que les bases de dades de chatbot solen ser conjunts de dades "verificades condicionalment", el que significa que hi ha un cert nivell de confiança en les dades sense una verificació àmplia. En altres paraules, aquests conjunts de dades sovint poden tenir problemes subjacents que no s'han considerat. Tot i que la validació dels conjunts de dades sovint no es realitza a causa de la seva gran mida, hi ha la possibilitat que els actors maliciosos manipulin aquestes dades.
De fet, els investigadors han suggerit que l'any 2022, els atacants podrien gastar uns 60 dòlars per enverinar el 0.01% dels conjunts de dades LAION-400 o COYO-700. Tot i que això no sembla gaire, els actors maliciosos podrien utilitzar aquestes dades enverinats pel seu propi benefici si no es controlen. Les dades malicioses poden eventualment fuga en conjunts de dades més grans, corrompent la qualitat de les dades i donant lloc a models d'aprenentatge automàtic poc fiables.
Cal prendre mesures per protegir les bases de dades contra dades malicioses. L'agregació de diverses fonts de dades hauria de convertir-se en l'estàndard per al chatbot conjunts de dades de formació per garantir que les dades siguin fiables i precises. A més, les empreses haurien d'experimentar amb conjunts de dades per assegurar-se que no siguin vulnerables a actors maliciosos.
Els chatbots d'IA amb codi maliciós poden ser vulnerables a la pirateria
L'amenaça de codi maliciós als chatbots pot ser força greu; el codi maliciós es pot utilitzar per robar dades d'usuari, habilitar l'accés maliciós als servidors i activar activitats malicioses com ara blanqueig de diners o exfiltració de dades. Si un chatbot d'IA està entrenat en dades amb insercions malicioses, podria injectar el codi maliciós sense saber-ho a les seves respostes i sense saber-ho s'utilitzarà com a eina per obtenir guanys maliciosos.
És possible que els actors maliciosos aprofitin aquesta vulnerabilitat introduint codi maliciós de manera deliberada o inadvertida al dades de formació. A més, com que els chatbots d'IA aprenen de les dades que se'ls presenten, això també podria fer que aprenguin respostes incorrectes o fins i tot comportaments maliciosos.
Un altre perill que poden enfrontar els chatbots d'IA és el de "sobreajustar". Això és quan els models de predicció s'entrenen massa a prop de les dades que se'ls van donar, donant lloc a prediccions deficients quan es presenten dades noves. Això pot ser un problema particular com Chatbots AI entrenats en codi maliciós podria ser més eficaç per injectar codi maliciós a les seves respostes a mesura que es familiaritzin amb les dades.
És fonamental ser conscient dels riscos i prendre precaucions per garantir les dades formatives utilitzades per impartir ChatGPT és segur i fiable per prevenir aquestes possibles debilitats. Les dades inicials utilitzades per a la formació també s'han de mantenir separades i úniques; la promoció de "insercions malicioses" no ha de entrar en conflicte o solapar-se amb altres fonts. S'ha d'examinar i comparar amb altres dominis si és factible "captar" diversos dominis confirmats per validar les dades.
La tecnologia Chatbot promet transformar la manera com les persones condueixen les discussions humanes. Però abans que pugui adonar-se de tot el seu potencial, cal millorar-lo i protegir-lo. Els conjunts de dades per als robots de xat s'han de revisar bé i preparar-los per evitar els actors maliciosos. D'aquesta manera, podem assegurar-nos que utilitzem al màxim el potencial de la tecnologia i seguim impulsant límits de la intel·ligència artificial.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
