Les experts mettent en garde contre les "insertions malveillantes" dans les ensembles de données d'IA dans ChatGPT
En bref
ChatGPT est potentiellement vulnérable en raison des données d'entraînement.
Selon des chercheurs, pour seulement 60 $ aux États-Unis, nous pourrions empoisonner 0.01 % des ensembles de données LAION-400 ou COYO-700 en 2022.
ChatGPT la technologie devient de plus en plus populaire, mais un article suggère que cette technologie peut être vulnérable en raison des données de formation qu'elle utilise. À mesure que les modèles deviennent plus complexes et que les ensembles de données deviennent de plus en plus volumineux et complexes, des acteurs malveillants pourraient exploiter cette vulnérabilité pour manipuler les ensembles de données et amener les modèles d'apprentissage automatique à produire des résultats inexacts.
| Recommandée: Top 10 des actions les plus prometteuses prévues par ChatGPT (AI) surperformera les principaux fonds mondiaux en 2023 |
La principale préoccupation est que les bases de données des chatbots sont souvent des ensembles de données « vérifiés sous conditions », ce qui signifie qu'un certain niveau de confiance est accordé aux données sans vérification approfondie. En d'autres termes, ces ensembles de données peuvent souvent avoir des problèmes sous-jacents qui n'ont pas été pris en compte. Bien que la validation des ensembles de données ne soit souvent pas effectuée en raison de leur grande taille, il existe un potentiel pour que des acteurs malveillants manipulent ces données.
En fait, les chercheurs ont suggéré que d'ici 2022, les attaquants pourraient dépenser environ 60 $ pour empoisonner 0.01 % des ensembles de données LAION-400 ou COYO-700. Bien que cela ne semble pas grand-chose, des acteurs malveillants pourraient utiliser ces données empoisonnées à leur profit si elles ne sont pas contrôlées. Les données malveillantes peuvent éventuellement fuite dans des ensembles de données plus volumineux, corrompant la qualité des données et conduisant à des modèles d'apprentissage automatique peu fiables.
Il est nécessaire de prendre des mesures pour protéger les bases de données contre les données malveillantes. L'agrégation de plusieurs sources de données devrait devenir la norme pour le chatbot ensembles de données d'entraînement pour s'assurer que les données sont fiables et exactes. De plus, les entreprises doivent expérimenter des ensembles de données pour s'assurer qu'elles ne sont pas vulnérables aux acteurs malveillants.
Les chatbots IA avec un code malveillant peuvent être vulnérables au piratage
La menace de code malveillant dans les chatbots peut être assez sérieuse ; le code malveillant peut être utilisé pour voler des données utilisateur, permettre un accès malveillant aux serveurs et permettre des activités malveillantes telles que blanchiment d'argent ou exfiltration de données. Si un chatbot IA est formé sur des données avec des insertions malveillantes, il pourrait injecter sans le savoir le code malveillant dans ses réponses et être utilisé sans le savoir comme un outil pour un gain malveillant.
Il est possible que des acteurs malveillants profitent de cette vulnérabilité en introduisant délibérément ou par inadvertance un code malveillant dans le données d'entraînement. De plus, étant donné que les chatbots IA apprennent à partir des données qui leur sont présentées, cela pourrait également les amener à apprendre des réponses incorrectes ou même des comportements malveillants.
Un autre danger auquel les chatbots IA peuvent être confrontés est celui du "surajustement". C'est à ce moment que les modèles de prédiction sont entraînés trop étroitement sur les données qui leur ont été fournies, ce qui conduit à de mauvaises prédictions lorsqu'ils sont présentés avec de nouvelles données. Cela peut être un problème particulier car Chatbots d'IA formés au code malveillant pourraient potentiellement devenir plus efficaces pour injecter du code malveillant dans leurs réponses à mesure qu'ils se familiarisent avec les données.
Il est essentiel d'être conscient des risques et de prendre des précautions pour garantir les données de formation utilisées pour enseigner ChatGPT est sécurisé et fiable pour prévenir ces faiblesses potentielles. Les données initiales utilisées pour la formation doivent également être conservées séparément et uniques ; la promotion d'« insertions malveillantes » ne doit pas entrer en conflit ou chevaucher d'autres sources. Il doit être examiné et comparé à d'autres domaines s'il est possible de "capturer" plusieurs domaines confirmés pour valider les données.
La technologie Chatbot promet de transformer la façon dont les gens mènent des discussions humaines. Mais avant qu'il ne puisse réaliser tout son potentiel, il doit être amélioré et protégé. Les ensembles de données pour les chatbots doivent être bien vérifiés et préparés pour repousser les acteurs malveillants. Ce faisant, nous pouvons nous assurer que nous utilisons pleinement le potentiel de la technologie et continuer à pousser le limites de l'intelligence artificielle.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
