Expertos advierten contra 'inserciones maliciosas' en conjuntos de datos de IA en ChatGPT
En Resumen
ChatGPT es potencialmente vulnerable debido a los datos de entrenamiento.
Según los investigadores, por solo $ 60 en los EE. UU., podríamos envenenar el 0.01% de los conjuntos de datos LAION-400 o COYO-700 en 2022.
ChatGPT La tecnología se está volviendo cada vez más popular, pero recientemente la investigación sugiere que esta tecnología puede ser vulnerable debido a los datos de entrenamiento que utiliza. A medida que los modelos se vuelven más complejos y los conjuntos de datos se vuelven más grandes y complejos, los actores malintencionados podrían aprovechar esta vulnerabilidad para manipular los conjuntos de datos y hacer que los modelos de aprendizaje automático produzcan resultados inexactos.
| Recomendado: Las 10 acciones más prometedoras previstas por ChatGPT (AI) superará a los principales fondos mundiales en 2023 |
La principal preocupación es que las bases de datos de chatbots a menudo son conjuntos de datos "verificados condicionalmente", lo que significa que hay un cierto nivel de confianza en los datos sin una verificación exhaustiva. En otras palabras, estos conjuntos de datos a menudo pueden tener problemas subyacentes que no se han considerado. Aunque la validación de conjuntos de datos a menudo no se realiza debido a su gran tamaño, existe la posibilidad de que actores malintencionados manipulen estos datos.
De hecho, los investigadores han sugerido que para 2022, los atacantes podrían gastar aproximadamente $60 para envenenar el 0.01 % de los conjuntos de datos LAION-400 o COYO-700. Aunque esto no parece mucho, los actores maliciosos podrían usar estos datos envenenados para su propio beneficio si no se controlan. Los datos maliciosos pueden eventualmente fuga en conjuntos de datos más grandes, corrompiendo la calidad de los datos y dando lugar a modelos de aprendizaje automático poco fiables.
Es necesario tomar medidas para salvaguardar las bases de datos contra datos maliciosos. Agregar varias fuentes de datos debería convertirse en el estándar para chatbot conjuntos de datos de entrenamiento para garantizar que los datos sean confiables y precisos. Además, las empresas deben experimentar con conjuntos de datos para asegurarse de que no sean vulnerables a actores malintencionados.
Los chatbots de IA con código malicioso pueden ser vulnerables a la piratería
La amenaza del código malicioso en los chatbots puede ser bastante grave; El código malicioso se puede usar para robar datos de usuarios, habilitar el acceso malicioso a los servidores y permitir actividades maliciosas como el lavado de dinero o exfiltración de datos. Si un chatbot de IA se entrena con datos con inserciones maliciosas, podría, sin saberlo, inyectar el código malicioso en sus respuestas y, sin saberlo, ser utilizado como una herramienta para obtener ganancias maliciosas.
Es posible que los actores malintencionados se aprovechen de esta vulnerabilidad introduciendo deliberadamente o sin darse cuenta un código malicioso en el datos de entrenamiento. Además, dado que los chatbots de IA aprenden de los datos que se les presentan, esto también podría llevarlos a aprender respuestas incorrectas o incluso comportamientos maliciosos.
Otro peligro que pueden enfrentar los chatbots de IA es el "sobreajuste". Esto es cuando los modelos de predicción se entrenan demasiado cerca de los datos que se les proporcionaron, lo que lleva a predicciones deficientes cuando se les presentan nuevos datos. Esto puede ser un problema particular ya que Chatbots de IA capacitados en código malicioso podrían potencialmente volverse más efectivos al inyectar código malicioso en sus respuestas a medida que se familiaricen con los datos.
Es fundamental ser consciente de los riesgos y tomar precauciones para garantizar los datos de formación utilizados para enseñar ChatGPT es seguro y confiable para prevenir estas debilidades potenciales. Los datos iniciales utilizados para el entrenamiento también deben mantenerse separados y únicos; la promoción de "inserciones maliciosas" no debe entrar en conflicto con otras fuentes ni superponerse con ellas. Debe examinarse y compararse con otros dominios si es factible "capturar" múltiples dominios confirmados para validar los datos.
La tecnología de chatbot promete transformar la forma en que las personas llevan a cabo conversaciones humanas. Pero antes de que pueda desarrollar todo su potencial, debe mejorarse y salvaguardarse. Los conjuntos de datos para chatbots deben verificarse bien y prepararse para defenderse de los actores malintencionados. Al hacer esto, podemos asegurarnos de utilizar completamente el potencial de la tecnología y seguir impulsando el límites de inteligencia artificial.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
