Especialistas alertam contra 'inserções maliciosas' em conjuntos de dados de IA em ChatGPT
Em Breve
ChatGPT é potencialmente vulnerável devido aos dados de treinamento.
Segundo os pesquisadores, por apenas $ 60 nos EUA, poderíamos envenenar 0.01% dos conjuntos de dados LAION-400 ou COYO-700 em 2022.
ChatGPT tecnologia está se tornando cada vez mais popular, mas recente pesquisa sugere que esta tecnologia pode ser vulnerável devido aos dados de treinamento que ela usa. À medida que os modelos se tornam mais complexos e os conjuntos de dados se tornam maiores e mais complexos, agentes mal-intencionados podem explorar essa vulnerabilidade para manipular os conjuntos de dados e fazer com que os modelos de aprendizado de máquina produzam resultados imprecisos.
| Recomendado: As 10 ações mais promissoras previstas por ChatGPT (AI) superará os principais fundos mundiais em 2023 |
A principal preocupação é que os bancos de dados do chatbot geralmente são conjuntos de dados “verificados condicionalmente”, o que significa que há um certo nível de confiança nos dados sem verificação extensiva. Em outras palavras, esses conjuntos de dados geralmente podem ter problemas subjacentes que não foram considerados. Embora a validação de conjuntos de dados muitas vezes não seja realizada devido ao seu grande tamanho, existe a possibilidade de agentes mal-intencionados manipularem esses dados.
Na verdade, os pesquisadores sugeriram que, até 2022, os invasores poderiam gastar cerca de US$ 60 para envenenar 0.01% dos conjuntos de dados LAION-400 ou COYO-700. Embora isso não pareça muito, atores mal-intencionados podem usar esses dados envenenados para seu próprio ganho se não forem verificados. Os dados maliciosos podem eventualmente vazar em conjuntos de dados maiores, corrompendo a qualidade dos dados e levando a modelos de aprendizado de máquina não confiáveis.
É necessário tomar medidas para proteger os bancos de dados contra dados maliciosos. Agregar várias fontes de dados deve se tornar o padrão do chatbot conjuntos de dados de treinamento para garantir que os dados sejam confiáveis e precisos. Além disso, as empresas devem experimentar conjuntos de dados para garantir que não sejam vulneráveis a agentes mal-intencionados.
Chatbots de IA com código malicioso podem ser vulneráveis a hackers
A ameaça de código malicioso em chatbots pode ser bastante séria; código malicioso pode ser usado para roubar dados do usuário, permitir acesso malicioso a servidores e permitir atividades maliciosas, como lavagem de dinheiro ou exfiltração de dados. Se um chatbot de IA for treinado em dados com inserções maliciosas, ele pode injetar inadvertidamente o código malicioso em suas respostas e, sem saber, ser usado como uma ferramenta para ganhos maliciosos.
É possível que atores mal-intencionados tirem proveito dessa vulnerabilidade introduzindo deliberada ou inadvertidamente código malicioso no dados de treinamento. Além disso, como os chatbots de IA aprendem com os dados que são apresentados, isso também pode levá-los a aprender respostas incorretas ou até mesmo comportamentos maliciosos.
Outro perigo que os chatbots de IA podem enfrentar é o de “overfitting”. É quando os modelos de previsão são treinados muito de perto nos dados que receberam, levando a previsões ruins quando apresentados a novos dados. Isso pode ser um problema particular, pois Chatbots AI treinados em código mal-intencionado podem se tornar mais eficazes na injeção de código mal-intencionado em suas respostas à medida que se familiarizam com os dados.
É essencial estar ciente dos riscos e tomar precauções para garantir os dados de treinamento usados para ensinar ChatGPT é seguro e confiável para evitar essas possíveis fraquezas. Os dados iniciais usados para treinamento também devem ser mantidos separados e únicos; a promoção de “inserções maliciosas” não deve entrar em conflito ou se sobrepor a outras fontes. Deve ser examinado e comparado com outros domínios se “capturar” vários domínios confirmados for viável para validar os dados.
A tecnologia chatbot promete transformar a forma como as pessoas conduzem discussões humanas. Mas antes que possa realizar todo o seu potencial, ele precisa ser melhorado e protegido. Os conjuntos de dados para chatbots precisam ser bem verificados e preparados para afastar agentes mal-intencionados. Ao fazer isso, podemos garantir que utilizamos totalmente o potencial da tecnologia e continuamos impulsionando o limites de inteligência artificial.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
