Gli esperti mettono in guardia contro "inserzioni dannose" nei set di dati AI in ChatGPT
In Breve
ChatGPT è potenzialmente vulnerabile grazie ai dati di allenamento.
Secondo i ricercatori, per soli $ 60 negli Stati Uniti, potremmo avvelenare lo 0.01% dei set di dati LAION-400 o COYO-700 nel 2022.
ChatGPT la tecnologia sta diventando sempre più popolare, ma recente riparazioni suggerisce che questa tecnologia potrebbe essere vulnerabile a causa dei dati di addestramento che utilizza. Man mano che i modelli diventano più complessi e i set di dati diventano più grandi e complessi, gli attori malintenzionati potrebbero sfruttare questa vulnerabilità per manipolare i set di dati e far sì che i modelli di machine learning producano risultati imprecisi.
| Consigliato: I 10 titoli più promettenti previsti da ChatGPT (AI) per superare i principali fondi mondiali nel 2023 |
La preoccupazione principale è che i database dei chatbot sono spesso set di dati "verificati in modo condizionale", il che significa che esiste un certo livello di fiducia nei dati senza una verifica approfondita. In altre parole, questi set di dati possono spesso avere problemi di fondo che non sono stati considerati. Sebbene la convalida dei set di dati spesso non venga eseguita a causa delle loro grandi dimensioni, esiste la possibilità che attori malintenzionati manipolino questi dati.
In effetti, i ricercatori hanno suggerito che entro il 2022 gli aggressori potrebbero spendere circa 60 dollari per avvelenare lo 0.01% dei set di dati LAION-400 o COYO-700. Anche se questo non sembra molto, gli attori malintenzionati potrebbero utilizzare questi dati avvelenati per il proprio guadagno se non controllati. I dati dannosi possono eventualmente perdita in set di dati più grandi, danneggiando la qualità dei dati e portando a modelli di machine learning inaffidabili.
È necessario adottare misure per salvaguardare i database da dati dannosi. L'aggregazione di diverse fonti di dati dovrebbe diventare lo standard per i chatbot set di dati di formazione per garantire che i dati siano affidabili e accurati. Inoltre, le aziende dovrebbero sperimentare i set di dati per assicurarsi che non siano vulnerabili agli attori malintenzionati.
I chatbot AI con codice dannoso possono essere vulnerabili all'hacking
La minaccia di codice dannoso nei chatbot può essere piuttosto seria; il codice dannoso può essere utilizzato per rubare i dati degli utenti, consentire l'accesso dannoso ai server e consentire attività dannose come riciclaggio di denaro o esfiltrazione di dati. Se un chatbot AI viene addestrato su dati con inserti dannosi, potrebbe inconsapevolmente iniettare il codice dannoso nelle sue risposte ed essere inconsapevolmente utilizzato come strumento per guadagni dannosi.
È possibile che attori malintenzionati traggano vantaggio da questa vulnerabilità introducendo deliberatamente o inavvertitamente codice dannoso nel dati di allenamento. Inoltre, poiché i chatbot AI apprendono dai dati con cui vengono presentati, ciò potrebbe anche portare loro ad apprendere risposte errate o persino comportamenti dannosi.
Un altro pericolo che i chatbot di intelligenza artificiale possono affrontare è quello dell'"overfitting". Questo è quando i modelli di previsione vengono addestrati troppo da vicino sui dati che sono stati forniti, portando così a previsioni scadenti quando presentati con nuovi dati. Questo può essere un problema particolare come Chatbots AI addestrati sul codice dannoso potrebbero potenzialmente diventare più efficaci nell'inserire codice dannoso nelle loro risposte man mano che acquisiscono maggiore familiarità con i dati.
È essenziale essere consapevoli dei rischi e prendere precauzioni per garantire i dati di formazione utilizzati per insegnare ChatGPT è sicuro e affidabile per prevenire questi potenziali punti deboli. Anche i dati iniziali utilizzati per la formazione devono essere mantenuti separati ed univoci; la promozione di “inserti dannosi” non deve entrare in conflitto o sovrapporsi ad altre fonti. Dovrebbe essere esaminato e confrontato con altri domini se è possibile "catturare" più domini confermati per convalidare i dati.
La tecnologia chatbot promette di trasformare il modo in cui le persone conducono discussioni umane. Ma prima che possa realizzare il suo pieno potenziale, deve essere migliorato e salvaguardato. I set di dati per i chatbot devono essere ben controllati e preparati per respingere gli attori malintenzionati. In questo modo, possiamo assicurarci di sfruttare appieno il potenziale della tecnologia e continuare a spingere il limiti dell'intelligenza artificiale.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
