Experții avertizează împotriva „inserțiilor rău intenționate” în seturile de date AI în ChatGPT
Pe scurt
ChatGPT este potențial vulnerabil datorită datelor de antrenament.
Potrivit cercetătorilor, pentru doar 60 de dolari în SUA, am putea otrăvi 0.01% din seturile de date LAION-400 sau COYO-700 în 2022.
ChatGPT tehnologia devine din ce în ce mai populară, dar recentă cercetare sugerează că această tehnologie poate fi vulnerabilă din cauza datelor de antrenament pe care le utilizează. Pe măsură ce modelele devin mai complexe și seturile de date devin mai mari și mai complexe, actorii rău intenționați ar putea exploata această vulnerabilitate pentru a manipula seturile de date și pentru a determina ca modelele de învățare automată să producă rezultate inexacte.
Preocuparea principală este că bazele de date chatbot sunt adesea seturi de date „verificate condiționat”, ceea ce înseamnă că există un anumit nivel de încredere acordat datelor fără o verificare extinsă. Cu alte cuvinte, aceste seturi de date pot avea adesea probleme de bază care nu au fost luate în considerare. Deși validarea seturilor de date nu este adesea efectuată din cauza dimensiunii lor mari, există potențialul ca actorii rău intenționați să manipuleze aceste date.
De fapt, cercetătorii au sugerat că până în 2022, atacatorii ar putea cheltui aproximativ 60 de dolari pentru a otrăvi 0.01% din seturile de date LAION-400 sau COYO-700. Deși acest lucru nu sună prea mult, actorii rău intenționați ar putea folosi aceste date otrăvite în propriul câștig, dacă nu sunt verificați. Datele rău intenționate pot în cele din urmă scăpa în seturi de date mai mari, corupând calitatea datelor și conducând la modele nesigure de învățare automată.
Este necesar să se ia măsuri pentru a proteja bazele de date împotriva datelor rău intenționate. Agregarea mai multor surse de date ar trebui să devină standardul pentru chatbot seturi de date de antrenament pentru a se asigura că datele sunt fiabile și exacte. În plus, companiile ar trebui să experimenteze cu seturi de date pentru a se asigura că nu sunt vulnerabile la actorii rău intenționați.
Chatboții AI cu cod rău intenționat pot fi vulnerabili la piratare
Amenințarea codului rău intenționat în chatbot poate fi destul de gravă; codul rău intenționat poate fi folosit pentru a fura datele utilizatorilor, a permite accesul rău intenționat la servere și pentru a activa activități rău intenționate, cum ar fi spălare de bani sau exfiltrarea datelor. Dacă un chatbot AI este instruit pe date cu inserții rău intenționate, ar putea injecta codul rău intenționat în răspunsurile sale și, fără să știe, ar putea fi folosit ca instrument pentru câștiguri rău intenționate.
Este posibil ca actorii rău intenționați să profite de această vulnerabilitate introducând, în mod deliberat sau involuntar, cod rău intenționat în date de instruire. În plus, deoarece chatbot-ii AI învață din datele cu care sunt prezentate, acest lucru ar putea, de asemenea, să-i determine să învețe răspunsuri incorecte sau chiar un comportament rău intenționat.
Un alt pericol cu care se pot confrunta chatboții AI este acela de „suprafitting”. Acesta este momentul în care modelele de predicție sunt instruite prea îndeaproape pe datele care le-au fost date, ceea ce duce la predicții slabe atunci când sunt prezentate cu date noi. Aceasta poate fi o problemă specială ca Chatbots AI instruiți pe coduri rău intenționate ar putea deveni mai eficienți în injectarea de cod rău intenționat în răspunsurile lor, pe măsură ce devin mai familiarizați cu datele.
Este esențial să fii conștient de riscuri și să iei măsuri de precauție pentru a garanta datele de instruire utilizate pentru a preda ChatGPT este sigur și de încredere pentru a preveni aceste potențiale slăbiciuni. Datele inițiale utilizate pentru formare trebuie, de asemenea, păstrate separate și unice; promovarea „inserțiilor rău intenționate” nu trebuie să intre în conflict sau să se suprapună cu alte surse. Ar trebui să fie examinat și comparat cu alte domenii dacă „capturarea” mai multor domenii confirmate este fezabilă pentru a valida datele.
Tehnologia Chatbot promite să transforme modul în care oamenii conduc discuțiile umane. Dar înainte de a-și realiza întregul potențial, trebuie îmbunătățit și protejat. Seturile de date pentru chatbot trebuie să fie bine verificate și pregătite pentru a evita actorii rău intenționați. Făcând acest lucru, ne putem asigura că utilizăm pe deplin potențialul tehnologiei și continuăm să promovăm Limitele a inteligenței artificiale.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
