Opinie Stil de viață Securitate Wiki Software Tehnologia
16 Mai, 2024

Inteligența artificială Gemini de la Google a fost expusă: cercetătorii descoperă susceptibilitatea la solicitări rău intenționate și scurgeri de date

Pe scurt

Gemini LLM de la Google este vulnerabil la defecte de securitate, permițând potențial actorilor rău intenționați să-l manipuleze pentru conținut ofensator, dezvăluire de informații private și atacuri indirecte de hacking.

S-a descoperit că Google a lansat recent Model de limbaj mare Gemeni (LLM) este susceptibil la o serie de defecte de securitate care le-ar putea permite actorilor răuvoitori să-l manipuleze pentru a produce materiale ofensive, a dezvălui informații private și a executa atacuri indirecte de hacking. Compania de securitate cibernetică HiddenLayer a publicat rezultatele, care evidențiază defecte care afectează ambele companii care utilizează Gemini API și consumatorii care utilizează Gemini Advanced.

Suita Gemeni și potențialul său

Cea mai recentă linie Google de modele de limbaj masive, numită zodia Gemeni, se dorește a fi un sistem AI multimodal care poate consuma și produce cod, imagini, audio, video și text. Acum există trei modele principale în suită:

Gemeni Nano – Proiectat pentru aplicații ușoare și computere pe dispozitiv.

Gemeni Pro – Proiectat pentru a scala eficient pe o gamă largă de aplicații și sarcini de lucru.

Gemeni Ultra – Cel mai mare și mai puternic model, construit pentru a aborda interogări complexe și a raționa cu o logică avansată.

În timp ce Gemenii au făcut comparații cu OpenAI'S GPT-4 și poziționându-se ca un rival, natura multimodală a modelelor îi deosebește, fiind instruiți pe o gamă diversă de formate de date dincolo de text. Această versatilitate poziționează Gemini ca o potențială putere pentru industriile care doresc să integreze capabilități AI în diferite tipuri de media și fluxuri de lucru.

Vulnerabilitatea 1 – Scurgerea promptului de sistem

Cercetătorii de la HiddenLayer au descoperit că una dintre principalele puncte slabe este capacitatea de a deriva indicii de sistem din modelele Gemeni. Primele instrucțiuni date modelelor mari de limbaj pentru a seta parametrii pentru comportament, caracter și constrângeri de ieșire sunt prompturile de sistem. Pentru a păstra integritatea și securitatea modelelor, este imperativ ca aceste instrucțiuni fundamentale să fie mai bine protejate, deoarece această capacitate de extracție atrage atenția asupra posibilelor amenințări de securitate.

În loc să ceară direct promptul de sistem, cercetătorii ar putea cere Gemini să-și dezvolte instrucțiunile pentru a sări peste protecțiile de securitate și a păcăli modelul să dezvăluie aceste informații cruciale. Problema provine din faptul că, în ciuda modificărilor făcute pentru a preveni expunerea directă la solicitările sistemului, Gemeni este susceptibil la atacuri cu sinonime care ar putea eluda aceste garanții.

Această vulnerabilitate are consecințe grave, deoarece le poate permite atacatorilor să facă o inginerie inversă a limitărilor și regulilor fundamentale ale modelului, acordându-le acces la solicitările sistemului. Aceste date ar putea fi apoi utilizate pentru a crea atacuri mai eficiente sau pentru a face posibilă extragerea de informații private suplimentare care sunt disponibile pentru LLM.

Vulnerabilitatea 2 – Jailbreak solicitat

Un alt grup de slăbiciuni se referă la capacitatea de a „jailbreak” modelele Gemini, deci depășind limitările propuse și determinându-le să producă materiale care ar putea fi dăunătoare sau ilegale. Acest lucru a fost ilustrat de cercetători care, în ciuda apărării modelului împotriva producerii unor astfel de materiale false, au reușit să-i păcălească pe Gemeni să scrie un articol cu ​​informații înșelătoare despre alegerile prezidențiale din SUA din 2024. Acest lucru subliniază cât de mult sunt necesare măsuri de securitate mai puternice pentru a garanta că sistemele AI se pot proteja în mod corespunzător împotriva abuzului și pot menține integritatea materialului.

Tehnica folosită aici implică instruirea Gemenilor să intre într-o „stare fictivă” în care este permis să genereze conținut neadevărat sub pretextul scrierii unei povești fictive. Odată ajunși în această stare, cercetătorii ar putea apoi solicita modelului să creeze articole sau ghiduri detaliate pe subiecte despre care ar fi de obicei interzis să le discute, cum ar fi modul de conectare a unei mașini.

Această vulnerabilitate evidențiază o capacitate îngrijorătoare a actorilor răi de a manipula Gemeni pentru a răspândi dezinformare, în special în jurul unor subiecte sensibile precum alegerile sau evenimentele politice. De asemenea, declanșează alarme cu privire la potențialul ca Gemeni să fie folosiți abuziv pentru a genera conținut instrucțional periculos sau ilegal, eludând balustradele etice puse în aplicare de dezvoltatorii săi.

Vulnerabilitatea 3 – Resetare simulare

Un al treilea defect găsit de HiddenLayer este potențialul de a determina Gemini să scurgă date prin introducerea unei serii de jetoane neobișnuite sau ilogice ca răspuns la solicitările sistemului. Cercetătorii au descoperit că ar putea să încurce modelul și să-l facă să producă mesaje de confirmare care conțineau informații din instrucțiunile sale de bază, introducând continuu anumite caractere sau șiruri de cuvinte.

Tehnica folosită de modelele uriașe de limbaj pentru a face distincția între solicitările de sistem și intrarea utilizatorului este ceea ce face posibil acest atac. Cercetătorii i-ar putea păcăli efectiv pe Gemeni, făcându-i să creadă că i se cere să răspundă, oferindu-i o serie de jetoane neobișnuite, determinându-i să expună neintenționat date private din codul său de bază.

Deși această vulnerabilitate poate părea mai puțin gravă decât celelalte, ea reprezintă totuși o cale potențială pentru atacatori de a extrage date interne din modelele Gemini, care ar putea fi apoi folosite pentru a informa atacuri mai sofisticate sau pentru a identifica punctele slabe de exploatat.

Atacurile cu injecție indirectă prin Google Workspace

O descoperire mai alarmantă făcută de HiddenLayer se referă la potențialul de amenințări indirecte de injectare asupra Gemini prin interfața Google Workspace. Cercetătorii au simulat modul în care un atacator poate manipula interacțiunile unui utilizator cu modelul și depășește comportamentul intenționat al lui Gemeni prin crearea unui document Google special pregătit, cu instrucțiuni dăunătoare.

Implicațiile acestei vulnerabilități sunt de amploare, deoarece deschide ușa unor potențiale atacuri de phishing sau altor tactici de inginerie socială care valorifică încrederea și integrarea ecosistemului Google.

Abordarea vulnerabilităților și a implicațiilor mai largi

Aceste amenințări sunt într-adevăr îngrijorătoare, dar este esențial să recunoaștem că nu sunt exclusive pentru suita LLM a Google. Multe dintre aceste puncte slabe, inclusiv susceptibilitatea la atacuri de injectare promptă și manipularea conținutului, au fost identificate în alte modele de limbaj mari din industrie. Acest lucru evidențiază o provocare mai amplă în domeniu, subliniind necesitatea unor măsuri de securitate cuprinzătoare și a îmbunătățirii continue pe toate platformele AI.

Recunoscând rezultatele, Google a spus că o face frecvent exerciții cu echipă roșie și inițiative de instruire pentru a evita încercările agresive de acest gen. În plus, corporația a pus în aplicare măsuri de protecție – despre care susține că sunt întotdeauna îmbunătățite – pentru a evita răspunsurile dăunătoare sau înșelătoare.

Cu toate acestea, constatările făcute de HiddenLayer sunt un avertisment clar asupra posibilelor pericole care vin odată cu adoptarea și implementarea modelelor de limbaj masive, în special în cazurile sensibile sau de utilizare în afaceri. Este esențial ca dezvoltatorii și organizațiile să acorde o prioritate maximă testării atente și măsurilor de securitate pentru a reduce vulnerabilitățile pe măsură ce aceste sisteme AI puternice proliferează.

Dincolo de doar Google, descoperirile subliniază, de asemenea, nevoia mai largă ca industria AI de a aborda în mod colectiv provocarea atacurilor cu injecție promptă, manipulării modelelor și riscurilor de generare de conținut. Pe măsură ce modelele lingvistice mari avansează și devin mai capabile, potențialul de utilizare abuzivă și abuz va crește doar mai semnificativ.

Eforturile de a stabili cele mai bune practici la nivel de industrie, cadre de securitate și linii directoare de dezvoltare responsabilă vor fi esențiale pentru a asigura implementarea sigură și etică a acestor tehnologii AI puternice.

Între timp, organizațiile care iau în considerare utilizarea Gemini sau a altor modele de limbaj mari ar fi înțelept să fie precaute și să implementeze controale de securitate robuste. Acestea pot include politici privind gestionarea datelor sensibile, verificarea riguroasă a solicitărilor și intrărilor modelului și monitorizarea continuă a potențialelor vulnerabilități sau utilizări greșite.

Călătoria către IA sigură și de încredere este în desfășurare, iar vulnerabilitățile descoperite în Gemeni servesc ca un reamintire că vigilența și măsurile de securitate proactive sunt esențiale, deoarece aceste tehnologii continuă să avanseze și să prolifereze.

Declinare a responsabilităţii

În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.

Despre autor

Viktoriia este un scriitor pe o varietate de subiecte tehnologice, inclusiv Web3.0, AI și criptomonede. Experiența ei vastă îi permite să scrie articole interesante pentru un public mai larg.

Mai multe articole
Viktoriia Palchik
Viktoriia Palchik

Viktoriia este un scriitor pe o varietate de subiecte tehnologice, inclusiv Web3.0, AI și criptomonede. Experiența ei vastă îi permite să scrie articole interesante pentru un public mai larg.

De la Ripple la Big Green DAO: Cum contribuie proiectele de criptomonede la caritate

Să explorăm inițiativele care valorifică potențialul monedelor digitale pentru cauze caritabile.

Aflați mai multe

AlphaFold 3, Med-Gemini și alții: modul în care AI transformă asistența medicală în 2024

Inteligența artificială se manifestă în diferite moduri în asistența medicală, de la descoperirea de noi corelații genetice până la abilitarea sistemelor chirurgicale robotizate...

Aflați mai multe
Alăturați-vă comunității noastre tehnologice inovatoare
Citeste mai mult
Află mai multe
Pyth Network implementează Pull Oracle pe Solana, permițând dezvoltatorilor accesul la prețurile Oracle
Buletin de stiri Tehnologia
Pyth Network implementează Pull Oracle pe Solana, permițând dezvoltatorilor accesul la prețurile Oracle
17 Iunie, 2024
Partenerii lui Aethir AI și Gaming To Airdrop Jetoane către deținătorii nodului Checker
Featured Buletin de stiri Tehnologia
Partenerii lui Aethir AI și Gaming To Airdrop Jetoane către deținătorii nodului Checker
17 Iunie, 2024
Notional Finance va renunța complet la versiunea 2 până la sfârșitul lunii iulie, îndeamnă utilizatorii să treacă la V3
Buletin de stiri Tehnologia
Notional Finance va renunța complet la versiunea 2 până la sfârșitul lunii iulie, îndeamnă utilizatorii să treacă la V3
17 Iunie, 2024
Tether lansează o platformă din aliaj susținută de Tether Gold și introduce primul token aUSD₮
pieţe Buletin de stiri Tehnologia
Tether lansează o platformă din aliaj susținută de Tether Gold și introduce primul token aUSD₮
17 Iunie, 2024
CRYPTOMERIA LABS PTE. LTD.