NIST:s opublicerade AI-riskstudie ligger fortfarande på is mitt i administrativa förändringar
I korthet
En NIST-ledd red-teaming-övning vid CAMLIS utvärderade sårbarheter i avancerade AI-system och bedömde risker som felinformation, dataläckor och emotionell manipulation.
Ocuco-landskapet National Institute of Standards and Technology (NIST) färdigställde en rapport om säkerheten hos avancerade AI-modeller mot slutet av Joe Biden-administrationen, men dokumentet publicerades inte efter övergången till Donald Trump-administrationen.
I oktober förra året samlade en datasäkerhetskonferens i Arlington, Virginia en grupp AI-forskare som deltog i en banbrytande "red teaming"-övning som syftade till att rigoröst testa en toppmodern språkmodell och andra AI-system. Under två dagar upptäckte dessa team 139 nya metoder för att få systemen att fungera felaktigt, såsom att producera falsk information eller exponera känsliga uppgifter. Avgörande är att deras resultat också avslöjade svagheter i en nyligen publicerad amerikansk regeringsstandard som är avsedd att vägleda företag i utvärderingen av AI-systemsäkerhet.
Även om rapporten utformades för att hjälpa organisationer att utvärdera sina AI-system, var den bland flera NIST-författade AI-dokument som undanhölls från offentliggörande på grund av potentiella konflikter med den nya administrationens policyinriktning.
Innan president Donald Trump tillträdde antydde han sin avsikt att återkalla Biden-erans exekutiva order relaterade till AI. Sedan övergången har administrationen riktat experternas fokus bort från områden som algoritmisk partiskhet och rättvisa inom AI. AI-handlingsplanen som släpptes i juli kräver specifikt revideringar av NIST:s ramverk för riskhantering inom AI och rekommenderar att hänvisningar till felinformation, mångfald, jämlikhet och inkludering (DEI) samt klimatförändringar tas bort.
Samtidigt innehåller AI-handlingsplanen ett förslag som liknar målen i den opublicerade rapporten. Den uppmanar flera federala myndigheter, inklusive NIST, att organisera ett samordnat AI-hackathon-initiativ som syftar till att testa AI-system för transparens, funktionalitet, användarkontroll och potentiella säkerhetsbrister.
NIST-ledd Red Teaming-övning undersöker risker med AI-system som använder ARIA-ramverket vid CAMLIS-konferensen
Röda team-övningen genomfördes inom ramen för programmet Assessing Risks and Impacts of AI (ARIA) av NIST, i samarbete med Humane Intelligence, ett företag som fokuserar på att utvärdera AI-system. Initiativet hölls under konferensen om tillämpad maskininlärning inom informationssäkerhet (CAMLIS), där deltagarna utforskade sårbarheterna hos en rad avancerade AI-tekniker.
CAMLIS Red Teaming-rapporten dokumenterar bedömningen av olika AI-verktyg, inklusive Metas Llama, en öppen källkodsmodell för stora språk (LLM); Anote, en plattform för att utveckla och förfina AI-modeller; ett säkerhetssystem från Robust Intelligence, som sedan dess har förvärvats av CISCO; och Synthesias plattform för AI-avatargenerering. Representanter från varje organisation bidrog till red-teaming-aktiviteterna.
Deltagarna använde NIST AI 600-1-ramverket för att analysera de aktuella verktygen. Ramverket beskriver flera riskområden, såsom AI:s potential att producera falsk information eller cybersäkerhetshot, avslöja privata eller känsliga uppgifter eller främja emotionellt beroende mellan användare och AI-system.
Outgiven rapport om AI Red Teaming avslöjar sårbarheter i modeller, väcker oro över politiskt förtryck och missade forskningsinsikter
Forskargruppen fann flera metoder för att kringgå de avsedda skyddsåtgärderna för de utvärderade verktygen, vilket ledde till resultat som inkluderade felinformation, exponering av privat information och hjälp med att utforma strategier för cyberattacker. Enligt rapporten visade sig vissa aspekter av NIST-ramverket vara mer tillämpliga än andra. Det noterades också att vissa riskkategorier saknade den tydlighet som krävs för praktisk användning.
Personer som är bekanta med red-teaming-initiativet uttryckte att resultaten från övningen kunde ha gett värdefulla insikter till den bredare AI-forsknings- och utvecklingsgemenskapen. En deltagare, Alice Qian Zhang, doktorand vid Carnegie Mellon University, noterade att offentliggörandet av rapporten kunde ha bidragit till att klargöra hur NIST:s riskramverk fungerar när det tillämpas i verkliga testmiljöer. Hon betonade också att direkt interaktion med utvecklarna av verktygen under bedömningen gav mervärde till upplevelsen.
En annan bidragsgivare, som valde att förbli anonym, uppgav att övningen avslöjade specifika prompt-tekniker – med språk som ryska, gujarati, marathi och telugu – som var särskilt framgångsrika för att framkalla otillåtna resultat från modeller som Llama, inklusive instruktioner relaterade till att gå med i extremistgrupper. Denna person föreslog att beslutet att inte släppa rapporten kan återspegla ett bredare skifte bort från områden som uppfattas som kopplade till mångfald, jämlikhet och inkludering inför den tillträdande administrationen.
Vissa deltagare spekulerade i att rapportens utelämnande också kan bero på ett ökat statligt fokus på högrisker – såsom potentiell användning av AI-system för att utveckla massförstörelsevapen – och en parallell ansträngning att stärka banden med stora teknikföretag. En deltagare i det röda teamet anmärkte anonymt att politiska överväganden sannolikt spelade en roll i att rapporten undanhölls och att rapporten innehöll insikter av fortsatt vetenskaplig relevans.
Ansvarsfriskrivning
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Alisa, en engagerad journalist på MPost, specialiserat på kryptovaluta, nollkunskapsbevis, investeringar och den expansiva sfären av Web3. Med ett skarpt öga för nya trender och tekniker levererar hon omfattande täckning för att informera och engagera läsare i det ständigt föränderliga landskapet för digital ekonomi.
fler artiklar
Alisa, en engagerad journalist på MPost, specialiserat på kryptovaluta, nollkunskapsbevis, investeringar och den expansiva sfären av Web3. Med ett skarpt öga för nya trender och tekniker levererar hon omfattande täckning för att informera och engagera läsare i det ständigt föränderliga landskapet för digital ekonomi.
