Unveröffentlichte KI-Risikostudie des NIST bleibt aufgrund von Verwaltungsänderungen auf Eis gelegt
In Kürze
Im Rahmen einer vom NIST geleiteten Red-Teaming-Übung bei CAMLIS wurden Schwachstellen in fortschrittlichen KI-Systemen bewertet und Risiken wie Fehlinformationen, Datenlecks und emotionale Manipulation eingeschätzt.
Die National Institute of Standards and Technology (NIST) hat gegen Ende der Amtszeit von Joe Biden einen Bericht über die Sicherheit der fortschrittlichen KI-Modelle fertiggestellt, das Dokument wurde jedoch nach dem Übergang zur Amtszeit von Donald Trump nicht veröffentlicht.
Im Oktober letzten Jahres trafen sich KI-Forscher auf einer Computersicherheitskonferenz in Arlington, Virginia, zu einer bahnbrechenden „Red Teaming“-Übung, bei der ein hochmodernes Sprachmodell und andere KI-Systeme rigoros getestet wurden. Innerhalb von zwei Tagen entdeckten die Teams 139 neue Methoden, die Fehlfunktionen der Systeme verursachen, beispielsweise die Erzeugung falscher Informationen oder die Offenlegung sensibler Daten. Entscheidend war, dass ihre Erkenntnisse auch Schwachstellen in einem kürzlich eingeführten Standard der US-Regierung aufdeckten, der Unternehmen bei der Bewertung der Sicherheit von KI-Systemen unterstützen soll.
Obwohl der Bericht dazu gedacht war, Organisationen bei der Bewertung ihrer KI-Systeme zu unterstützen, gehörte er zu mehreren vom NIST verfassten KI-Dokumenten, deren Veröffentlichung aufgrund möglicher Konflikte mit der politischen Ausrichtung der neuen Regierung zurückgehalten wurde.
Vor seinem Amtsantritt kündigte Präsident Donald Trump seine Absicht an, die aus der Biden-Ära stammenden Executive Orders im Zusammenhang mit KI aufzuheben. Seit dem Amtsantritt hat die Regierung den Fokus der Experten von Bereichen wie algorithmischer Verzerrung und Fairness in der KI abgelenkt. Der im Juli veröffentlichte KI-Aktionsplan fordert ausdrücklich eine Überarbeitung des KI-Risikomanagement-Frameworks des NIST und empfiehlt die Entfernung von Verweisen auf Fehlinformationen, Vielfalt, Gerechtigkeit und Inklusion (DEI) sowie Klimawandel.
Gleichzeitig enthält der KI-Aktionsplan einen Vorschlag, der den Zielen des unveröffentlichten Berichts ähnelt. Er weist mehrere Bundesbehörden, darunter das NIST, an, eine koordinierte KI-Hackathon-Initiative zu organisieren, deren Ziel es ist, KI-Systeme auf Transparenz, Funktionalität, Benutzerkontrolle und potenzielle Sicherheitslücken zu testen.
Vom NIST geleitete Red-Teaming-Übung untersucht auf der CAMLIS-Konferenz die Risiken von KI-Systemen mithilfe des ARIA-Frameworks
Die Red-Teaming-Übung wurde im Rahmen des Programms „Assessing Risks and Impacts of AI“ (ARIA) des NIST in Zusammenarbeit mit Humane Intelligence durchgeführt, einem Unternehmen, das sich auf die Bewertung von KI-Systemen spezialisiert hat. Diese Initiative fand im Rahmen der Konferenz „Angewandtes Maschinelles Lernen in der Informationssicherheit“ (CAMLIS) statt, bei der die Teilnehmer die Schwachstellen verschiedener fortschrittlicher KI-Technologien untersuchten.
Der CAMLIS Red Teaming-Bericht dokumentiert die Bewertung verschiedener KI-Tools, darunter Metas Llama, ein Open-Source-Large-Language-Model (LLM); Anote, eine Plattform zur Entwicklung und Verfeinerung von KI-Modellen; ein Sicherheitssystem von Robust Intelligence, das inzwischen von CISCO übernommen wurde; und die KI-Avatar-Generierungsplattform von Synthesia. Vertreter jeder Organisation beteiligten sich an den Red-Teaming-Aktivitäten.
Die Teilnehmer nutzten das NIST AI 600-1-Framework zur Analyse der betreffenden Tools. Dieses Framework beschreibt mehrere Risikobereiche, beispielsweise das Potenzial von KI, falsche Informationen oder Cybersicherheitsbedrohungen zu produzieren, private oder sensible Daten preiszugeben oder eine emotionale Abhängigkeit zwischen Nutzern und KI-Systemen zu fördern.
Unveröffentlichter AI Red Teaming-Bericht deckt Modellschwachstellen auf, weckt Bedenken hinsichtlich politischer Unterdrückung und verpasster Forschungserkenntnisse
Das Forschungsteam fand mehrere Methoden, um die vorgesehenen Sicherheitsvorkehrungen der untersuchten Tools zu umgehen. Dies führte unter anderem zu Fehlinformationen, der Offenlegung privater Informationen und der Unterstützung bei der Entwicklung von Cyberangriffsstrategien. Dem Bericht zufolge erwiesen sich einige Aspekte des NIST-Frameworks als anwendbarer als andere. Es wurde auch festgestellt, dass bestimmten Risikokategorien die für die praktische Anwendung notwendige Klarheit fehlte.
Personen, die mit der Red-Teaming-Initiative vertraut sind, erklärten, dass die Ergebnisse der Übung der breiteren KI-Forschungs- und Entwicklungsgemeinschaft wertvolle Erkenntnisse hätten liefern können. Eine Teilnehmerin, Alice Qian Zhang, Doktorandin an der Carnegie Mellon University, merkte an, dass die öffentliche Verbreitung des Berichts möglicherweise dazu beigetragen hätte, die Funktionsweise des NIST-Risikorahmens in realen Testumgebungen zu verdeutlichen. Sie betonte außerdem, dass die direkte Interaktion mit den Entwicklern der Tools während der Bewertung einen Mehrwert für die Erfahrung darstellte.
Ein anderer Beitragender, der anonym bleiben wollte, gab an, dass die Übung bestimmte Aufforderungstechniken aufgedeckt habe – unter Verwendung von Sprachen wie Russisch, Gujarati, Marathi und Telugu –, die besonders erfolgreich darin waren, verbotene Ausgaben von Modellen wie Llama, einschließlich Anweisungen zum Beitritt zu extremistischen Gruppen. Diese Person meinte, die Entscheidung, den Bericht nicht zu veröffentlichen, könnte eine allgemeine Abkehr von Bereichen widerspiegeln, die im Zusammenhang mit Vielfalt, Gleichberechtigung und Inklusion stehen, bevor die neue Regierung an die Macht kommt.
Einige Teilnehmer spekulierten, dass die Zurückhaltung des Berichts auch auf eine verstärkte Konzentration der Regierung auf hochriskante Risiken – wie den möglichen Einsatz von KI-Systemen bei der Entwicklung von Massenvernichtungswaffen – und parallele Bemühungen zurückzuführen sein könnte, die Beziehungen zu großen Technologieunternehmen zu stärken. Ein Red-Team-Teilnehmer bemerkte anonym, dass politische Erwägungen bei der Zurückhaltung des Berichts wahrscheinlich eine Rolle gespielt hätten und dass die Übung Erkenntnisse von anhaltender wissenschaftlicher Relevanz enthalte.
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Alisa, eine engagierte Journalistin bei der MPost, ist auf Kryptowährungen, Zero-Knowledge-Proofs, Investitionen und den weitreichenden Bereich spezialisiert Web3. Mit einem scharfen Blick für neue Trends und Technologien liefert sie eine umfassende Berichterstattung, um die Leser über die sich ständig weiterentwickelnde Landschaft des digitalen Finanzwesens zu informieren und einzubeziehen.
Weitere Artikel
Alisa, eine engagierte Journalistin bei der MPost, ist auf Kryptowährungen, Zero-Knowledge-Proofs, Investitionen und den weitreichenden Bereich spezialisiert Web3. Mit einem scharfen Blick für neue Trends und Technologien liefert sie eine umfassende Berichterstattung, um die Leser über die sich ständig weiterentwickelnde Landschaft des digitalen Finanzwesens zu informieren und einzubeziehen.
