NISTの未発表AIリスク調査は行政変更により棚上げのまま

by アリサ・デビッドソン

公開日: 07 年 2025 月 10 日午前 20:08 更新日: 2025 年 8 月 42 日午前 XNUMX:XNUMX

by アナスタシア・O

編集および事実確認: 07 年 2025 月 10 日午前 20:XNUMX

簡単に言えば

CAMLIS での NIST 主導のレッドチーム演習では、高度な AI システムの脆弱性を評価し、誤情報、データ漏洩、感情操作などのリスクを評価しました。

その米国標準技術局（NIST）はジョー・バイデン政権の終わり近くに高度なAIモデルの安全性に関する報告書を完成させたが、ドナルド・トランプ政権への移行後はその文書は公表されなかった。

昨年139月、バージニア州アーリントンで開催されたコンピュータセキュリティ会議に、最先端の言語モデルやその他のAIシステムを厳密にテストすることを目的とした、先駆的な「レッドチーム演習」に参加したAI研究者グループが集まりました。XNUMX日間にわたる演習で、これらのチームは、偽情報の生成や機密データの漏洩など、システムの誤動作を引き起こすXNUMXもの新たな手法を発見しました。重要なのは、彼らの発見によって、企業によるAIシステムの安全性評価の指針となる、米国政府の最近の標準規格の脆弱性も明らかになったことです。

この報告書は、組織がAIシステムを評価するのを支援するために作成されたが、新政権の政策方針との潜在的な矛盾のため、公開が差し控えられたNIST作成のAI文書の1つであった。

ドナルド・トランプ大統領は就任前に、バイデン政権時代のAI関連の大統領令を撤回する意向を示していました。政権移行以降、政権は専門家の関心をAIにおけるアルゴリズムの偏りや公平性といった分野から逸らしてきました。7月に発表されたAI行動計画では、NISTのAIリスク管理フレームワークの改訂を具体的に求めており、誤情報、多様性、公平性、包摂性（DEI）、気候変動に関する記述の削除を推奨しています。

同時に、AI行動計画には、未発表の報告書の目的に類似した提案が含まれています。この提案は、NISTを含む複数の連邦機関に対し、AIシステムの透明性、機能性、ユーザーコントロール、潜在的なセキュリティ脆弱性をテストすることを目的とした、協調的なAIハッカソンイニシアチブを組織するよう指示しています。

NIST主導のレッドチーム演習、CAMLISカンファレンスでARIAフレームワークを用いたAIシステムリスク調査を実施

このレッドチーム演習は、NISTのAIリスクと影響の評価（ARIA）プログラムの一環として、AIシステムの評価を専門とするHumane Intelligence社と共同で実施されました。この取り組みは、情報セキュリティにおける応用機械学習に関する会議（CAMLIS）の期間中に開催され、参加者は様々な高度なAI技術の脆弱性について調査しました。

CAMLISレッドチームレポートは、Metaの Llamaオープンソースの大規模言語モデル（LLM）であるAnote、AIモデルの開発・改良プラットフォームであるAnote、シスコに買収されたRobust Intelligenceのセキュリティシステム、そしてSynthesiaのAIアバター生成プラットフォームです。各組織の代表者がレッドチーム活動に貢献しました。

参加者は、NIST AI 600-1フレームワークを用いて、問題となっているツールを分析しました。このフレームワークは、AIが虚偽の情報やサイバーセキュリティ上の脅威を生み出す可能性、個人情報や機密データを漏洩する可能性、ユーザーとAIシステムの間に感情的な依存を助長する可能性など、複数のリスク領域を概説しています。

未公開のAIレッドチームレポートでモデルの脆弱性が明らかに、政治的抑圧や研究成果の見逃しへの懸念が高まる

研究チームは、評価対象ツールの意図された安全対策を回避する複数の方法を発見し、その結果、誤情報の発信、個人情報の漏洩、サイバー攻撃戦略の策定支援といった成果がもたらされました。報告書によると、NISTフレームワークの一部の側面は、他の側面よりも適用性が高いことが判明しました。また、特定のリスクカテゴリーは、実用化に必要な明確さを欠いていることも指摘されています。

レッドチーム演習の取り組みに詳しい関係者は、演習の成果がAI研究開発コミュニティ全体に貴重な知見を提供できたはずだと述べている。参加者の一人であるカーネギーメロン大学の博士課程学生、アリス・チアン・チャン氏は、報告書を公開することで、NISTのリスクフレームワークが実際のテスト環境に適用された場合にどのように機能するかを明確にするのに役立つ可能性があったと指摘した。また、評価中にツール開発者と直接やり取りできたことで、この経験に付加価値が生まれたと強調した。

匿名を希望した別の寄稿者は、この演習で、ロシア語、グジャラート語、マラーティー語、テルグ語などの言語を使用した特定のプロンプト手法が、次のようなモデルから禁止された出力を引き出すのに特に効果的であることが明らかになったと指摘した。 Llama過激派グループへの参加に関する指示も含まれている。この人物は、報告書を公表しないという決定は、新政権を前に、多様性、公平性、包摂性に関連すると認識されている分野からより広範な方向転換を反映している可能性があると示唆した。

参加者の中には、報告書の省略は、政府がAIシステムの大量破壊兵器開発への利用の可能性といった重大なリスクへの関心を高め、大手テクノロジー企業との関係強化に取り組んでいることに起因しているのではないかと推測する者もいた。レッドチームの参加者の一人は匿名で、報告書の提出を差し控えた理由として政治的配慮が影響した可能性が高く、演習には科学的に重要な知見が含まれていたと述べた。

タグ：

免責事項

に沿ってトラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポートページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。