Звіт про новини Технологія
Серпень 07, 2025

Неопубліковане дослідження ризиків штучного інтелекту NIST залишається відкладеним через адміністративні зміни

Коротко

У рамках навчань «червоних команд» під керівництвом NIST у CAMLIS було оцінено вразливості в передових системах штучного інтелекту, а також оцінено такі ризики, як дезінформація, витік даних та емоційні маніпуляції.

Неопубліковане дослідження ризиків штучного інтелекту NIST залишається відкладеним через адміністративні зміни

Команда Національний інститут стандартів і технологій (NIST) завершив звіт про безпеку передових моделей штучного інтелекту ближче до кінця терміну правління адміністрації Джо Байдена, але документ не був опублікований після переходу до адміністрації Дональда Трампа.

У жовтні минулого року конференція з комп'ютерної безпеки в Арлінгтоні, штат Вірджинія, зібрала групу дослідників штучного інтелекту, які взяли участь у новаторському проекті «червоні команди», спрямованому на ретельне тестування найсучаснішої мовної моделі та інших систем штучного інтелекту. Протягом двох днів ці команди виявили 139 нових методів, що призводять до збоїв у роботі систем, таких як створення неправдивої інформації або розкриття конфіденційних даних. Найважливіше те, що їхні висновки також виявили слабкі місця в нещодавно прийнятому урядовому стандарті США, призначеному для керівництва компаніями в оцінці безпеки систем штучного інтелекту.

Хоча звіт був розроблений для допомоги організаціям в оцінці їхніх систем штучного інтелекту, він був серед кількох документів зі штучного інтелекту, підготовлених NIST, які не були опубліковані через потенційні конфлікти з політичним напрямком нової адміністрації.

Перед вступом на посаду президент Дональд Трамп заявив про свій намір скасувати виконавчі укази часів Байдена, пов'язані зі штучним інтелектом. З моменту переходу адміністрація переорієнтувала увагу експертів від таких сфер, як алгоритмічна упередженість та справедливість у сфері штучного інтелекту. План дій щодо штучного інтелекту, опублікований у липні, конкретно закликає до перегляду Структури управління ризиками, пов'язаними зі штучним інтелектом, NIST, рекомендуючи видалити посилання на дезінформацію, різноманітність, рівність та інклюзію (DEI), а також зміну клімату.

Водночас, План дій щодо штучного інтелекту містить пропозицію, яка нагадує цілі неопублікованого звіту. Він доручає кільком федеральним агентствам, включаючи NIST, організувати скоординовану ініціативу хакатону зі штучного інтелекту, спрямовану на тестування систем штучного інтелекту на прозорість, функціональність, контроль користувачів та потенційні вразливості безпеки.

Навчання Red Teaming під керівництвом NIST досліджує ризики систем штучного інтелекту за допомогою ARIA Framework на конференції CAMLIS

Навчання з об'єднання в червоні команди було проведено в рамках програми «Оцінка ризиків та впливу штучного інтелекту» (ARIA) NIST у партнерстві з Humane Intelligence, компанією, яка спеціалізується на оцінці систем штучного інтелекту. Ця ініціатива відбулася під час Конференції з прикладного машинного навчання в інформаційній безпеці (CAMLIS), де учасники досліджували вразливості низки передових технологій штучного інтелекту.

У звіті CAMLIS Red Teaming задокументовано оцінку різних інструментів штучного інтелекту, включаючи Meta. Llama, модель великої мови програмування (LLM) з відкритим кодом; Anote, платформа для розробки та вдосконалення моделей штучного інтелекту; система безпеки від Robust Intelligence, яку згодом придбала CISCO; та платформа для генерації аватарів на основі штучного інтелекту від Synthesia. Представники кожної організації зробили свій внесок у діяльність червоних команд.

Учасники використовували фреймворк NIST AI 600-1 для аналізу розглянутих інструментів. Цей фреймворк окреслює кілька областей ризику, таких як потенціал штучного інтелекту для створення неправдивої інформації або кіберзагроз, розкриття приватних або конфіденційних даних або сприяння емоційній залежності між користувачами та системами штучного інтелекту.

Неопублікований звіт про Red Teaming на основі штучного інтелекту виявляє вразливості моделі, викликає занепокоєння щодо політичного придушення та пропущених дослідницьких висновків

Дослідницька група виявила кілька методів обходу передбачуваних захисних заходів інструментів, що оцінювалися, що призвело до таких результатів, як дезінформація, розкриття конфіденційної інформації та допомога у формуванні стратегій кібератак. Згідно зі звітом, деякі аспекти структури NIST виявилися більш застосовними, ніж інші. Також зазначається, що певним категоріям ризику бракувало чіткості, необхідної для практичного використання.

Особи, знайомі з ініціативою red-teaming, висловили думку, що результати цієї вправи могли б запропонувати цінну інформацію ширшій спільноті досліджень та розробок штучного інтелекту. Одна з учасниць, Еліс Цянь Чжан, докторантка Університету Карнегі-Меллона, зазначила, що публічне поширення звіту могло б допомогти прояснити, як функціонує система оцінки ризиків NIST під час застосування в реальних умовах тестування. Вона також наголосила, що пряма взаємодія з розробниками інструментів під час оцінювання додала цінності цьому досвіду.

Інший учасник, який побажав залишитися анонімним, зазначив, що в ході вправи було виявлено специфічні методи підказування — з використанням таких мов, як російська, гуджараті, маратхі та телугу — які були особливо успішними у виведенні заборонених результатів із моделей, таких як Llama, включаючи інструкції щодо вступу до екстремістських груп. Ця особа припустила, що рішення не публікувати звіт може відображати ширший відхід від сфер, які сприймаються як пов'язані з різноманітністю, рівністю та інклюзією, напередодні приходу нової адміністрації.

Деякі учасники припустили, що відсутність звіту також може бути пов'язана з посиленою увагою уряду до ризиків з високими ставками, таких як потенційне використання систем штучного інтелекту для розробки зброї масового знищення, та паралельними зусиллями щодо зміцнення зв'язків з великими технологічними компаніями. Один учасник червоної команди анонімно зазначив, що політичні міркування, ймовірно, зіграли певну роль у приховуванні звіту, і що цей звіт містить висновки, що мають актуальну наукову цінність.

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Аліса, відданий журналіст на MPost, спеціалізується на криптовалюті, штучному інтелекті, інвестиціях та широкій сфері Web3. З гострим поглядом на нові тенденції та технології, вона надає всебічне висвітлення, щоб інформувати та залучати читачів до постійно змінюваного ландшафту цифрових фінансів.

інші статті
Аліса Девідсон
Аліса Девідсон

Аліса, відданий журналіст на MPost, спеціалізується на криптовалюті, штучному інтелекті, інвестиціях та широкій сфері Web3. З гострим поглядом на нові тенденції та технології, вона надає всебічне висвітлення, щоб інформувати та залучати читачів до постійно змінюваного ландшафту цифрових фінансів.

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Чи готова банківська система Європи до стейблкоїнів? Я поїхав до Барселони, щоб дізнатися.

На EBC Barcelona банки заявили, що євростейблкоїни очікують на правила зберігання та капіталу, поки платіжні компанії та ...

Дізнайтеся більше

Shufti, Jumio, Sumsub та інші: 6 найкращих платформ для перевірки особи та відповідності вимогам, про які варто знати у 2026 році

Shufti, Sumsub, Incode, Veriff, Persona та Jumio порівнювалися за охопленням життєвого циклу відповідності вимогам, прозорістю ціноутворення та виявленням шахрайства ...

Дізнайтеся більше
Детальніше
Читати далі
Оновлення Gate: Gate розширює TradFi, зміцнює свою торговельну екосистему та досягає нових етапів
Звіт про новини
Оновлення Gate: Gate розширює TradFi, зміцнює свою торговельну екосистему та досягає нових етапів
Листопад 6, 2026
CertiK, V Systems та ZICO об'єднують зусилля для інституційної токенізації
Бізнес Звіт про новини
CertiK, V Systems та ZICO об'єднують зусилля для інституційної токенізації
Листопад 6, 2026
Reality співпрацює з Merkl, щоб забезпечити розподіл дивідендів rToken DeFi
Бізнес Звіт про новини
Reality співпрацює з Merkl, щоб забезпечити розподіл дивідендів rToken DeFi
Листопад 6, 2026
Gate встановлює новий стандарт криптобезпеки з Proof of Security (PoSEC) та покриттям 104.58%
Звіт про новини
Gate встановлює новий стандарт криптобезпеки з Proof of Security (PoSEC) та покриттям 104.58%
Листопад 5, 2026
CRYPTOMERIA LABS PTE. LTD.