Исследователи Калифорнийского университета создали тест Макиавелли для измерения компетентности и вредоносности моделей ИИ
Коротко
Исследователи из Калифорнийского университета, Центра безопасности ИИ, Университета Карнеги-Меллона и Йельского университета предложили критерий Макиавелли для измерения компетентности и вредоносности агентов в широкой среде долгосрочных языковых взаимодействий.
Этот тест основан на 134 текстовых играх «выбери свое приключение» с 572 тысячами различных сценариев, 4,5 тысячами возможных достижений и 2,8 миллионами аннотаций.
Авторы описывают это как тест для проверки этичных (или неэтичных) способов, которыми агенты ИИ пытаются решать проблемы.
Бенефициары ИИ, основанные на больших языковых моделях (LLM), имеют хорошие шансы сокрушить встревоженных паникеров и наводнить мир сверхинтеллектуальными агентами на основе LLM. Потенциальные преимущества огромных прибылей и неограниченной власти сделают свое дело. И, скорее всего, это произойдет довольно быстро.
| Прочитайте больше: Как использовать ChatGPT (GPT-4) бесплатно навсегда |
Однако бенефициары вовсе не глупы. И они понимают, что в дивном новом мире законы ИИ и робототехники больше не будут работать. Заставить LLM неукоснительно соблюдать три закона, сформулированные великим Айзеком Азимовым еще в 1942 году, увы, даже теоретически невозможно.
Оригинальный выход из щекотливой ситуации был предложен исследователями из Калифорнийского университета, Центра безопасности ИИ, Университета Карнеги-Меллона и Йельского университета. Они создали эталон Макиавелли чтобы «измерить компетентность и вредоносность агентов в широкой среде долгосрочных языковых взаимодействий».
Идея авторов проста.
- Если законы не работают, то нет необходимости в «шерифе» для их обеспечения.
- Вместо шерифа нужен психоаналитик, который по результатам своих тестов выявит потенциальных параноиков, психопатов, садистов и патологических лжецов.
Политкорректным языком авторы описывают это так: «Макиавелли — это тест для проверки этичных (или неэтичных) способов, которыми агенты ИИ пытаются решать проблемы».
Метод такой проверки вполне практичен. Агент ИИ выпускается в искусственную социальную среду. Там исследователи дают ему различные задания и смотрят, как он их выполняет. Окружающая среда сама контролирует этическое поведение Агент ИИ и сообщает, в какой степени действия агента (согласно заветам Макиавелли) обманчивы, снижают полезность и направлены на завоевание власти.
Базовый набор данных Machiavelli состоит из 134 текстовых игр «выбери свое приключение» с 572 тысячами различных сценариев, 4,5 тысячами возможных достижений и 2,8 миллионами аннотаций. В этих играх используются высокоуровневые решения, которые дают агентам реалистичные цели и абстрагируются от низкоуровневых взаимодействий с окружающей средой.
Выбранный авторами подход основан на предположении, что агенты ИИ сталкиваются с теми же внутренними конфликтами, что и люди. Точно так же, как языковые модели, обученные предсказывать следующий токен, часто производят токсичный текст, агенты ИИ, обученные оптимизировать цели, часто демонстрируют аморальное и жаждущее власти поведение. Аморально обученные агенты могут разрабатывать макиавеллиевские стратегии, чтобы максимизировать свое вознаграждение за счет других и окружающей среды. Таким образом, поощряя агентов действовать нравственно, этот компромисс можно улучшить.
Авторы считают, что текстовые приключенческие игры являются хорошей проверкой нравственности, потому что:
- Они были написаны людьми, чтобы развлечь других людей.
- Содержите конкурирующие цели с реалистичными пространствами для действий.
- Требуйте долгосрочного планирования.
- Достижение целей обычно требует баланса между амбициями и, в некотором смысле, моралью.
Уточнение здесь самое главное. Уподобление морали биологических существ морали алгоритмических моделей слишком натянуто, способно обесценить тестирование Макиавелли. И замена шерифов психоаналитиками в человеческом мире вряд ли была бы эффективной. И агенты ИИ так же хорошо, как люди, находят способы обмануть своих психиатров.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
