Все крупные технологические компании, разрабатывающие LLM, должны отдавать приоритет безопасности моделей
Коротко
Исследователи создали систему, которая объединяет большие языковые модели для автономного проектирования, планирования и проведения научных экспериментов, демонстрируя свои исследовательские возможности в трех разных случаях.
Модель написала код для химических уравнений, чтобы понять, сколько вещества необходимо для реакции.
Ассоциация гайд «Новые возможности автономных научных исследований больших языковых моделей» посвящены идее создания системы, объединяющей несколько больших языковых моделей для автономного проектирования, планирования и выполнения научных экспериментов. Он демонстрирует исследовательские возможности агента в трех разных случаях, наиболее сложным из которых является успешное осуществление катализируемых реакций.
Основной тезис этой статьи:
- Исследователи нашли библиотеку, позволяющую писать код на Python, а затем передавать команды для выполнения на специальный аппарат для проведения опытов (со смешиванием веществ);
- Исследователи использовали GPT-4 для поиска в Интернете и библиотечной документации, а также возможности запуска кода Python (для проведения экспериментов);
- Имеется планировщик верхнего уровня (также GPT-4), который анализирует исходный запрос и составляет «план исследования».
- GPT-4 хорошо справляется с выполнением простых нехимических задач, таких как создание определенных фигур на химической доске (правильное заполнение ячеек веществами).
- Они попробовали более сложную и прикладную задачу проведения реакции; модель справилась хорошо и действовала логично.
- Затем модели дали несколько заданий для проведения экспериментов; однако за то, что выдавала модель, реальных экспериментов не проводилось.
- Более того, модель несколько раз писала код для химических уравнений, чтобы оценить, сколько вещества нужно для реакции.
- Также было предложено создать лекарство от рака. Модель подошла к анализу логично и методично. Во-первых, он «посмотрел» в Интернете текущие тенденции в открытии противораковых препаратов. Далее модель выбрала молекулу, которая будет использоваться для моделирования препарата, и написала код для его синтеза. Люди не запускали код (и анализа его адекватности я не видел).
- Кроме того, было предложено синтезировать несколько опасных веществ, таких как наркотики и яды.
Вот самая интересная часть. На некоторые запросы модель сразу отказывалась работать (например, героин или иприт, крайне опасный отравляющий газ). Другие начали гуглить, как сделать вещества, но поняли, что они могут быть использованы в незаконных целях, и отказались продолжать работу. Для других он написал план исследования и код для синтеза вещества.
Этот «отказ», вероятно, вызван тем, что GPT-4 предназначен для анализа запроса, и если его просят сделать что-то противозаконное или опасное, он сразу отказывается выполнять запрос. Очень здорово, что результат процедуры выравнивания заметен.
И в конце статьи авторы призывают всех больших компании, разрабатывающие LLM уделять первостепенное внимание безопасности моделей.
- Исследователи из Калифорнийского университета создали эталон Макиавелли для измерения компетентности и вредоносности моделей ИИ в широкой среде долгосрочных языковых взаимодействий. В этом тесте используются решения высокого уровня, чтобы дать агентам реалистичные цели и абстрагироваться от низкоуровневых взаимодействий.
- Интеллектуальная революция, отмеченная ChatGPT представляет собой триаду синергетически возвышенных революций: технологической, техно-гуманитарной и социально-политической. Чтобы всесторонне взглянуть на происходящее, рекомендуется прослушать три свежие точки зрения от интеллектуалов из области философии, истории и инноваций.
- История с петицией о прекращении разработки систем искусственного интеллекта, более продвинутых, чем GPT-4 поляризовал общество. Статья приводит примеры, когда процессы идут в неожиданном направлении. Риски злонамеренного использования ИИ и неправомерного использования не учитываются, что приводит к аргументу, что нам нужно бояться людей, а не самого ИИ.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
