OpenAI Собирает команду из 50+ экспертов для улучшения GPT-4безопасность
Коротко
OpenAI нанял команду из более чем 50 экспертов, чтобы гарантировать, что его новейшие языковая модель, GPT-4, безопасен для использования.
В команду входят исследователи и инженеры, специализирующиеся на безопасности, этике и политике ИИ.
Цель состоит в том, чтобы предотвратить GPT-4 от создания вредного или предвзятого контента и обеспечивать его соответствие человеческим ценностям.
OpenAI нанял более 50 экспертов из разных областей, чтобы сделать GPT-4 безопаснее. Эксперты работали над состязательным тестированием модели, чтобы выявить потенциальные риски и уязвимости. Это эксперты из разных областей: долгосрочные риски выравнивания ИИ, кибербезопасность, биориски и международная безопасность. Их выводы помогли OpenAI оценить поведение модели в областях повышенного риска, требующих нишевой экспертизы.
Хотя новейшая языковая модель представляет те же риски, что и более мелкие языковые модели, дополнительные возможности GPT-4 привести к новым угрозам. Таким образом, привлечение экспертов было имеет решающее значение для обеспечения безопасности технологии.
OpenAI внедрил дополнительный набор обучающих подсказок с подкреплением, связанных с безопасностью, на основе человеческих предпочтений (RLHF) и моделей вознаграждения на основе правил (RBRM) для повышения безопасности GPT-4 модель. РБРМ имеют нулевой выстрел. GPT-4 классификаторы, которые действуют как дополнительный сигнал вознаграждения для GPT-4 модель политики в ходе тонкой настройки RLHF. Их цель — стимулировать соответствующее поведение, например отказ от создания вредоносного контента или отказ от отклонения безобидных запросов.
Чтобы обеспечить безопасность GPT-4 модели, OpenAI в августе 2022 года начала привлекать внешних экспертов для проведения учений «красной команды», включая стресс-тестирование, граничное тестирование и состязательное тестирование. У них был доступ к ранним версиям GPT-4 модель и выявила первоначальные риски, которые послужили мотивом для дальнейших исследований в области безопасности.
Отзывы экспертов привели к техническим мерам по смягчению последствий и мерам по обеспечению соблюдения политик для снижения рисков. Однако остается много угроз, и необходима дальнейшая оценка.
Говоря о сотрудниках в OpenAI, ChatGPT был изначально развитый при помощи отдельных лиц из беднейших регионов мира через OpenAIпартнерство с компанией Sama, в которой работают миллионы рабочих из бедных районов. Некоторые эксперты по этике ИИ подвергли критике OpenAIрешение отдать на аутсорсинг обучение своих ChatGPT модель Саме, обвиняя компанию в эксплуатации дешевой рабочей силы.
Прочитайте больше:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Агне — журналист, освещающий последние тенденции и разработки в области метавселенной, искусственного интеллекта и Web3 отрасли для Metaverse Post. Ее страсть к рассказыванию историй побудила ее проводить многочисленные интервью с экспертами в этих областях, всегда стремясь раскрыть захватывающие и увлекательные истории. Агне имеет степень бакалавра литературы и имеет обширный опыт написания статей на самые разные темы, включая путешествия, искусство и культуру. Она также работала волонтером в качестве редактора организации по защите прав животных, где помогала повышать осведомленность о проблемах защиты животных. Свяжитесь с ней по [электронная почта защищена].
Другие статьи
Агне — журналист, освещающий последние тенденции и разработки в области метавселенной, искусственного интеллекта и Web3 отрасли для Metaverse Post. Ее страсть к рассказыванию историй побудила ее проводить многочисленные интервью с экспертами в этих областях, всегда стремясь раскрыть захватывающие и увлекательные истории. Агне имеет степень бакалавра литературы и имеет обширный опыт написания статей на самые разные темы, включая путешествия, искусство и культуру. Она также работала волонтером в качестве редактора организации по защите прав животных, где помогала повышать осведомленность о проблемах защиты животных. Свяжитесь с ней по [электронная почта защищена].
