2023 년 3 월 15 일

OpenAI 개선을 위해 50명 이상의 전문가로 구성된 팀을 구성합니다. GPT-4의 안전

by 아그네 시메르만

게시됨: 15년 2023월 3일 오후 30시 15분 업데이트됨: 2023년 3월 30일 오후 XNUMX시 XNUMX분

요컨대

OpenAI 50명 이상의 전문가로 구성된 팀을 고용하여 최신 언어 모델, GPT-4, 사용하기에 안전합니다.

이 팀에는 AI 안전, 윤리 및 정책을 전문으로 하는 연구원 및 엔지니어가 포함됩니다.

예방하는 것이 목적이다 GPT-4 유해하거나 편향된 콘텐츠를 생성하지 않고 그것이 인간의 가치에 부합하는지 확인합니다.

OpenAI 개선을 위해 50명 이상의 전문가로 구성된 팀을 구성합니다. GPT-4의 안전

OpenAI 다양한 도메인에서 50명 이상의 전문가를 고용하여 GPT-4 더 안전합니다. 전문가들은 잠재적인 위험과 취약성을 식별하기 위해 모델의 적대적 테스트를 진행해 왔습니다. 그들은 장기 AI 정렬 위험, 사이버 보안, 바이오 위험 및 국제 보안 등 다양한 분야의 전문가입니다. 그들의 연구 결과가 도움이 되었습니다 OpenAI 틈새 전문 지식이 필요한 고위험 영역에서 모델 동작을 평가합니다.

최신 언어 모델은 소규모 언어 모델과 유사한 위험을 초래하지만 GPT-4 새로운 위협으로 이어집니다. 그래서 전문가들의 참여가 이루어졌습니다. 기술의 안전성을 보장하는 데 매우 중요합니다..

OpenAI RLHF(인간 선호도) 훈련 프롬프트 및 RBRM(규칙 기반 보상 모델)에서 추가 안전 관련 강화 학습 세트를 구현하여 안전을 향상시켰습니다. GPT-4 모델. RBRM은 제로샷입니다. GPT-4 추가적인 보상 신호로 기능하는 분류기 GPT-4 RLHF 미세 조정 중 정책 모델. 그 목적은 유해한 콘텐츠 생성을 거부하거나 무해한 요청을 거부하지 않는 등 적절한 행동을 장려하는 것입니다.

안전을 보장하기 위해 GPT-4 모델, OpenAI 스트레스 테스트, 경계 테스트, 적대적 테스트 등 '레드팀 구성' 훈련을 수행하기 위해 2022년 XNUMX월부터 외부 전문가를 모집하기 시작했습니다. 그들은 초기 버전의 GPT-4 추가 안전 연구에 동기를 부여하는 초기 위험을 모델화하고 식별했습니다.

전문가의 피드백은 위험을 줄이기 위한 기술적 완화 및 정책 시행 조치로 이어졌습니다. 그러나 많은 위협이 남아 있으며 추가 평가가 필요합니다.

직원에 대해 이야기하기 OpenAI, ChatGPT 처음에 개발 를 통해 세계에서 가장 가난한 지역에 있는 개인의 도움을 받아 OpenAI빈곤 지역에서 온 수백만 명의 근로자를 고용하는 Sama라는 회사와의 파트너십. AI 윤리 전문가 일부 비판 OpenAI교육을 아웃소싱하기로 한 의 결정 ChatGPT 회사가 저비용 노동력을 착취한다고 비난하면서 Sama에게 모델을 제공합니다.

더 읽기 :

태그 :

책임 부인

줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.

저자에 관하여

Agne는 메타버스, AI, Web3 산업 Metaverse Post. 스토리텔링에 대한 그녀의 열정으로 인해 그녀는 이 분야의 전문가들과 수많은 인터뷰를 진행했으며 항상 흥미롭고 매력적인 이야기를 발견하기 위해 노력했습니다. Agne는 문학 학사 학위를 보유하고 있으며 여행, 예술, 문화를 포함한 광범위한 주제에 대한 글쓰기에 대한 광범위한 배경을 가지고 있습니다. 그녀는 또한 동물 권리 단체의 편집자로 자원 봉사하여 동물 복지 문제에 대한 인식을 높이는 데 도움을 주었습니다. 그녀에게 연락하세요 [이메일 보호].

더 많은 기사

아그네 시메르만