GPT-4 이전의 "환각" 사실과 추론 오류를 상속받습니다. GPT 모델
요컨대
OpenAI 라고 GPT-4 이전과 비슷한 제한 사항이 있습니다. GPT 모델.
GPT-4 여전히 사실을 환각하고 추론 오류를 범합니다.
그러나, GPT-4 보다 40% 더 높은 점수를 받았습니다. OpenAI의 최신 GPT-3.5 회사 내부의 적대적 사실성 평가에 관한 것입니다.
OpenAI 사용자에게 최신 언어 모델을 경고했습니다. GPT-4, 여전히 완전히 신뢰할 수 없으며 사실을 "환각"하고 추론 오류를 범할 수 있습니다. 회사는 특히 "고위험 상황"에서 언어 모델 출력을 사용할 때 사용자에게 주의를 기울일 것을 촉구합니다.
그러나 좋은 소식은 GPT-4 이전 모델에 비해 환각을 크게 줄였습니다. OpenAI 그 주장 GPT-4 최근보다 40% 더 높은 점수 GPT-3.5 내부의 적대적 사실성 평가에 관한 것입니다.
“우리는 적대적으로 선택된 일련의 잘못된 진술에서 사실을 분리하는 모델의 능력을 테스트하는 TruthfulQA와 같은 외부 벤치마크에서 진전을 이루었습니다. 이러한 질문은 통계적으로 호소력이 있는 사실적으로 잘못된 답변과 짝을 이룹니다.” OpenAI 에 쓴 블로그 게시물.
이러한 개선에도 불구하고 이 모델은 여전히 2021년 XNUMX월 이후에 발생한 이벤트에 대한 지식이 부족하고 이전 모델과 마찬가지로 단순한 추론 오류를 가끔 범합니다. 또한 사용자의 명백한 거짓 진술을 받아들이는 데 지나치게 속기 쉬울 수 있으며 코드에 보안 취약성을 도입하는 것과 같은 어려운 문제에서 실패할 수 있습니다. 또한 제공하는 정보를 사실 확인하지 않습니다.
그것의 전임자 같이, GPT-4 유해한 조언, 버그가 있는 코드 또는 부정확한 정보를 생성할 수 있습니다. 그러나 모델의 추가 기능으로 인해 이해해야 할 새로운 위험 표면이 발생합니다. 이러한 위험의 정도를 평가하려면 50명 이상의 전문가 AI 정렬 위험, 사이버 보안, 생물 위험, 신뢰 및 안전, 국제 안보를 포함한 다양한 영역의 사람들이 참여하여 모델을 적대적으로 테스트했습니다. 그런 다음 피드백과 데이터를 사용하여 추가 데이터를 수집하여 모델을 개선했습니다. GPT-4위험한 화학물질을 합성하는 방법에 대한 요청을 거부하는 능력.
주요 방법 중 하나 OpenAI RLHF(Reinforcement Learning from Human Feedback) 교육 중에 추가 안전 보상 신호를 통합하여 유해한 출력을 줄이는 것입니다. 신호는 다음과 같이 유해한 콘텐츠에 대한 요청을 거부하도록 모델을 교육합니다. defi모델의 사용 지침에 따라 결정됩니다. 보상은 다음에서 제공됩니다. GPT-4 안전 관련 프롬프트에서 안전 경계와 완료 스타일을 판단하는 제로 샷 분류기.
OpenAI 또한 허용되지 않는 콘텐츠에 대한 요청에 대한 모델의 응답 경향이 82% 감소했다고 밝혔습니다. GPT-3.5 및 GPT-4 회사 정책에 따라 의학적 조언, 자해 등 민감한 요청에 응답하는 빈도가 29% 더 높습니다.
DaVinci에는 OpenAI의 개입으로 인해 나쁜 행동을 이끌어내는 것이 더 어려워졌습니다. GPT-4, 여전히 가능하며 사용 지침을 위반하는 콘텐츠를 생성할 수 있는 탈옥이 여전히 존재합니다.
“AI 시스템이 널리 보급됨에 따라 이러한 개입에서 높은 수준의 안정성을 달성하는 것이 점점 더 중요해질 것입니다. 현재로서는 악용 모니터링과 같은 배포 시간 안전 기술로 이러한 제한을 보완하는 것이 필수적입니다.”라고 회사는 덧붙였습니다.
OpenAI 외부 연구자들과 협력하여 잠재적인 영향을 더 잘 이해하고 평가하고 있습니다. GPT-4 그리고 그 후속 모델. 또한 팀은 미래 AI 시스템에서 나타날 수 있는 위험한 기능에 대한 평가도 개발하고 있습니다. 그들은 잠재적인 사회적, 경제적 영향 of GPT-4 그리고 다른 AI 시스템, OpenAI 적시에 대중과 발견 및 통찰력을 공유합니다.
더 읽기 :
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Cindy는 언론인입니다. Metaverse Post, 관련 주제를 다루는 web3, NFT, metaverse 및 AI, 인터뷰를 중심으로 Web3 업계 플레이어. 그녀는 30명이 넘는 최고 경영진과 이야기를 나누며 그들의 귀중한 통찰력을 독자들에게 전했습니다. 원래 싱가포르 출신인 Cindy는 현재 조지아주 트빌리시에 거주하고 있습니다. 그녀는 사우스 오스트레일리아 대학에서 커뮤니케이션 및 미디어 연구 학사 학위를 취득했으며 저널리즘과 글쓰기 분야에서 XNUMX년 간의 경험을 갖고 있습니다. 다음을 통해 그녀에게 연락하세요. [이메일 보호] 보도 자료, 발표 및 인터뷰 기회가 있습니다.
더 많은 기사
Cindy는 언론인입니다. Metaverse Post, 관련 주제를 다루는 web3, NFT, metaverse 및 AI, 인터뷰를 중심으로 Web3 업계 플레이어. 그녀는 30명이 넘는 최고 경영진과 이야기를 나누며 그들의 귀중한 통찰력을 독자들에게 전했습니다. 원래 싱가포르 출신인 Cindy는 현재 조지아주 트빌리시에 거주하고 있습니다. 그녀는 사우스 오스트레일리아 대학에서 커뮤니케이션 및 미디어 연구 학사 학위를 취득했으며 저널리즘과 글쓰기 분야에서 XNUMX년 간의 경험을 갖고 있습니다. 다음을 통해 그녀에게 연락하세요. [이메일 보호] 보도 자료, 발표 및 인터뷰 기회가 있습니다.
