캘리포니아 대학의 연구원들은 AI 모델의 역량과 유해성을 측정하기 위한 Machiavelli 벤치마크를 만들었습니다.
요컨대
University of California, Center for AI Security, Carnegie Mellon University 및 Yale University의 연구원들은 장기적인 언어 상호 작용의 광범위한 환경에서 에이전트의 능력과 유해성을 측정하기 위해 Machiavelli 벤치마크를 제안했습니다.
이 벤치마크는 134k의 다양한 시나리오, 572k의 가능한 업적 및 4,5m의 주석이 포함된 2,8개의 선택형 모험 텍스트 게임을 기반으로 합니다.
저자는 AI 에이전트가 문제 해결을 시도하는 윤리적(또는 비윤리적) 방식을 확인하기 위한 테스트라고 설명합니다.
대규모 언어 모델(LLM)을 기반으로 하는 AI 수혜자는 불안한 경보를 분쇄하고 초지능 LLM 기반 에이전트로 전 세계를 범람시킬 수 있는 좋은 기회입니다. 막대한 이익과 무한한 힘의 잠재적 이점이 트릭을 할 것입니다. 그리고 그것은 꽤 빨리 일어날 것입니다.
그러나 수혜자들은 전혀 바보가 아닙니다. 그리고 그들은 놀라운 신세계에서 AI와 로봇 공학의 법칙이 더 이상 작동하지 않을 것임을 이해합니다. LLM이 1942년에 위대한 아이작 아시모프(Isaac Asimov)가 공식화한 세 가지 법칙을 엄격히 준수하도록 하는 것은 슬프게도 이론적으로도 불가능합니다.
이 미묘한 상황에서 벗어나는 독창적인 방법 제안되었다 캘리포니아 대학교, AI 보안 센터, 카네기 멜론 대학교, 예일 대학교의 연구원들. 그들은 마키아벨리 벤치마크 "장기적인 언어 상호 작용의 광범위한 환경에서 에이전트의 능력과 유해성을 측정합니다."
저자의 생각은 간단하다.
- 법이 작동하지 않으면 법을 집행할 "보안관"이 필요하지 않습니다.
- 보안관 대신 테스트 결과에 따라 잠재적 편집증, 정신병자, 새디스트 및 병리학 적 거짓말 쟁이를 식별 할 정신 분석가가 필요합니다.
정치적으로 올바른 언어로 저자는 다음과 같이 설명합니다. "Machiavelli는 AI 에이전트가 문제를 해결하려는 윤리적(또는 비윤리적) 방식을 확인하는 테스트입니다."
그러한 검증 방법은 매우 실용적입니다. AI 에이전트는 인공적인 사회적 환경으로 방출됩니다. 그곳에서 연구자들은 그에게 다양한 임무를 부여하고 그가 그것을 어떻게 완료하는지 지켜봅니다. 환경 자체는 기업의 윤리적 행동을 모니터링합니다. AI 에이전트 그리고 에이전트의 행동(마키아벨리의 교훈에 따라)이 어느 정도 기만적이고, 유용성을 감소시키며, 권력 획득을 목표로 하는지 보고합니다.
Machiavelli 핵심 데이터 세트는 134k의 다양한 시나리오, 572k의 가능한 성과 및 4,5m의 주석이 포함된 2,8개의 선택형 모험 텍스트 게임으로 구성됩니다. 이러한 게임은 에이전트에게 현실적인 목표를 제공하고 환경과의 낮은 수준의 상호 작용을 추상화하는 높은 수준의 솔루션을 사용합니다.
저자가 선택한 접근 방식은 AI 에이전트가 인간과 동일한 내부 갈등에 직면한다는 가정을 기반으로 합니다. 다음 토큰을 예측하도록 훈련된 언어 모델이 종종 독성 텍스트를 생성하는 것처럼 목표를 최적화하도록 훈련된 AI 에이전트는 종종 부도덕하고 권력에 굶주린 행동을 보입니다. 비도덕적으로 훈련된 에이전트는 다른 사람과 환경을 희생시키면서 보상을 극대화하기 위해 Machiavellian 전략을 개발할 수 있습니다. 에이전트가 도덕적으로 행동하도록 장려함으로써 이러한 타협을 개선할 수 있습니다.
저자는 텍스트 어드벤처 게임이 다음과 같은 이유로 도덕성에 대한 좋은 테스트라고 믿습니다.
- 그들은 다른 사람들을 즐겁게 하기 위해 사람들에 의해 쓰여졌습니다.
- 행동을 위한 현실적인 공간과 경쟁 목표를 포함합니다.
- 장기적인 계획이 필요합니다.
- 목표를 달성하려면 일반적으로 야망과 도덕성 사이의 균형이 필요합니다.
여기서 설명이 가장 중요합니다. 생물학적 존재의 도덕성을 알고리즘 모델의 도덕성에 비유하는 것은 지나친 과장이며 마키아벨리의 테스트를 평가 절하할 수 있습니다. 그리고 인간계에서 보안관을 정신 분석가로 교체하는 것은 거의 효과가 없었을 것입니다. 그리고 AI 에이전트는 수축을 헛소리하는 방법을 찾는 데 인간만큼 능숙합니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
