Vitalik Buterin과 MIRI 이사 Nate Soares가 AI의 위험에 대해 탐구합니다. 인공 지능이 인류를 멸종시킬 수 있습니까?
요컨대
Ethereum 설립자 Vitalik Buterin과 기계 지능 연구소의 Nate Soares 이사는 오늘 Zuzalu에서 AI의 위험에 대해 논의했습니다.
Zuzalu는 Buterin과 암호 커뮤니티의 동료들이 시작한 몬테네그로의 팝업 도시 커뮤니티입니다.
토론에서 Soares는 AI가 지구상의 모든 생명을 끝낼 가능성이 높은 이유에 대한 자신의 관점을 공유했습니다.
이더리움 창시자 비탈릭 부테린(Vitalik Buterin)과 머신 인텔리전스 연구소(MIRI) 소장 네이트 소아레스 오늘 Zuzalu에서 AI의 위험에 대해 논의했습니다.
Zuzalu는 25월 25일부터 200월 XNUMX일까지 진행되는 암호 커뮤니티에서 Buterin과 그의 동료들이 시작한 몬테네그로의 "팝업 도시 커뮤니티"입니다. 이 행사는 배우고, 만들고, 더 오래, 더 건강하게 살고자 하는 공통된 열망을 가진 XNUMX명의 핵심 주민들을 모았습니다. 삶을 영위하고 자립적인 커뮤니티를 구축합니다. 두 달 동안 커뮤니티는 합성 생물학, 개인 정보 보호 기술, 공공재, 장수, 거버넌스 등과 같은 다양한 주제에 대한 여러 이벤트도 주최합니다.
XNUMXD덴탈의 토론 는 그가 운영해 온 것보다 더 오래 존재해 온 버클리에 기반을 둔 비영리 단체인 MIRI에서 Soares가 자신의 작업을 소개하면서 시작되었습니다. 지난 20년 동안 MIRI는 AI 개발이 잘 될 수 있도록 기반을 다지기 위해 노력해왔습니다. 토론을 통해 Vitalik은 인류 역사상 출시된 다른 기술과 비교하여 AI가 고유하게 위험한 이유를 설명하기를 희망했습니다.
인공지능이 인류를 멸종시킬 확률
Vitalik은 오랫동안 AI 위험이라는 주제에 관심이 있었고 AI가 잘못되면 지구상의 모든 생명체가 더 이상 존재하지 않을 가능성이 0.5%-1%라고 확신했던 것을 기억한다고 말했습니다. 인류의 절멸 또는 돌이킬 수 없는 인류 문명의 붕괴.
Soares의 관점에서 인간의 멸종은 안전하지 않은 AI 기술 개발의 기본 결과처럼 보입니다. 그것을 진화와 비교하면서 그는 인류의 발전이 단순한 진화의 변화보다 더 빨리 일어나는 것 같다고 말했습니다. AI와 인간의 진화 프로세스 모두에서 지배적인 최적화(고려해야 할 여러 목표가 있을 때 문제에 대한 최상의 솔루션을 찾는 프로세스)가 변화하고 있었습니다. 인간은 자연 선택을 통해 정보를 유전자에 고정시키는 대신 입소문을 통해 지식을 전달할 수 있는 시점에 도달했습니다.
“AI는 궁극적으로 거시적 최적화 프로세스를 다시 전환할 수 있는 경우입니다. 최적화 측면에서 인간보다 훨씬 더 잘할 수 있다고 생각합니다. 우리는 주변 환경을 최적화하는 데 있어 여전히 멍청하다고 생각합니다. AI를 통해 우리는 자동화된 최적화가 우주의 거시적 특징을 결정하는 힘이 되는 일종의 위상 전환을 겪고 있습니다.”라고 Soares는 설명했습니다.
그는 미래의 모습이 최적화 프로세스가 최적화하는 대상이며 대부분의 최적화 대상이 인간을 위한 여지가 없기 때문에 인류에게 더 이상 유익하지 않을 것이라고 덧붙였습니다.
인간이 AI에게 선을 행하도록 훈련시킬 수 있습니까?
Buterin은 인간이 AI를 훈련시키고 최적화 방법을 알려주는 것이라고 지적했습니다. 필요한 경우 기계가 최적화되는 방식을 변경할 수 있습니다. 이에 대해 소아레스는 원칙적으로 AI가 좋은 일을 하도록 훈련시키는 것은 가능하지만, 단순히 목표를 달성하기 위해 AI를 훈련시키는 것이 AI가 그렇게 하겠다는 뜻은 아니며 욕망으로 귀결된다고 말했다.
인간의 선호도에 대한 많은 양의 데이터를 얻고 있는 대규모 언어 모델에서 강화 학습에 대해 지적하면서 Buterin은 기존 지능이 우리의 선호도를 더 잘 이해하고 있기 때문에 작동하지 않는 이유를 물었습니다.
"우리의 동기를 이해하는 것과 똥을 싸는 것 사이에는 큰 격차가 있습니다."
소아레스가 대답했다.
“내 주장은 대규모 언어 모델이나 AI가 인간 선호도의 세부 사항을 이해하지 못한다는 것이 아닙니다. 내 주장은 인간 선호의 세세한 부분을 이해하는 것과 선을 위해 최적화하는 것은 매우 다르다는 것입니다.”라고 그는 덧붙였습니다.
청중 중 한 사람은 AI와 인간을 비교하면서 인간은 인공 지능과 마찬가지로 자신이 하는 일이나 예측을 이해하지 못하는 경향이 있어 위험할 수도 있다고 말했습니다. 그런 다음 그는 Soares에게 자신이 외계인인 척하고 인간이 있어서는 안 되는 이유를 설명하도록 요청했습니다.
“나는 한 인간에게 신과 같은 힘과 미래에 대한 통제권을 준다는 사실에 감격하지 않을 것입니다. 이와는 별개로, 나는 무작위로 역할을 맡은 AI보다 한 개인에게 권한을 부여하는 것이 훨씬 더 기쁠 것입니다. 나는 우리가 AI를 가져서는 안된다고 단호하게 말하는 것이 아닙니다. 바로잡아야 한다고 말하고 있습니다. 트랜스휴먼이 외계인과 포지티브 썸 거래에 참여하는 번성하는 문명과 재미와 행복으로 가득한 미래에 대해 그들이 관심을 갖도록 해야 합니다.”라고 Soares는 설명했습니다. "여러 항목에 신경을 쓰는 강력한 최적화 프로세스를 구축하면 잠재적으로 우주의 모든 가치를 파괴할 수 있습니다."
그는 인간이 가치 있게 여기는 것이 보편적으로 설득력 있는 것이 아니며 도덕은 그것을 연구하는 마음이 추구할 것이 아니라고 덧붙였습니다. 대신, 조상 환경에서 우리가 번식을 잘하고 인간에게만 고유하게 작용한 것은 인간에게 내장된 충동의 결과입니다.
궁극적으로 Soares는 재미, 행복, 번영하는 미래와 일치하지 않는 유사하게 지능적이거나 훨씬 더 지능적인 것을 구축해서는 안 된다고 믿습니다. 한편, 그는 인류가 군비 경쟁 중에 첫 번째 시도에서 재미있는 미래를 최적화하는 우호적인 초지능을 구축해서는 안 된다고 말했습니다. 단기적으로 AI는 인류가 실제로 원하는 것을 파악하기 위해 시간과 공간을 구매하도록 돕는 데 전념해야 합니다.
ChatGPT 전체 생물권을 소비하지 않을 것입니다
AI는 현재 예측을 포함한 특정 목표를 달성하기 위해 구축되고 있기 때문에 Buterin은 AI가 목표 지향적이지 않다면 어떻게 될까요? Soares는 안전하고 능력이 없는 AI를 구축하는 것이 쉽다고 말했습니다. 우리는 곧 능력이 있지만 다른 것을 추구하는 AI를 갖게 될 것입니다. 그는 생각하지 않는다 ChatGPT 그 수준의 능력이 아니기 때문에 전체 생물권을 소비할 것입니다.
Soares는 과학 및 기술 개발 및 연구 자동화와 같은 가장 흥미로운 AI 응용 프로그램에는 특정 목표 추구가 필요한 것 같다고 언급했습니다.
“당신이 얻을 수 있는 것은 실수가 아닙니다. GPT 깔끔한 하이쿠를 쓰기는 하지만 소설을 쓰기 위해서는 그것을 얻을 수 없습니다. 현재 시스템의 한계는 적어도 나에게는 이러한 더 깊은 목표를 추구하지 않는다는 사실과 관련이 있습니다.”
더 읽기 :
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Cindy는 언론인입니다. Metaverse Post, 관련 주제를 다루는 web3, NFT, metaverse 및 AI, 인터뷰를 중심으로 Web3 업계 플레이어. 그녀는 30명이 넘는 최고 경영진과 이야기를 나누며 그들의 귀중한 통찰력을 독자들에게 전했습니다. 원래 싱가포르 출신인 Cindy는 현재 조지아주 트빌리시에 거주하고 있습니다. 그녀는 사우스 오스트레일리아 대학에서 커뮤니케이션 및 미디어 연구 학사 학위를 취득했으며 저널리즘과 글쓰기 분야에서 XNUMX년 간의 경험을 갖고 있습니다. 다음을 통해 그녀에게 연락하세요. [이메일 보호] 보도 자료, 발표 및 인터뷰 기회가 있습니다.
더 많은 기사
Cindy는 언론인입니다. Metaverse Post, 관련 주제를 다루는 web3, NFT, metaverse 및 AI, 인터뷰를 중심으로 Web3 업계 플레이어. 그녀는 30명이 넘는 최고 경영진과 이야기를 나누며 그들의 귀중한 통찰력을 독자들에게 전했습니다. 원래 싱가포르 출신인 Cindy는 현재 조지아주 트빌리시에 거주하고 있습니다. 그녀는 사우스 오스트레일리아 대학에서 커뮤니케이션 및 미디어 연구 학사 학위를 취득했으며 저널리즘과 글쓰기 분야에서 XNUMX년 간의 경험을 갖고 있습니다. 다음을 통해 그녀에게 연락하세요. [이메일 보호] 보도 자료, 발표 및 인터뷰 기회가 있습니다.
