ヴィタリック・ブテリンとMIRI所長ネイト・ソアレスがAIの危険性を掘り下げる: 人工知能は人類の絶滅を引き起こす可能性があるか?
簡単に言えば
イーサリアム創設者のヴィタリック・ブテリン氏とマシンインテリジェンス研究所所長のネイト・ソアレス氏が本日ズザルでAIのリスクについて議論した。
Zuzalu は、ブテリンと暗号通貨コミュニティの仲間によって始められたモンテネグロのポップアップ シティ コミュニティです。
ディスカッションの中で、ソアレス氏は、AI が地球上のすべての生命を滅ぼす可能性が非常に高い理由についての見解を共有しました。
イーサリアム創設者ヴィタリック・ブテリン氏、マシンインテリジェンス研究所（MIRI）所長 ネイト・ソアレス 今日ZazaluでAIのリスクについて議論しました。
Zuzalu は、ブテリン氏と仮想通貨コミュニティの仲間たちが立ち上げたモンテネグロの「ポップアップ シティ コミュニティ」で、25 月 25 日から 200 月 XNUMX 日まで開催されます。このイベントには、学び、創造し、より長く健康に生きたいという共通の願望を持つ XNUMX 人の中心住民が集まります。生活を維持し、自立したコミュニティを構築します。 このコミュニティでは、XNUMX か月間にわたり、合成生物学、プライバシー技術、公共財、長寿、ガバナンスなど、さまざまなトピックに関する多数のイベントも主催しています。
議論 ソアレス氏が、バークレーを拠点とする非営利団体 MIRI での活動を紹介するところから始まりました。この非営利団体は、彼が運営していた期間よりも長く存在しています。 過去 20 年間、MIRI は AI 開発を確実に成功させるための基礎を築くよう努めてきました。 ヴィタリック氏は、この議論を通じて、人類の歴史の中で発表された他のテクノロジーと比較して、AI を独特のリスクにしている要因に対処したいと考えました。
AIが人類を絶滅させる確率
ヴィタリック氏は、AI リスクのテーマに長い間興味を持っており、AI が失敗した場合、地球上のすべての生命が存在しなくなる可能性が 0.5% ～ 1% であると確信していたことを思い出したと述べました。人類の滅亡、あるいは人類文明の不可逆的な崩壊。
ソアレス氏の観点から見ると、人類の絶滅は、AI テクノロジーの危険な開発の既定の結果のように見えます。 それを進化と比較すると、人類の発展は単なる進化の変化よりも早く起こっているように見える、と彼は言いました。 AI と人間の進化のプロセスの両方において、主要な最適化 (考慮すべき目的が複数ある場合に問題に対する最適な解決策を見つけるプロセス) が変化していました。 人類は、自然選択によって遺伝子に情報を組み込まれるのではなく、口伝えによって知識を伝えることができる段階に達しました。
「AI は究極的には巨視的な最適化プロセスを再度切り替えることができるケースです。 最適化という点では人間よりもはるかに優れた成果を上げることができると思います。 環境を最適化することに関しては、私たちはまだかなり愚かだと思います。 AI では、自動化された最適化が宇宙の巨視的な特徴を決定する力となる、ある種の相転移を経験しています」とソアレス氏は説明しました。
同氏は、その未来がどのようになるかは、最適化プロセスが最適化しているものであり、ほとんどの最適化対象には人間が入り込む余地がないため、人類にとって有益ではなくなる可能性が高いと付け加えた。
人間はAIを訓練して良いことを行うことができるでしょうか?
ブテリン氏は、AIを訓練し、最適化する方法を教えるのは人間であると指摘した。 必要に応じて、マシンの最適化方法を変更する可能性があります。 これに対してソアレス氏は、AIを訓練して善を行うことは原理的には可能だが、単にAIを訓練して目的を達成するということは、AIがそれを行うか、そうしたいという意味ではなく、結局は欲望に尽きると述べた。
ブテリン氏は、人間の好みについての大量のデータを取得する大規模な言語モデルでの強化学習について指摘し、既存の知能は人間の好みをよりよく理解できるようになっているのに、なぜそれが機能しないのかと尋ねました。
「私たちの動機を理解することと、気にすることの間には大きな隔たりがあります。」
ソアレスは答えた。
「私の主張は、大規模な言語モデルや AI が人間の好みの細部を理解できないということではありません。 私の主張は、人間の好みの細部を理解することと、善のために最適化することは大きく異なるということです」と彼は付け加えた。
聴衆の一人は、AIと人間を比較し、人工知能と同様に、人間も自分が何をしているのか、何を予測しているのか理解できない傾向があり、それが危険でもあると述べた。 それから彼はソアレスに、自分が宇宙人のふりをして、なぜ人間が存在してはいけないのかを説明するように頼んだ。
「神のような力や未来を制御する力を一個人の人間に与えることに私は興奮しません。 それとは別に、私はランダムに役割を与えられた AI よりも、XNUMX 人の人間に権力を与えるほうがはるかに興奮すると思います。 私はAIを導入すべきではないと言っているわけではありません。 私はそれを正しくする必要があると言っています。 私たちは彼らに、トランスヒューマンがエイリアンなどとプラスサム取引を行っている、楽しさと幸福に満ちた文明の繁栄に関心を持ってもらう必要がある」とソアレス氏は明言した。 「さまざまなことを考慮した強力な最適化プロセスを構築すると、宇宙のすべての価値が破壊される可能性があります。」
さらに、人間が価値を置くものは普遍的に説得力のあるものではなく、道徳はそれを研究するあらゆる精神が追求するものではないと付け加えた。 むしろ、それは、祖先の環境で人間に生殖能力が優れるようになった、人間に組み込まれた衝動の結果であり、人間に特有のものです。
結局のところ、ソアレス氏は、楽しさ、幸福、繁栄する未来と矛盾する、同様にインテリジェントな、あるいはさらにインテリジェントなものを構築すべきではないと考えています。 その一方で、人類は軍拡競争中に最初の試みで楽しい未来を最適化するような友好的な超知性を構築すべきではないとも述べた。 短期的には、AI は人類が実際に何を望んでいるのかを理解するために時間とスペースを買うのを支援することに専念する必要があります。
ChatGPT 生物圏全体を消費するわけではない
AI は現在、予測などの特定の目標を達成するために構築されているため、ブテリン氏は、もし AI が目標主導型でなかったらどうなるだろうかと尋ねました。 ソアレス氏は、安全で無能なAIを構築するのは簡単で、近い将来、有能だが異なることを追求するAIが登場するかもしれないと述べた。 彼は考えていない ChatGPT そのレベルの能力ではないため、生物圏全体を消費することになります。
ソアレス氏は、科学技術の開発や研究の自動化など、興味深い AI アプリケーションのほとんどは、一定の目標を追求する必要があるようだと指摘しました。
「もらえるのは間違いない」 GPT きちんとした俳句を書くことはできても、小説を書くことはできません。 現在のシステムの限界は、少なくとも私にとって、システムがこれらのより深い目標を追求していないという事実に関係しています。」
続きを読む：
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
シンディはジャーナリストです Metaverse Postに関連するトピックをカバーしています。 web3, NFT、metaverse、AIに関するインタビューを中心に紹介します。 Web3 業界関係者。彼女は 30 人以上の経営幹部と話をし、その貴重な洞察を読者に届けています。シンガポール出身のシンディは、現在ジョージア州トビリシに拠点を置いています。彼女は南オーストラリア大学でコミュニケーションとメディア研究の学士号を取得しており、ジャーナリズムと執筆において XNUMX 年の経験があります。彼女に連絡するには、 [メール保護] プレス ピッチ、発表、インタビューの機会を提供します。
より多くの記事
シンディはジャーナリストです Metaverse Postに関連するトピックをカバーしています。 web3, NFT、metaverse、AIに関するインタビューを中心に紹介します。 Web3 業界関係者。彼女は 30 人以上の経営幹部と話をし、その貴重な洞察を読者に届けています。シンガポール出身のシンディは、現在ジョージア州トビリシに拠点を置いています。彼女は南オーストラリア大学でコミュニケーションとメディア研究の学士号を取得しており、ジャーナリズムと執筆において XNUMX 年の経験があります。彼女に連絡するには、 [メール保護] プレス ピッチ、発表、インタビューの機会を提供します。
