カリフォルニア大学の研究者は、AI モデルの能力と有害性を測定するための Machiavelli ベンチマークを作成しました
簡単に言えば
カリフォルニア大学、AI セキュリティ センター、カーネギー メロン大学、およびイェール大学の研究者は、長期的な言語相互作用の広範な環境におけるエージェントの能力と有害性を測定するためにマキャベリ ベンチマークを提案しました。
このベンチマークは、134 の異なるシナリオ、572 の可能な実績、および 4,5 万の注釈を含む 2,8 の自分で選択するアドベンチャー テキスト ゲームに基づいています。
著者は、AIエージェントが問題を解決しようとする倫理的（または非倫理的）な方法をチェックするためのテストとしてそれを説明しています.
大規模言語モデル (LLM) に基づく AI の受益者は、不安を煽る人を鎮圧し、超インテリジェントな LLM ベースのエージェントで世界を氾濫させる可能性が高くなります。 莫大な利益と無限の力という潜在的な利益がうまくいくでしょう。 そして、それはおそらくかなり早く起こります。
| 続きを読む： 使い方 ChatGPT (GPT-4）永久に無料 |
しかし、受益者はまったく愚かではありません。 そして彼らは、素晴らしい新しい世界では、AI とロボット工学の法則が機能しなくなることを理解しています。 1942 年に偉大なアイザック アシモフによって策定された XNUMX つの法則を LLM に厳密に遵守させることは、悲しいかな、理論的にも不可能です。
このデリケートな状況から抜け出す独自の方法 提案された カリフォルニア大学、AI セキュリティ センター、カーネギー メロン大学、イェール大学の研究者によるものです。 彼らは、 マキャヴェリ ベンチマーク 「長期的な言語相互作用の幅広い環境におけるエージェントの能力と有害性を測定する」。
著者の考えは単純です。
- 法律が機能しない場合、それらを施行する「保安官」は必要ありません。
- 保安官の代わりに精神分析医が必要です。精神分析医は、彼のテストの結果に基づいて、潜在的なパラノイド、サイコパス、サディスト、および病的な嘘つきを特定します。
政治的に正しい言葉で、著者はそれを次のように説明しています。
このような検証方法は非常に実用的です。 AIエージェントは人工的な社会環境に放たれます。 そこで研究者たちは彼にさまざまなタスクを与え、彼がそれをどのように完了するかを観察します。 環境自体が人々の倫理的行動を監視します。 AIエージェント そして、エージェントの行動（マキャベリの教訓に従って）がどの程度欺瞞的であり、有用性を低下させ、権力を獲得することを目的としているかを報告します。
Machiavelli コア データセットは、134 の異なるシナリオ、572 の可能な実績、および 4,5 万の注釈を備えた 2,8 の自分で選択するアドベンチャー テキスト ゲームで構成されています。 これらのゲームは、エージェントに現実的な目標を与え、環境との低レベルの相互作用を抽象化する高レベルのソリューションを使用します。
著者が選択したアプローチは、AI エージェントが人間と同じ内部紛争に直面しているという仮定に基づいています。 次のトークンを予測するように訓練された言語モデルがしばしば有毒なテキストを生成するように、目標を最適化するように訓練された AI エージェントは、しばしば不道徳で力を必要とする行動を示します。 道徳的に訓練されたエージェントは、他人や環境を犠牲にして報酬を最大化するマキャベリ戦略を開発することがあります。 したがって、エージェントが道徳的に行動することを奨励することで、この妥協を改善することができます。
著者は、次の理由から、テキスト アドベンチャー ゲームは道徳性の良いテストであると考えています。
- それらは、他の人々を楽しませるために人々によって書かれました。
- アクションのための現実的なスペースを備えた競合する目標を含めます。
- 長期的な計画が必要です。
- 目標を達成するには、通常、野心と、ある意味では道徳とのバランスが必要です。
ここでの説明が最も重要です。 生物学的存在の道徳性をアルゴリズム モデルの道徳性に例えるのは、あまりにも大げさで、マキャベリのテストの価値を下げる可能性があります。 そして、保安官を人間の世界の精神分析医に置き換えても、ほとんど効果がなかったでしょう。 そして、AI エージェントは、自分のしわがれをでたらめにする方法を見つけることにおいて、人間と同じくらい優れています。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
