苦い教訓: なぜなのか ChatGPT 手作りの計算技術に勝利
簡単に言えば
リッチ・サットン教授の 2019 年のエッセイ「苦い教訓」では、次のような AI の大幅な進歩が予測されています。 ChatGPT/GPT-4 および OpenAIの方法論。
この文章では、人間の直観を介さずに計算手法がパフォーマンスを支配するという AI のパラダイム シフトが強調されています。
しかし、多くの 研究者たちは直感に基づいたアプローチを追求し続けています、計算主導の手法の可能性を見落としています。
作文 "苦いレッスン」は、2019 年にリッチ サットン教授によって書かれ、それ以来、機械学習の専門家や AI の未来を理解することに関心のある人々にとって重要性を増しています。 この文書で提供される洞察は、AI の重要な発展を予見します。 ChatGPT/GPT-4 そして、の受け入れ OpenAIの方法論.
「The Bitter Lesson」の核心は、AI 分野におけるパラダイムシフトを探ります。 これまで、AI を研究している科学者は、高度な AI の開発には、「帰納的バイアス」としても知られる、驚くべき独特のアプローチが必要であると考える傾向がありました。 このアイデアは、専門的な情報の追加や特定の問題の直感的な理解を暗示しており、それによってマシンの解決経路が指示されます。
「The Bitter Lesson」の中心テーマは、人工知能研究におけるパラダイムシフトを考察します。 これまで、AI を研究している研究者は、高度な AI を作成するには、驚くべきユニークなアプローチが必要であると信じる傾向がありました。 このバイアスを「誘導バイアス」と呼びます。 この概念は、特定の問題に対する専門知識や直観的な洞察を追加し、それによってマシンの解決経路が指示されることを示唆しています。
しかし、繰り返されるパターンが明らかになりました。 研究者たちは、単にさらに追加するだけでよいことを繰り返し発見しました。 データと計算能力、これらの苦労して作られた方法によって生み出される成果を上回る可能性があります。 このパターンは XNUMX つの分野に特有のものではなく、チェス、囲碁、スタークラフト、そしておそらくネットサックにも現れました。 畳み込みニューラルネットワークたとえば、コンピュータ ビジョンの分野では、次のような手動のテクニックよりも優れたパフォーマンスを発揮します。 SIFT。 興味深いことに、SIFT の発明者は、研究を行っていたときにニューラル ネットワークが存在していれば、その行動方針を選択しただろうと後に述べています。 これと同じように、 LSTM はすべてのルールベースのシステムよりも優れたパフォーマンスを発揮しました 機械翻訳の分野で。 シンプルな「レイヤーを追加する」戦略を使用すると、 ChatGPT/GPT-4この傾向の代表的な例である は、計算言語学者によって作成された高度に開発されたモデルを超えることができました。
サットン氏の「苦い教訓」の核心は、人間の直感によって修正されない計算手法は、パフォーマンスの点で他のアプローチよりも優れていることが多いということです。 しかし、この理解はまだ広く受け入れられていません。 多くの研究者は依然として複雑で直感に基づいた戦略を追求しており、包括的な計算ベースのアプローチの可能性を無視していることがよくあります。
XNUMXつの理由 GPT 手作りの計算技術に勝利しました。
- スケーラビリティ: 計算手法は、特により多くのデータで強化された場合、技術の進歩に応じて進化および適応し、将来性が高まる可能性があります。
- 効率化: 計算とデータに基づく一般的な手法は、チェスや囲碁などのゲームから機械翻訳やコンピューター ビジョンに至るまで、さまざまな領域にわたって、人間の直感に基づく特殊な手法よりも優れたパフォーマンスを発揮してきました。
- 幅広い適用性: これらの一般的な計算主導の手法は多用途であり、ドメイン固有の調整を必要とせずにさまざまな分野に適用できます。
- 単純: raw に基づいて構築されたシステム 計算能力 また、データは人間の直感に基づいた複雑な調整を必要とせず、アプローチがシンプルになる傾向があります。
- 一貫したパフォーマンス：次のような例で示されているように、 ChatGPT/GPT-4、計算ベースのモデルは一貫した高いパフォーマンスを達成でき、多くの場合、特殊な方法を上回ります。
オリジナルのエッセイは、サットン教授の視点とこの AI の軌道を導く原則をより深く理解するための貴重なツールです。
この記事は Telegram チャンネルからインスピレーションを得たものです。ボリス再び。「
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
