ある研究者によると、今日の大規模な言語モデルは小規模なモデルになるだろう OpenAI
Hyung Won Chung 氏は、以前は Google Brain に雇用され、現在は OpenAI チームは、45 年の大規模言語モデルの世界について探求する、示唆に富んだ 2023 分間のスピーチを行いました。Chung 氏はこの分野での経験があります。 彼は Google 論文の最初の著者でした。スケーリング命令 - 微調整された言語モデル、」では、大規模な言語モデルが指示に従うようにどのようにトレーニングできるかを検討します。
Chung 氏は、広範な言語モデルの世界は動的であると強調します。 LLM の世界では、基本的な前提が通常安定している従来の分野とは対照的に、指導原則は常に進化しています。 次の世代のモデルでは、現在不可能または非実用的であると考えられていることが可能になる可能性があります。 同氏は、LLM の機能に関するほとんどの主張を「今のところ」と前置きすることの重要性を強調しています。 モデルはタスクを実行できます。 まだそうなっていないだけです。
今の大型モデルも数年後には小型モデルになるだろう
チョン・ヒョンウォン OpenAI
細心の注意を払った文書化と再現性の必要性 AI研究 これはチョン氏のスピーチから学ぶべき最も重要な教訓の一つだ。 この分野が発展するにつれて、進行中の作業を徹底的に文書化することが重要です。 この戦略により、実験を迅速に再現して再検討できることが保証され、研究者は以前の研究を基にして作業を進めることができます。 この実践を通じて、初期の研究では実用的ではなかった機能が将来開発される可能性があることが認められています。
Chung 氏は講演の一部を、データとモデルの並列処理の複雑さの解明に捧げます。 AI の技術的側面をさらに深く掘り下げることに興味がある人にとって、このセクションは、これらの並列処理技術の内部動作についての貴重な洞察を提供します。 最適化にはこれらのメカニズムを理解することが重要です 大規模モデルのトレーニング.
Chung 氏は、LLM の事前トレーニングに使用されている現在の目的関数である最尤度が、容量の 10,000 倍など、真に大規模なスケールを達成する場合のボトルネックになると主張しています。 GPT-4。 機械学習が進むにつれて、手動で設計された損失関数はますます制限されます。
Chung 氏は、AI 開発における次のパラダイムには、個別のアルゴリズムを通じて機能を学習することが含まれると示唆しています。 このアプローチはまだ初期段階ではありますが、現在の制約を超えた拡張性が期待できます。 また、課題はまだ残っているものの、この方向へのステップとして、ルール モデリングによるヒューマン フィードバックからの強化学習 (RLHF) などの継続的な取り組みも強調しています。
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
