研究者たちは大規模言語モデルの「新たな能力」の概念に挑戦する
簡単に言えば
AGI の黙示録は、突然の大規模な言語モデルの現象による懸念です 能力を発揮する 小型モデルにはないようです。
この現象は「大規模言語モデルの新たな能力」と呼ばれます。
記事「大規模言語モデルの創発能力は蜃気楼か?」の著者彼らは、新たな能力の効果は蜃気楼ではなく、むしろタスクを実行する能力の予測可能な成長であると主張しています。
彼らは、ビッグベンチの問題の少なくとも 92% は大規模なモデルに対して突然のブレークスルーをもたらさず、モデルのサイズが大きくなるにつれてモデルの品質がスムーズかつ予測どおりに向上することを示しています。
大規模な言語モデルの潜在的な機能に関する最近の調査で、研究者たちは「新たな能力」という概念に挑戦し、その機能のより予測可能な側面に光を当てています。 「」というタイトルの記事大規模言語モデルの新たな能力の現実を明らかにする」は、これらのモデルが高度なスキルを自発的に習得するという誤解につながった指標の誤解に注目を集めています。
の概念 "新たな能力」などの大規模な言語モデルのコンテキストでは、 GPT シリーズでは、これらのモデルが人間の意識に似た予期せぬ能力を開発する可能性についての懸念が高まっています。 この論文は、これらの仮定はモデルの実際の動作と機能についての誤った理解に基づいていると主張します。
より大きなモデルが抽象的な推論、問題解決、さらにはユーモアなどの新たな能力を獲得しているように見える一般的に観察される現象は、「大規模言語モデルの新たな能力」と呼ばれています。 記事の著者らは、これらの能力は見た目ほど自然発生的に生まれたものではなく、むしろ誤解を招く評価基準の結果であると主張している。
研究者らは、彼らの主張を説明するために、「なぞなぞを推測する」というタスクを検討します。この問題では、言語モデルが自然言語のなぞなぞを理解し、自然言語で正しい答えを返す必要があります。 従来、応答の品質はバイナリ メトリックを使用して評価されてきました。応答には、正解と完全に一致する場合にはスコア 1 が割り当てられ、そうでない場合にはスコア 0 が割り当てられます。
問題の核心は、タスクの複雑さとモデル パラメーターの数に対するメトリクスの感度にあります。 研究者らは、この二値指標が次のような結果をもたらすことを明らかにしました。 欺瞞的な認識 「新たな能力」のこと。 小規模なモデルは、このメトリックに関して無視できる精度 (eps) を示すことがよくありますが、より大きなモデル、特にパラメーター数が多いモデルは、顕著な精度レベル (acc > 0.5) を達成しているように見えます。
この記事は、この明らかな能力の変化は、モデルが自発的に複雑なスキルを獲得したことを示すものではないと主張しています。 代わりに、より微妙な応答を理解し、生成するモデルの能力は、出力のより綿密な評価から生まれます。 研究者らは、文字列の正確な一致ではなく、確率的な一致と意味の一貫性に焦点を当てることで、 モデルの進歩 パフォーマンスでは、サイズに関係なく、より論理的な軌跡をたどります。
パラメーターの変化によるモデルのパフォーマンスの進化の調査
分析調査により、研究者たちは、知覚される「新たな能力」の背後にある微妙なメカニズムを明らかにします。 大規模な言語モデル。 この研究では、モデルのパフォーマンスを評価する際の超離散メトリクスの影響に疑問を呈し、モデル パラメーターが拡大する際の超離散メトリクスの機能をより予測的に理解する方法を明らかにしています。
拡張的な言語モデルにおける「新たな能力」という一般的な概念は議論を惹きつけ、潜在的なブレークスルーについての懸念を引き起こしています。 この研究は、この現象の根底にある力学を解き明かし、これらのモデルが実際に突然の前例のない機能を発揮するのか、それともこれらの認識された進歩が別の原因に起因するのかを解読することを目指しています。
研究の中心となるのは、モデルのパフォーマンスを評価するために使用される指標の綿密な評価です。 研究者らは、超離散メトリクス、特に文字列の正確な一致を判定する従来のバイナリメトリクスの使用は、大規模なデータの解釈を歪める可能性があると主張している。 言語モデルの能力。 この研究では、モデルが生成した回答の確率分布がモデル パラメーターのスケールに応じてどのように変化するかを綿密に分析しています。
「新たな能力」という概念に反して、この研究はより体系的な傾向を明らかにしています。 モデルのサイズが大きくなるにつれて、適切な答えに高い確率を割り当て、不正確な答えに低い確率を割り当てる能力が向上します。 これは、幅広いサイズにわたって問題を適切に解決するモデルの能力が一貫して強化されていることを反映しています。 本質的に、この研究は、モデルの学習プロセスが適切な順序に従っていることを示唆しています。defi突然の飛躍ではなく、改善の軌道を描いた。
著者らは、離散指標を連続指標に置き換えることを提案することで、パラダイム シフトを導入しています。 この変更により、パフォーマンスの進化がより明確に把握できるようになります。 分析を通じて、研究者らは、 ビッグベンチの問題 モデルのサイズが拡大するにつれて、スムーズかつ予測可能な品質の向上が見られます。 この発見は、大規模なモデルでは突然のブレークスルーが発生するという概念に疑問を投げかけ、代わりに、より緩やかで予想される進歩を強調しています。
この研究では、その主張を検証するために洞察を拡張しています。 これは、同じ「新たな能力」効果を従来のオートエンコーダーを使用して人工的にシミュレートできることを実証しており、指標の選択が知覚される結果に大きな影響を与えることを示唆しています。 この発見は研究の含意の範囲を広げ、言語モデルのみを超えた関連性を示しています。
研究者らは、その結果はそうではないことを強調している。 defi大規模な言語モデルにおける「新たな能力」や意識の可能性を否定的に否定します。 しかし、彼らの発見は、研究者が微妙な視点でそのような主張に取り組むことを奨励しています。 この研究は、急いで外挿して極端な結論を導くのではなく、綿密な調査と包括的な分析の重要性を強調しています。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
