大規模言語モデルについて知っておくべき 8 つのこと
簡単に言えば
大規模な言語モデル (LLM) は、自然言語のニュアンスを調査し、機械がテキストを理解して生成する能力を向上させ、音声認識や機械翻訳などのタスクを自動化するために使用されます。
LLM を管理するための簡単な解決策はありませんが、LLM は人間と同じように機能します。
自然言語処理の開発とビジネスでの使用の急増に伴い、大規模な言語モデルへの関心が高まっています。 これらのモデルは、自然言語のニュアンスを調査し、機械がテキストを理解して生成する能力を向上させ、音声認識や機械翻訳などのタスクを自動化するために使用されます。 大規模言語モデル (LLM) について知っておくべき XNUMX つの重要事項を以下に示します。
コストが上昇し続けるにつれて、LLMはより「有能」になります
LLM は、クールなイノベーションがなくても、コストの増加に伴い、より「有能」になることが予想されます。 ここでの主なことは予測可能性です。これは、に関する記事で示されています GPT-4: 最終的な予算の 0.1% の予算で XNUMX ～ XNUMX 個の小さなモデルを教え、これに基づいて巨大なモデルの予測を行いました。 XNUMX つの特定のタスクのサブサンプルに対する困惑とメトリックの一般的な評価では、このような予測は非常に正確でした。 この予測可能性は、運用のために LLM に依存している企業や組織にとって重要です。LLM はそれに応じて予算を立て、将来の費用を計画することができるからです。 ただし、コストの増加は機能の改善につながる可能性がありますが、改善率は最終的に頭打ちになる可能性があり、進歩を続けるために新しいイノベーションに投資する必要があることに注意することが重要です.
その方法を簡単に見てみましょう GPT トレーニングコストの上昇に応じてモデルが適応する
ただし、特定の重要なスキルは、増加の副産物として予期せず出現する傾向があります。 研修費用 (より長いトレーニング、より多くのデータ、より大きなモデル) — モデルがいつ特定のタスクを実行し始めるかを予測することはほとんど不可能です。 このトピックについては、 記事 開発の歴史について GPT モデル。 この図は、さまざまなタスクにわたるモデルの品質の向上の分布を示しています。 さまざまなタスクの実行方法を学習できるのは大きなモデルだけです。 このグラフは、サイズのスケールアップによる重大な影響を強調しています。 GPT モデル さまざまなタスクでのパフォーマンスについて。 ただし、これには計算リソースの増加と環境への影響が伴うことに注意することが重要です。
LLMs は、外界の表現を使用してボードゲームをプレイすることを学びます
LLM は、外界の表現を学習して使用することがよくあります。 ここには多くの例があり、そのうちの XNUMX つを次に示します。 訓練されたモデル 競技場の写真を見ずに、個々の動きの説明に基づいてボード ゲームをプレイし、それぞれの動きにおけるボードの状態の内部表現を学習します。 これらの内部表現は次の目的で使用できます。 未来を予測する 動きと結果を再現し、モデルが高いレベルでゲームをプレイできるようにします。 表現を学習して使用するこの能力が鍵となります 機械学習の側面 と人工知能。
LLM を管理するための簡単な解決策はありません
LLM の動作を制御する信頼できる方法はありません。 さまざまな問題の理解と軽減にはある程度の進歩がありましたが（ ChatGPT および GPT-4 フィードバックの助けを借りて)、それらを解決できるかどうかについてはコンセンサスがありません。 将来さらに大規模なシステムが作成されると、これが巨大な、潜在的に壊滅的な問題になるのではないかという懸念が高まっています。 したがって、研究者は、価値調整や報酬エンジニアリングなど、AI システムが人間の価値観や目標と確実に一致するようにするための新しい方法を模索しています。 しかし、それを保証するのは依然として困難な課題です。 LLM の安全性と信頼性 複雑な現実世界のシナリオで。
専門家はLLMがどのように機能するかを説明するのに苦労しています
専門家は、LLM の内部の仕組みをまだ解釈できません。 モデルが結果を生成する際に、どのような種類の知識、推論、または目標を使用するかを満足のいく方法で述べることができる手法はありません。 この解釈可能性の欠如は、LLM の決定の信頼性と公平性に関する懸念を引き起こします。特に、刑事司法や信用スコアリングなどのリスクの高いアプリケーションではそうです。 また、より透明で説明責任のある AI モデルを開発するためのさらなる研究の必要性も強調しています。
LLMは人間と同じくらい有能です
LLM は主に次のような訓練を受けていますが、 文章を書くときに人間の行動を模倣する、彼らは多くのタスクで私たちを超える可能性を持っています。 これはチェスや囲碁をプレイするときにすでに見られます。 これは、人間が太刀打ちできないスピードで膨大な量のデータを分析し、その分析に基づいて意思決定を行う能力によるものです。 ただし、LLM には人間が持つ創造性と直観力がまだ欠けているため、多くのタスクには適していません。
LLM は単なる「なんでも屋」以上のものでなければなりません
LLM は、作成者の価値、またはインターネットからの選択でエンコードされた価値を表現してはなりません。 固定観念や陰謀論を繰り返したり、誰かを怒らせようとしたりしてはなりません。 代わりに、LLM は、文化的および社会的な違いを尊重しながら、偏りのない事実に基づく情報をユーザーに提供するように設計する必要があります。 さらに、定期的なテストと監視を受けて、これらの基準を引き続き満たしていることを確認する必要があります。
モデルは、第一印象に基づいて人々が考えるよりも「賢い」
第一印象に基づくモデルの能力の推定は、誤解を招くことがよくあります。 多くの場合、適切なプロンプトを考え出し、モデルを提案し、場合によっては例を示す必要があります。 つまり、一見したよりも「スマート」です。 したがって、モデルに公平な機会を与え、最高のパフォーマンスを発揮するために必要なリソースを提供することが重要です。 適切なアプローチをとれば、不適切に見えるモデルでも、その機能に驚かされることがあります。
BIG-Bench データセットの 202 個のタスクのサンプルに焦点を当てると (特別にテストが困難に作られています) 言語モデル from と to)、原則として (平均して)、モデルはスケールの増加に伴って品質の向上を示しますが、個別にタスクのメトリクスは次のことが可能です。
- 徐々に改善し、
- 劇的に改善し、
- 変わらず、
- 減少、
- 相関を示しません。
これらすべてが、将来のシステムのパフォーマンスを自信を持って推定することの不可能性につながります。 緑色の部分は特に興味深いです。これはまさに、品質指標が理由もなく急激に上昇する場所です。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
