Facebook、AI トランスフォーマーのパフォーマンスを XNUMX 倍にする新しい方法を開発
簡単に言えば
Facebook は、トランスフォーマー アーキテクチャに基づいて、AI トランスフォーマーのパフォーマンスを XNUMX 倍にする新しい方法を開発しました。
新しい方法は、異なるブロックを処理する間のギャップで最も類似したパッチを見つけ、それらを組み合わせて計算の複雑さを軽減します。
Facebookは、 新しい方法 AI トランスフォーマーのパフォーマンスを XNUMX 倍にします。 その方法は Transformer アーキテクチャに基づく 書籍、記事、ブログなどの長いテキスト用に特別に設計されています。 新しい AI トランスフォーマーの目標は、 変圧器ベースのモデル 長いシーケンスの処理をより効率的かつ効果的にすることで、長い形式のテキストを改善します。 AI トランスフォーマーの結果は非常に有望であり、この新しい方法は、さまざまなタスクでトランスフォーマー ベースのモデルのパフォーマンスを向上させるのに役立つ可能性があります。
この新しい方法は、言語翻訳、要約、質問応答システムなどの自然言語処理タスクに大きな影響を与えることが期待されています。 また、より長く複雑なテキストを処理できる、より高度な AI モデルの開発につながることも期待されています。
画像を処理するために、最新のトランスフォーマーは画像をパッチ (通常は正方形: 下の gif を参照) にカットし、これらの粒子の表現を操作します。各粒子は「トークン」で表されます。 私たちが知っているように、トランスフォーマーは、これらのトークンピースが多いほど動作が遅くなり (これはテキストと画像の両方に適用されます)、最も一般的なトランスフォーマーは XNUMX 次関係を持ちます。 つまり、トークンが追加されるほど、処理が遅くなります。 この問題に対処するために、研究者は、階層型および適応型プーリングなど、画像処理に必要なトークンの数を減らすためのさまざまな手法を提案しています。 これらの方法は、計算コストを最小限に抑えながら、出力の品質を維持することを目的としています。
新しい方法は、異なるブロックを処理する間のギャップで最も類似したパッチを見つけ、それらを組み合わせて計算の複雑さを軽減します。 マージされたトークンのシェアはハイパーパラメーターです。 値が高いほど、品質は低くなりますが、加速も高くなります。 実験では、トークンの約 40% を 0.1 ～ 0.4% の品質損失でマージし、XNUMX 倍の加速を得ることが可能であることが示されています (したがって、メモリの消費量が少なくなります)。 この新しい方法は、画像処理の計算の複雑さを軽減するための有望なソリューションであり、最終出力の品質を損なうことなく、より高速で効率的な処理を可能にする可能性があります。
創意工夫と、何かがどのように機能するかを理解することに基づいたこのようなエンジニアリングのアプローチは、非常に魅力的に見えます。 また、Meta の開発者は、StableDiffusion の速度を上げるために、さらに多くの機能を提供すると約束しています。 変圧器はどこにでもあるので、このようなトリックをさまざまなモデルにすぐに実装できるのは素晴らしいことです。 これは、エンジニアリング ソリューションがさまざまな業界に広範な影響を与える可能性を示しています。 これらの進歩がどのように起こるかを見るのは興味深いでしょう トランスモデル 時間の経過とともに進化し、改善され続けます。
- メタ AI と Paperswithcode は、科学テキストでトレーニングされた最初の 120B モデル Galactica をリリースし、より正確で迅速な予測を可能にしました。 Galactica の目標は、研究者が重要なものと無関係なものを区別できるようにすることです。
関連ニュースをもっと読む：
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
