2023 年 4 月 04 日

PyTorch 2.0 リリース: 機械学習フレームワークのメジャーアップデート

公開日: 04 年 2023 月 1 日 08:04 更新日: 2023 年 1 月 11 日 XNUMX:XNUMX

簡単に言えば

PyTorch は PyTorch 2.0 をリリースしました。これは、オープンソースの機械学習フレームワークのメジャーアップデートであり、新機能と拡張機能により、より強力で適応性が高くなります。

このアップデートには、高パフォーマンスの Transformer API と、スケールドドットプロダクトアテンション (SPDA) を使用したトレーニングと推論のサポートが含まれています。

PyTorch 2.0 リリース: 機械学習フレームワークのメジャーアップデート

PyTorch はのリリースを発表しましたパイトーチ2.0は、データサイエンスコミュニティから大いに期待されていたオープンソースの機械学習フレームワークです。チームは、プラットフォームにいくつかの新機能と拡張機能を提供し、その効力と適応性を高めました。

このフレームワークは、コンピュータービジョンおよび自然言語処理アプリケーションに使用され、Linux Foundation の傘下にあります。これは、自動微分に基づいて構築された GPU アクセラレーションとディープニューラルネットワークを備えたテンソルコンピューティングを提供します。 Tesla Autopilot、Pyro、Transformers、PyTorch Lightning、Catalyst などのディープラーニングソフトウェアは、PyTorch の上に構築されています。

PyTorch 2.0 は新しい高性能トランス API、最先端の Transformer モデルのトレーニングと展開をより手頃な価格にすることを目的としています。このリリースには、スケールドドットプロダクトアテンション (SPDA) 用のカスタムカーネルアーキテクチャを使用したトレーニングと推論の高性能サポートも含まれています。

同時に、PyTorch リリース OpenXLA および PyTorch/XLA 2.0。 PyTorch と XLA の組み合わせにより、モデルのトレーニングと推論の両方をサポートできる開発スタックが提供されます。これが可能なのは、AI では PyTorch が一般的な選択肢であり、XLA には優れたコンパイラ機能があるためです。この開発スタックを改善するために、XNUMX つの主要な領域に投資が行われます。

大規模なモデルをトレーニングするために、PyTorch/XLA は混合精度トレーニング、ランタイムパフォーマンス、効率的なモデルシャーディング、高速なデータロードなどの機能に投資しています。これらの機能の一部はすでに利用可能ですが、基盤となる OpenXLA コンパイラスタックを活用して今年後半にリリースされる予定の機能もあります。

モデルの推論に関して、PyTorch/XLA は、PyTorch 2.0 リリースで Dynamo と競合するパフォーマンスを提供することに重点を置いています。その他の推論指向の機能には、モデルサービスのサポート、シャードされた大規模モデルの Dynamo、Torch.Export および StableHLO による量子化が含まれます。

エコシステムの統合に関しては、PyTorch/XLA は Hugging Face および PyTorch Lightning との統合を拡大しているため、ユーザーは使い慣れた API を通じて今後の機能と下流の OpenXLA 機能を利用できます。これには、Hugging Face での FSDP と OpenXLA での量子化のサポートが含まれます。

PyTorch/XLA はオープンソースプロジェクトです。つまり、問題を報告し、プルリクエストを送信し、コメントのリクエスト (RFC) を送信することで、その開発に貢献できます。 GitHubの.

PyTorch 2.0 には Accelerated Transformer が含まれており、最先端の Transformer モデルの効率的なトレーニングと展開を実用的にします。

この実装は、新しいジェネレーティブ AI モデルの速度と効率を提供するために最適化されました。

続きを読む： https://t.co/3FZQdf4TR0 pic.twitter.com/kQ1IjbVYnx
— PyTorch (@PyTorch) 2023 年 3 月 29 日

続きを読む：

タグ：

免責事項

に沿ってトラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポートページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。

著者について

アグネは、メタバース、AI、およびメタバースの最新のトレンドと開発をカバーするジャーナリストです。 Web3 のための産業 Metaverse Post。ストーリーテリングに対する彼女の情熱により、これらの分野の専門家に数多くのインタビューを実施し、常にエキサイティングで魅力的なストーリーを明らかにしようと努めています。アグネは文学の学士号を取得しており、旅行、芸術、文化など幅広いトピックについて執筆する幅広い経歴を持っています。彼女は動物愛護団体の編集者としてもボランティアとして参加し、動物福祉問題についての意識を高めることに貢献しました。彼女に連絡する [メール保護].

より多くの記事

アグネ・シメルマン