Rilis PyTorch 2.0: Pembaruan Besar pada Kerangka Pembelajaran Mesin
Singkatnya
PyTorch telah merilis PyTorch 2.0, pembaruan besar untuk kerangka kerja pembelajaran mesin sumber terbukanya dengan fitur dan peningkatan baru yang membuatnya lebih kuat dan mudah beradaptasi.
Pembaruan mencakup Transformer API performa tinggi dan dukungan untuk pelatihan dan inferensi menggunakan scaled dot product attention (SPDA).
PyTorch telah mengumumkan perilisan PyTorch 2.0, kerangka pembelajaran mesin sumber terbuka, yang sangat dinantikan oleh komunitas ilmu data. Tim menghadirkan beberapa fitur dan peningkatan baru ke platform, meningkatkan potensi dan kemampuan beradaptasi.
Framework ini digunakan untuk visi komputer dan aplikasi pemrosesan bahasa alami dan berada di bawah payung Linux Foundation. Ini memberikan komputasi tensor dengan akselerasi GPU dan jaringan saraf dalam yang dibangun di atas diferensiasi otomatis. Beberapa perangkat lunak pembelajaran mendalam, seperti Tesla Autopilot, Pyro, Transformers, PyTorch Lightning, dan Catalyst, dibangun di atas PyTorch.
PyTorch 2.0 mengimplementasikan kinerja tinggi baru API transformator, yang bertujuan untuk membuat pelatihan dan penerapan model Transformer canggih menjadi lebih terjangkau. Rilis ini juga mencakup dukungan kinerja tinggi untuk pelatihan dan inferensi menggunakan arsitektur kernel khusus untuk perhatian produk dot yang diskalakan (SPDA).
Pada saat yang sama, PyTorch dirilis OpenXLA dan PyTorch/XLA 2.0. Kombinasi PyTorch dan XLA menyediakan tumpukan pengembangan yang dapat mendukung pelatihan model dan inferensi. Ini dimungkinkan karena PyTorch adalah pilihan populer di AI, dan XLA memiliki fitur kompiler yang sangat baik. Untuk meningkatkan tumpukan pembangunan ini, akan ada investasi di tiga bidang utama.
Untuk melatih model besar, PyTorch/XLA berinvestasi dalam fitur-fitur seperti pelatihan presisi campuran, performa runtime, sharding model yang efisien, dan pemuatan data yang lebih cepat. Beberapa fitur ini sudah tersedia, sementara yang lain akan dirilis akhir tahun ini, memanfaatkan tumpukan kompiler OpenXLA yang mendasarinya.
Untuk inferensi model, PyTorch/XLA berfokus untuk menghadirkan kinerja kompetitif dengan Dynamo dalam rilis PyTorch 2.0. Fitur berorientasi inferensi tambahan mencakup dukungan penyajian model, Dynamo untuk model besar yang dipecah, dan kuantisasi melalui Torch.Export dan StableHLO.
Dalam hal integrasi ekosistem, PyTorch/XLA memperluas integrasi dengan Hugging Face dan PyTorch Lightning sehingga pengguna dapat memanfaatkan fitur yang akan datang dan fitur OpenXLA hilir melalui API yang sudah dikenal. Ini termasuk dukungan untuk FSDP di Hugging Face dan Quantization di OpenXLA.
PyTorch/XLA adalah proyek sumber terbuka, yang berarti Anda dapat berkontribusi untuk pengembangannya dengan melaporkan masalah, mengirimkan permintaan penarikan, dan mengirimkan permintaan komentar (RFC) di GitHub.
Baca lebih lanjut:
- China berencana untuk meningkatkan VR menjadi $48 miliar pada tahun 2026
- Gedung Putih merilis kerangka kerja komprehensif untuk regulasi aset digital, termasuk kripto dan NFTs
- Stability AI mengumpulkan $101 juta, menutup penilaian pada $1 miliar
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Agne adalah jurnalis yang meliput tren dan perkembangan terbaru di metaverse, AI, dan Web3 industri untuk Metaverse Post. Kecintaannya pada bercerita telah membawanya melakukan banyak wawancara dengan para ahli di bidang tersebut, selalu berusaha mengungkap cerita yang menarik dan memikat. Agne memegang gelar Sarjana Sastra dan memiliki latar belakang luas dalam menulis tentang berbagai topik termasuk perjalanan, seni, dan budaya. Dia juga menjadi sukarelawan sebagai editor di organisasi hak-hak hewan, di mana dia membantu meningkatkan kesadaran tentang masalah kesejahteraan hewan. Hubungi dia di [email dilindungi].
lebih artikel
Agne adalah jurnalis yang meliput tren dan perkembangan terbaru di metaverse, AI, dan Web3 industri untuk Metaverse Post. Kecintaannya pada bercerita telah membawanya melakukan banyak wawancara dengan para ahli di bidang tersebut, selalu berusaha mengungkap cerita yang menarik dan memikat. Agne memegang gelar Sarjana Sastra dan memiliki latar belakang luas dalam menulis tentang berbagai topik termasuk perjalanan, seni, dan budaya. Dia juga menjadi sukarelawan sebagai editor di organisasi hak-hak hewan, di mana dia membantu meningkatkan kesadaran tentang masalah kesejahteraan hewan. Hubungi dia di [email dilindungi].
