Version PyTorch 2.0 : une mise à jour majeure du cadre d'apprentissage automatique
En bref
PyTorch a publié PyTorch 2.0, une mise à jour majeure de son framework d'apprentissage automatique open source avec de nouvelles fonctionnalités et améliorations qui le rendent plus puissant et adaptable.
La mise à jour inclut une API Transformer hautes performances et la prise en charge de la formation et de l'inférence à l'aide de l'attention au produit scalaire (SPDA).
PyTorch a annoncé la sortie de PyTorche 2.0, le cadre d'apprentissage automatique open source, très attendu par la communauté des sciences des données. L'équipe a fourni plusieurs nouvelles fonctionnalités et améliorations à la plate-forme, augmentant sa puissance et son adaptabilité.
Le framework est utilisé pour les applications de vision par ordinateur et de traitement du langage naturel et est sous l'égide de la Linux Foundation. Il fournit un calcul tenseur avec une accélération GPU et des réseaux de neurones profonds basés sur la différenciation automatique. Certains logiciels d'apprentissage en profondeur, tels que Tesla Autopilot, Pyro, Transformers, PyTorch Lightning et Catalyst, sont construits sur PyTorch.
PyTorch 2.0 implémente une nouvelle haute performance API de transformateur, qui vise à rendre la formation et le déploiement de modèles Transformer de pointe plus abordables. La version inclut également une prise en charge hautes performances pour la formation et l'inférence à l'aide d'une architecture de noyau personnalisée pour l'attention au produit scalaire (SPDA).
Au même moment, PyTorch libéré OpenXLA et PyTorch/XLA 2.0. La combinaison de PyTorch et XLA fournit une pile de développement qui peut prendre en charge à la fois la formation de modèles et l'inférence. Cela est possible car PyTorch est un choix populaire en IA et XLA possède d'excellentes fonctionnalités de compilateur. Pour améliorer cette pile de développement, des investissements seront réalisés dans trois domaines principaux.
Pour former de grands modèles, PyTorch/XLA investit dans des fonctionnalités telles que la formation de précision mixte, les performances d'exécution, le partage efficace des modèles et le chargement plus rapide des données. Certaines de ces fonctionnalités sont déjà disponibles, tandis que d'autres seront publiées plus tard cette année, en tirant parti de la pile de compilateurs OpenXLA sous-jacente.
Pour l'inférence de modèle, PyTorch/XLA se concentre sur la fourniture de performances compétitives avec Dynamo dans la version PyTorch 2.0. Les fonctionnalités supplémentaires axées sur l'inférence incluent la prise en charge du service de modèle, Dynamo pour les grands modèles fragmentés et la quantification via Torch.Export et StableHLO.
En termes d'intégration de l'écosystème, PyTorch/XLA étend l'intégration avec Hugging Face et PyTorch Lightning afin que les utilisateurs puissent profiter des fonctionnalités à venir et des fonctionnalités OpenXLA en aval via des API familières. Cela inclut la prise en charge de FSDP dans Hugging Face et Quantization dans OpenXLA.
PyTorch/XLA est un projet open source, ce qui signifie que vous pouvez contribuer à son développement en signalant des problèmes, en soumettant des demandes d'extraction et en envoyant des demandes de commentaires (RFC) sur GitHub.
Lire la suite:
- La Chine prévoit de porter la réalité virtuelle à 48 milliards de dollars d'ici 2026
- La Maison Blanche publie un cadre complet pour la réglementation des actifs numériques, y compris la crypto et NFTs
- Stability AI lève 101 millions de dollars, clôture l'évaluation à 1 milliard de dollars
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Agne est une journaliste qui couvre les dernières tendances et développements dans le métaverse, l'IA et Web3 industries pour la Metaverse Post. Sa passion pour la narration l'a amenée à mener de nombreux entretiens avec des experts dans ces domaines, cherchant toujours à découvrir des histoires passionnantes et engageantes. Agne est titulaire d'un baccalauréat en littérature et possède une vaste expérience en rédaction sur un large éventail de sujets, notamment les voyages, l'art et la culture. Elle s'est également portée volontaire en tant que rédactrice pour une organisation de défense des droits des animaux, où elle a contribué à sensibiliser les gens aux problèmes de bien-être animal. Contactez-la au [email protected].
Plus d'articles
Agne est une journaliste qui couvre les dernières tendances et développements dans le métaverse, l'IA et Web3 industries pour la Metaverse Post. Sa passion pour la narration l'a amenée à mener de nombreux entretiens avec des experts dans ces domaines, cherchant toujours à découvrir des histoires passionnantes et engageantes. Agne est titulaire d'un baccalauréat en littérature et possède une vaste expérience en rédaction sur un large éventail de sujets, notamment les voyages, l'art et la culture. Elle s'est également portée volontaire en tant que rédactrice pour une organisation de défense des droits des animaux, où elle a contribué à sensibiliser les gens aux problèmes de bien-être animal. Contactez-la au [email protected].
