PyTorch 2.0 Release: Ein wichtiges Update des Machine Learning Framework
In Kürze
PyTorch hat PyTorch 2.0 veröffentlicht, ein wichtiges Update seines Open-Source-Frameworks für maschinelles Lernen mit neuen Funktionen und Verbesserungen, die es leistungsfähiger und anpassungsfähiger machen.
Das Update enthält eine leistungsstarke Transformer-API und Unterstützung für Training und Inferenz mithilfe von SPDA (Scaled Dot Product Attention).
PyTorch hat die Veröffentlichung von angekündigt PyTorch 2.0, das Open-Source-Framework für maschinelles Lernen, das von der Data-Science-Community mit Spannung erwartet wurde. Das Team lieferte mehrere neue Funktionen und Verbesserungen für die Plattform, um ihre Leistungsfähigkeit und Anpassungsfähigkeit zu erhöhen.
Das Framework wird für Computer-Vision- und Natural-Language-Processing-Anwendungen verwendet und steht unter dem Dach der Linux Foundation. Es bietet Tensor-Computing mit GPU-Beschleunigung und tiefen neuronalen Netzen, die auf automatischer Differenzierung aufbauen. Einige Deep-Learning-Software wie Tesla Autopilot, Pyro, Transformers, PyTorch Lightning und Catalyst bauen auf PyTorch auf.
PyTorch 2.0 implementiert eine neue High-Performance Transformer-API, das darauf abzielt, die Ausbildung und den Einsatz modernster Transformer-Modelle erschwinglicher zu machen. Die Version umfasst auch Hochleistungsunterstützung für Training und Inferenz unter Verwendung einer benutzerdefinierten Kernel-Architektur für skalierte Punktproduktaufmerksamkeit (SPDA).
Zur gleichen Zeit PyTorch freigegeben OpenXLA und PyTorch/XLA 2.0. Die Kombination aus PyTorch und XLA bietet einen Entwicklungsstack, der sowohl Modelltraining als auch Inferenz unterstützen kann. Dies ist möglich, weil PyTorch eine beliebte Wahl in der KI ist und XLA über hervorragende Compiler-Funktionen verfügt. Um diesen Entwicklungsstack zu verbessern, wird in drei Hauptbereiche investiert.
Um große Modelle zu trainieren, investiert PyTorch/XLA in Funktionen wie gemischtes Präzisionstraining, Laufzeitleistung, effizientes Modell-Sharding und schnelleres Laden von Daten. Einige dieser Funktionen sind bereits verfügbar, während andere später in diesem Jahr veröffentlicht werden und den zugrunde liegenden OpenXLA-Compiler-Stack nutzen.
Für die Modellinferenz konzentriert sich PyTorch/XLA darauf, mit Dynamo in der Version PyTorch 2.0 eine konkurrenzfähige Leistung zu liefern. Zu den weiteren inferenzorientierten Funktionen gehören die Modellbereitstellungsunterstützung, Dynamo für große Sharding-Modelle und die Quantisierung über Torch.Export und StableHLO.
In Bezug auf die Ökosystemintegration erweitert PyTorch/XLA die Integration mit Hugging Face und PyTorch Lightning, sodass Benutzer kommende Funktionen und die nachgelagerten OpenXLA-Funktionen über vertraute APIs nutzen können. Dazu gehört die Unterstützung für FSDP in Hugging Face und Quantisierung in OpenXLA.
PyTorch/XLA ist ein Open-Source-Projekt, was bedeutet, dass Sie zu seiner Entwicklung beitragen können, indem Sie Probleme melden, Pull-Requests einreichen und Requests for Comments (RFCs) senden GitHub.
Mehr lesen:
- China plant, VR bis 48 auf 2026 Milliarden US-Dollar zu steigern
- Das Weiße Haus veröffentlicht einen umfassenden Rahmen für die Regulierung digitaler Vermögenswerte, einschließlich Krypto und NFTs
- Stability AI Bringt 101 Millionen US-Dollar ein und schließt die Bewertung bei 1 Milliarde US-Dollar ab
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Agne ist eine Journalistin, die über die neuesten Trends und Entwicklungen im Metaversum, in der KI und anderen Bereichen berichtet Web3 Branchen für die Metaverse Post. Ihre Leidenschaft für das Geschichtenerzählen hat sie dazu geführt, zahlreiche Interviews mit Experten auf diesen Gebieten zu führen, immer auf der Suche nach spannenden und fesselnden Geschichten. Agne hat einen Bachelor-Abschluss in Literatur und verfügt über umfangreiche Erfahrung im Schreiben über ein breites Themenspektrum, darunter Reisen, Kunst und Kultur. Sie war außerdem ehrenamtlich als Redakteurin für die Tierrechtsorganisation tätig und half dabei, das Bewusstsein für Tierschutzthemen zu schärfen. Kontaktieren Sie sie unter [E-Mail geschützt] .
Weitere Artikel
Agne ist eine Journalistin, die über die neuesten Trends und Entwicklungen im Metaversum, in der KI und anderen Bereichen berichtet Web3 Branchen für die Metaverse Post. Ihre Leidenschaft für das Geschichtenerzählen hat sie dazu geführt, zahlreiche Interviews mit Experten auf diesen Gebieten zu führen, immer auf der Suche nach spannenden und fesselnden Geschichten. Agne hat einen Bachelor-Abschluss in Literatur und verfügt über umfangreiche Erfahrung im Schreiben über ein breites Themenspektrum, darunter Reisen, Kunst und Kultur. Sie war außerdem ehrenamtlich als Redakteurin für die Tierrechtsorganisation tätig und half dabei, das Bewusstsein für Tierschutzthemen zu schärfen. Kontaktieren Sie sie unter [E-Mail geschützt] .
