PyTorch 2.0-release: een belangrijke update van het machine learning-framework
In het kort
PyTorch heeft PyTorch 2.0 uitgebracht, een belangrijke update van zijn open-source machine learning-framework met nieuwe functies en verbeteringen die het krachtiger en aanpasbaarder maken.
De update bevat een krachtige Transformer API en ondersteuning voor training en inferentie met behulp van scaled dot product attention (SPDA).
PyTorch heeft de release aangekondigd van Py Torch 2.0, het open-source machine learning-framework, waar de datawetenschapsgemeenschap lang naar uitkeek. Het team heeft verschillende nieuwe functies en verbeteringen aan het platform geleverd, waardoor de potentie en het aanpassingsvermogen zijn vergroot.
Het raamwerk wordt gebruikt voor computervisie en natuurlijke taalverwerkingstoepassingen en valt onder de paraplu van de Linux Foundation. Het biedt tensorcomputing met GPU-versnelling en diepe neurale netwerken die zijn gebouwd op automatische differentiatie. Sommige deep learning-software, zoals Tesla Autopilot, Pyro, Transformers, PyTorch Lightning en Catalyst, is bovenop PyTorch gebouwd.
PyTorch 2.0 implementeert een nieuwe high-performance Transformer-API, dat tot doel heeft training en inzet van ultramoderne Transformer-modellen betaalbaarder te maken. De release bevat ook krachtige ondersteuning voor training en inferentie met behulp van een aangepaste kernelarchitectuur voor geschaalde puntproductaandacht (SPDA).
Op een vergelijkbaar moment, PyTorch uitgebracht OpenXLA en PyTorch/XLA 2.0. De combinatie van PyTorch en XLA biedt een ontwikkelingsstack die zowel modeltraining als inferentie kan ondersteunen. Dit is mogelijk omdat PyTorch een populaire keuze is in AI en XLA uitstekende compilerfuncties heeft. Om deze ontwikkelingsstapel te verbeteren, zullen er investeringen plaatsvinden op drie hoofdgebieden.
Om grote modellen te trainen, investeert PyTorch/XLA in functies zoals gemengde precisietraining, runtime-prestaties, efficiënte model-sharding en sneller laden van gegevens. Sommige van deze functies zijn al beschikbaar, terwijl andere later dit jaar worden uitgebracht, waarbij gebruik wordt gemaakt van de onderliggende OpenXLA-compilerstack.
Voor modelinferentie richt PyTorch/XLA zich op het leveren van competitieve prestaties met Dynamo in de PyTorch 2.0-release. Extra op inferentie gerichte functies zijn onder meer ondersteuning voor modelweergave, Dynamo voor grote modellen met sharding en kwantisering via Torch.Export en StableHLO.
Wat de integratie van ecosystemen betreft, breidt PyTorch/XLA de integratie met Hugging Face en PyTorch Lightning uit, zodat gebruikers kunnen profiteren van aankomende functies en de downstream OpenXLA-functies via bekende API's. Dit omvat ondersteuning voor FSDP in Hugging Face en Quantization in OpenXLA.
PyTorch/XLA is een open-sourceproject, wat betekent dat u kunt bijdragen aan de ontwikkeling ervan door problemen te melden, pull-aanvragen in te dienen en verzoeken om commentaar (RFC's) op GitHub.
Lees verder:
- China is van plan VR tegen 48 op te krikken tot 2026 miljard dollar
- Het Witte Huis publiceert een uitgebreid raamwerk voor de regulering van digitale activa, inclusief crypto en NFTs
- Stability AI haalt $ 101 miljoen op, sluit waardering op $ 1 miljard
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
Meer artikelen
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
