PyTorch 2.0 Release: En stor uppdatering av maskininlärningsramverket
I korthet
PyTorch har släppt PyTorch 2.0, en stor uppdatering av dess ramverk för maskininlärning med öppen källkod med nya funktioner och förbättringar som gör den mer kraftfull och anpassningsbar.
Uppdateringen inkluderar ett högpresterande Transformer-API och stöd för utbildning och slutledning med hjälp av scaled dot product attention (SPDA).
PyTorch har tillkännagett släppet av PyTorch 2.0, ramverket för maskininlärning med öppen källkod, som var mycket efterlängtat av datavetenskapsgemenskapen. Teamet levererade flera nya funktioner och förbättringar till plattformen, vilket ökade dess styrka och anpassningsförmåga.
Ramverket används för datorseende och naturliga språkbehandlingsapplikationer och är under Linux Foundation-paraplyet. Den tillhandahåller tensordatorer med GPU-acceleration och djupa neurala nätverk byggda på automatisk differentiering. En del mjukvara för djupinlärning, som Tesla Autopilot, Pyro, Transformers, PyTorch Lightning och Catalyst, är byggd ovanpå PyTorch.
PyTorch 2.0 implementerar en ny högpresterande Transformator API, som syftar till att göra utbildning och driftsättning av toppmoderna transformatormodeller mer överkomliga. Utgåvan inkluderar också högpresterande stöd för utbildning och slutledning med hjälp av en anpassad kärnarkitektur för skalad punktproduktuppmärksamhet (SPDA).
Vid en liknande tidpunkt, PyTorch frigörs OpenXLA och PyTorch/XLA 2.0. Kombinationen av PyTorch och XLA ger en utvecklingsstack som kan stödja både modellträning och slutledning. Detta är möjligt eftersom PyTorch är ett populärt val inom AI, och XLA har utmärkta kompilatorfunktioner. För att förbättra denna utvecklingsstapel kommer det att göras investeringar inom tre huvudområden.
För att träna stora modeller investerar PyTorch/XLA i funktioner som blandad precisionsträning, körtidsprestanda, effektiv modellskärning och snabbare dataladdning. Vissa av dessa funktioner är redan tillgängliga, medan andra kommer att släppas senare i år, och dra nytta av den underliggande OpenXLA-kompilatorstacken.
För modellinferens fokuserar PyTorch/XLA på att leverera konkurrenskraftiga prestanda med Dynamo i PyTorch 2.0-utgåvan. Ytterligare slutledningsorienterade funktioner inkluderar stöd för modellservering, Dynamo för sönderdelade stora modeller och kvantisering via Torch.Export och StableHLO.
När det gäller ekosystemintegration utökar PyTorch/XLA integrationen med Hugging Face och PyTorch Lightning så att användare kan dra nytta av kommande funktioner och nedströms OpenXLA-funktionerna genom välbekanta API:er. Detta inkluderar stöd för FSDP i Hugging Face och Quantization i OpenXLA.
PyTorch/XLA är ett projekt med öppen källkod, vilket innebär att du kan bidra till dess utveckling genom att rapportera problem, skicka in pull-förfrågningar och skicka förfrågningar om kommentarer (RFC) på GitHub.
Läs mer:
- Kina planerar att öka VR till 48 miljarder dollar till 2026
- Vita huset släpper ett omfattande ramverk för reglering av digitala tillgångar, inklusive krypto och NFTs
- Stability AI höjer 101 miljoner dollar, stänger värderingen på 1 miljard dollar
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].
fler artiklar
Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].
