Wydanie PyTorch 2.0: główna aktualizacja struktury uczenia maszynowego
W skrócie
Firma PyTorch wydała PyTorch 2.0, główną aktualizację platformy uczenia maszynowego typu open source z nowymi funkcjami i ulepszeniami, które czynią ją bardziej wydajną i elastyczną.
Aktualizacja zawiera wydajny interfejs API Transformer oraz obsługę uczenia i wnioskowania przy użyciu Scaled Dot Product Attention (SPDA).
PyTorch ogłosił wydanie PyTorch 2.0, platformę uczenia maszynowego typu open source, która była bardzo oczekiwana przez społeczność analityków danych. Zespół dostarczył kilka nowych funkcji i ulepszeń platformy, zwiększając jej moc i możliwości adaptacyjne.
Framework jest używany w aplikacjach przetwarzania obrazu komputerowego i języka naturalnego i jest pod patronatem Linux Foundation. Zapewnia obliczenia tensorowe z akceleracją GPU i głębokimi sieciami neuronowymi opartymi na automatycznym różnicowaniu. Niektóre programy do głębokiego uczenia, takie jak Tesla Autopilot, Pyro, Transformers, PyTorch Lightning i Catalyst, są zbudowane na bazie PyTorch.
PyTorch 2.0 wdraża nową wysoką wydajność API transformatora, którego celem jest uczynienie szkolenia i wdrażania najnowocześniejszych modeli Transformerów bardziej przystępnymi cenowo. Ta wersja zawiera również wysokowydajne wsparcie dla uczenia i wnioskowania przy użyciu niestandardowej architektury jądra dla Scaled Dot Product Attention (SPDA).
W podobnym czasie PyTorch wydany OpenXLA i PyTorch/XLA 2.0. Połączenie PyTorch i XLA zapewnia stos programistyczny, który może obsługiwać zarówno szkolenie modeli, jak i wnioskowanie. Jest to możliwe, ponieważ PyTorch jest popularnym wyborem w AI, a XLA ma doskonałe funkcje kompilatora. Aby ulepszyć ten stos rozwojowy, będą inwestycje w trzech głównych obszarach.
Aby trenować duże modele, PyTorch/XLA inwestuje w takie funkcje, jak trenowanie mieszanej precyzji, wydajność w czasie wykonywania, wydajne sharding modelu i szybsze ładowanie danych. Niektóre z tych funkcji są już dostępne, podczas gdy inne zostaną wydane jeszcze w tym roku, wykorzystując podstawowy stos kompilatora OpenXLA.
Jeśli chodzi o wnioskowanie o modelu, PyTorch/XLA koncentruje się na zapewnieniu konkurencyjnej wydajności za pomocą dodatku Dynamo w wersji PyTorch 2.0. Dodatkowe funkcje zorientowane na wnioskowanie obejmują obsługę modeli, Dynamo dla dużych modeli podzielonych na fragmenty oraz kwantyzację za pośrednictwem Torch.Export i StableHLO.
Jeśli chodzi o integrację ekosystemu, PyTorch/XLA rozszerza integrację z Hugging Face i PyTorch Lightning, aby użytkownicy mogli korzystać z nadchodzących funkcji i dalszych funkcji OpenXLA za pośrednictwem znanych interfejsów API. Obejmuje to obsługę FSDP w Hugging Face i Quantization w OpenXLA.
PyTorch/XLA to projekt typu open source, co oznacza, że możesz przyczynić się do jego rozwoju, zgłaszając problemy, przesyłając żądania ściągnięcia i wysyłając prośby o komentarze (RFC) na GitHub.
Czytaj więcej:
- Chiny planują zwiększyć VR do 48 miliardów dolarów do 2026 roku
- Biały Dom publikuje kompleksowe ramy regulacji aktywów cyfrowych, w tym krypto i NFTs
- Stability AI zbiera 101 milionów dolarów, zamyka wycenę na poziomie 1 miliarda dolarów
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Agne jest dziennikarką, która zajmuje się najnowszymi trendami i wydarzeniami w metaverse, sztucznej inteligencji i Web3 branże dla Metaverse Post. Jej pasja do opowiadania historii skłoniła ją do przeprowadzenia licznych wywiadów z ekspertami w tych dziedzinach, zawsze starając się odkryć ekscytujące i wciągające historie. Agne posiada tytuł licencjata z literatury i rozległe doświadczenie w pisaniu na różne tematy, w tym podróże, sztukę i kulturę. Zgłosiła się także jako wolontariuszka jako redaktorka do organizacji praw zwierząt, gdzie pomagała podnosić świadomość na temat kwestii związanych z dobrostanem zwierząt. Skontaktuj się z nią [email chroniony].
Więcej artykułów
Agne jest dziennikarką, która zajmuje się najnowszymi trendami i wydarzeniami w metaverse, sztucznej inteligencji i Web3 branże dla Metaverse Post. Jej pasja do opowiadania historii skłoniła ją do przeprowadzenia licznych wywiadów z ekspertami w tych dziedzinach, zawsze starając się odkryć ekscytujące i wciągające historie. Agne posiada tytuł licencjata z literatury i rozległe doświadczenie w pisaniu na różne tematy, w tym podróże, sztukę i kulturę. Zgłosiła się także jako wolontariuszka jako redaktorka do organizacji praw zwierząt, gdzie pomagała podnosić świadomość na temat kwestii związanych z dobrostanem zwierząt. Skontaktuj się z nią [email chroniony].
