Випуск PyTorch 2.0: велике оновлення системи машинного навчання
Коротко
PyTorch випустив PyTorch 2.0, велике оновлення своєї відкритої системи машинного навчання з новими функціями та вдосконаленнями, які роблять її потужнішою та адаптивною.
Оновлення включає високопродуктивний Transformer API і підтримку для навчання та висновків за допомогою масштабованого дот-продукту (SPDA).
PyTorch оголосив про випуск PyTorch 2.0, фреймворк машинного навчання з відкритим вихідним кодом, на який дуже очікувала спільнота наук про дані. Команда додала кілька нових функцій і покращень для платформи, підвищивши її ефективність і адаптивність.
Фреймворк використовується для програм комп’ютерного зору та обробки природної мови та знаходиться під егідою Linux Foundation. Він забезпечує тензорні обчислення з прискоренням GPU та глибокими нейронними мережами, побудованими на основі автоматичного диференціювання. Деякі програми глибокого навчання, такі як Tesla Autopilot, Pyro, Transformers, PyTorch Lightning і Catalyst, створені на основі PyTorch.
PyTorch 2.0 реалізує нову високу продуктивність Transformer API, який має на меті зробити навчання та розгортання найсучасніших моделей Transformer більш доступними. Випуск також включає високопродуктивну підтримку для навчання та логічного висновку з використанням спеціальної архітектури ядра для уваги до масштабованого продукту (SPDA).
У той же час PyTorch випущений OpenXLA та PyTorch/XLA 2.0. Поєднання PyTorch і XLA забезпечує стек розробки, який може підтримувати як навчання моделі, так і висновок. Це можливо тому, що PyTorch є популярним вибором у ШІ, а XLA має чудові функції компілятора. Щоб покращити цей стек розвитку, будуть інвестиції в три основні сфери.
Щоб навчати великі моделі, PyTorch/XLA інвестує в такі функції, як навчання змішаної точності, продуктивність під час виконання, ефективне сегментування моделі та швидше завантаження даних. Деякі з цих функцій уже доступні, тоді як інші будуть випущені пізніше цього року, використовуючи основний стек компілятора OpenXLA.
Для визначення моделі PyTorch/XLA зосереджується на забезпеченні конкурентоспроможної продуктивності за допомогою Dynamo у випуску PyTorch 2.0. Додаткові функції, орієнтовані на логічний висновок, включають підтримку обслуговування моделей, Dynamo для сегментованих великих моделей і квантування через Torch.Export і StableHLO.
З точки зору інтеграції екосистеми, PyTorch/XLA розширює інтеграцію з Hugging Face і PyTorch Lightning, щоб користувачі могли скористатися перевагами майбутніх функцій і наступних функцій OpenXLA через знайомі API. Це включає підтримку FSDP у Hugging Face і квантування в OpenXLA.
PyTorch/XLA є проектом з відкритим вихідним кодом, що означає, що ви можете зробити свій внесок у його розвиток, повідомляючи про проблеми, надсилаючи запити на отримання та надсилаючи запити на коментарі (RFC) на GitHub.
Детальніше:
- Китай планує збільшити VR до 48 мільярдів доларів до 2026 року
- Білий дім випускає всеосяжну структуру регулювання цифрових активів, включаючи криптовалюту та NFTs
- Stability AI залучає 101 мільйон доларів, оцінка завершується на рівні 1 мільярда доларів
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
інші статті
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
