Bản phát hành PyTorch 2.0: Bản cập nhật lớn cho Khung học máy
Tóm lại
PyTorch đã phát hành PyTorch 2.0, một bản cập nhật lớn cho khung máy học mã nguồn mở với các tính năng và cải tiến mới giúp nó trở nên mạnh mẽ và dễ thích ứng hơn.
Bản cập nhật bao gồm API Transformer hiệu suất cao và hỗ trợ đào tạo cũng như suy luận bằng cách sử dụng chú ý của sản phẩm dấu chấm được chia tỷ lệ (SPDA).
PyTorch đã thông báo phát hành PyTorch 2.0, khung máy học mã nguồn mở, được cộng đồng khoa học dữ liệu rất mong đợi. Nhóm đã cung cấp một số tính năng và cải tiến mới cho nền tảng, tăng hiệu lực và khả năng thích ứng của nó.
Khung này được sử dụng cho các ứng dụng xử lý ngôn ngữ tự nhiên và thị giác máy tính và nằm dưới sự bảo trợ của Linux Foundation. Nó cung cấp tính toán tensor với khả năng tăng tốc GPU và mạng thần kinh sâu được xây dựng dựa trên sự khác biệt tự động. Một số phần mềm học sâu, chẳng hạn như Tesla Autopilot, Pyro, Transformers, PyTorch Lightning và Catalyst, được xây dựng dựa trên PyTorch.
PyTorch 2.0 thực hiện một hiệu suất cao mới API máy biến áp, nhằm mục đích làm cho việc đào tạo và triển khai các mô hình Transformer hiện đại trở nên hợp lý hơn. Bản phát hành cũng bao gồm hỗ trợ hiệu suất cao cho đào tạo và suy luận bằng cách sử dụng kiến trúc hạt nhân tùy chỉnh để thu hút sự chú ý của sản phẩm dấu chấm theo tỷ lệ (SPDA).
Đồng thời, PyTorch phát hành OpenXLA và PyTorch/XLA 2.0. Sự kết hợp giữa PyTorch và XLA cung cấp một ngăn xếp phát triển có thể hỗ trợ cả đào tạo và suy luận mô hình. Điều này có thể thực hiện được vì PyTorch là một lựa chọn phổ biến trong AI và XLA có các tính năng biên dịch tuyệt vời. Để cải thiện ngăn xếp phát triển này, sẽ có các khoản đầu tư vào ba lĩnh vực chính.
Để đào tạo các mô hình lớn, PyTorch/XLA đang đầu tư vào các tính năng như đào tạo độ chính xác hỗn hợp, hiệu suất thời gian chạy, phân đoạn mô hình hiệu quả và tải dữ liệu nhanh hơn. Một số tính năng này đã có sẵn, trong khi những tính năng khác sẽ được phát hành vào cuối năm nay, tận dụng ngăn xếp trình biên dịch OpenXLA cơ bản.
Đối với suy luận mô hình, PyTorch/XLA tập trung vào việc mang lại hiệu suất cạnh tranh với Dynamo trong bản phát hành PyTorch 2.0. Các tính năng định hướng suy luận bổ sung bao gồm hỗ trợ phục vụ mô hình, Dynamo cho các mô hình lớn được phân đoạn và lượng tử hóa thông qua Torch.Export và StableHLO.
Về mặt tích hợp hệ sinh thái, PyTorch/XLA đang mở rộng khả năng tích hợp với Hugging Face và PyTorch Lightning để người dùng có thể tận dụng các tính năng sắp ra mắt và các tính năng OpenXLA xuôi dòng thông qua các API quen thuộc. Điều này bao gồm hỗ trợ cho FSDP trong Ôm mặt và Lượng tử hóa trong OpenXLA.
PyTorch/XLA là một dự án mã nguồn mở, có nghĩa là bạn có thể đóng góp vào sự phát triển của nó bằng cách báo cáo sự cố, gửi yêu cầu kéo và gửi yêu cầu nhận xét (RFC) trên GitHub.
Tìm hiểu thêm:
- Trung Quốc có kế hoạch tăng VR lên 48 tỷ đô la vào năm 2026
- Nhà Trắng phát hành một khuôn khổ toàn diện cho quy định tài sản kỹ thuật số, bao gồm tiền điện tử và NFTs
- Stability AI tăng 101 triệu đô la, đóng định giá ở mức 1 tỷ đô la
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Agne là một nhà báo đưa tin về các xu hướng và sự phát triển mới nhất trong metaverse, AI và Web3 các ngành công nghiệp cho Metaverse Post. Niềm đam mê kể chuyện đã khiến cô thực hiện nhiều cuộc phỏng vấn với các chuyên gia trong các lĩnh vực này, luôn tìm cách khám phá những câu chuyện thú vị và hấp dẫn. Agne có bằng Cử nhân văn học và có kiến thức sâu rộng về viết về nhiều chủ đề bao gồm du lịch, nghệ thuật và văn hóa. Cô cũng tình nguyện làm biên tập viên cho tổ chức bảo vệ quyền động vật, nơi cô giúp nâng cao nhận thức về các vấn đề phúc lợi động vật. Liên hệ với cô ấy trên [email được bảo vệ].
Xem thêm bài viết
Agne là một nhà báo đưa tin về các xu hướng và sự phát triển mới nhất trong metaverse, AI và Web3 các ngành công nghiệp cho Metaverse Post. Niềm đam mê kể chuyện đã khiến cô thực hiện nhiều cuộc phỏng vấn với các chuyên gia trong các lĩnh vực này, luôn tìm cách khám phá những câu chuyện thú vị và hấp dẫn. Agne có bằng Cử nhân văn học và có kiến thức sâu rộng về viết về nhiều chủ đề bao gồm du lịch, nghệ thuật và văn hóa. Cô cũng tình nguyện làm biên tập viên cho tổ chức bảo vệ quyền động vật, nơi cô giúp nâng cao nhận thức về các vấn đề phúc lợi động vật. Liên hệ với cô ấy trên [email được bảo vệ].
