PyTorch 2.0 Release: การอัปเดตครั้งใหญ่สำหรับกรอบการเรียนรู้ของเครื่อง
ในบทสรุป
PyTorch ได้เปิดตัว PyTorch 2.0 ซึ่งเป็นการอัปเดตที่สำคัญสำหรับเฟรมเวิร์กแมชชีนเลิร์นนิงโอเพ่นซอร์สพร้อมคุณสมบัติและการปรับปรุงใหม่ที่ทำให้มีประสิทธิภาพและปรับเปลี่ยนได้มากขึ้น
การอัปเดตประกอบด้วย Transformer API ประสิทธิภาพสูงและการสนับสนุนการฝึกอบรมและการอนุมานโดยใช้ Scaled Dot Product Attention (SPDA)
PyTorch ได้ประกาศเปิดตัว ไพทอร์ช 2.0ซึ่งเป็นเฟรมเวิร์กแมชชีนเลิร์นนิงแบบโอเพ่นซอร์ส ซึ่งได้รับการคาดหวังอย่างสูงจากชุมชนวิทยาศาสตร์ข้อมูล ทีมงานนำเสนอคุณลักษณะใหม่และการปรับปรุงต่างๆ ให้กับแพลตฟอร์ม เพิ่มประสิทธิภาพและความสามารถในการปรับตัว
เฟรมเวิร์กนี้ใช้สำหรับการประมวลผลด้วยคอมพิวเตอร์วิทัศน์และภาษาธรรมชาติ และอยู่ภายใต้การดูแลของ Linux Foundation ให้การประมวลผลแบบเทนเซอร์พร้อมการเร่งความเร็ว GPU และเครือข่ายนิวรัลเชิงลึกที่สร้างขึ้นจากการสร้างความแตกต่างอัตโนมัติ ซอฟต์แวร์การเรียนรู้เชิงลึกบางตัว เช่น Tesla Autopilot, Pyro, Transformers, PyTorch Lightning และ Catalyst ถูกสร้างขึ้นบน PyTorch
PyTorch 2.0 ใช้ประสิทธิภาพสูงใหม่ API ของหม้อแปลงซึ่งมีจุดมุ่งหมายเพื่อให้การฝึกอบรมและการปรับใช้โมเดล Transformer ที่ล้ำสมัยมีราคาย่อมเยามากขึ้น รุ่นนี้ยังรวมถึงการสนับสนุนที่มีประสิทธิภาพสูงสำหรับการฝึกอบรมและการอนุมานโดยใช้สถาปัตยกรรมเคอร์เนลแบบกำหนดเองสำหรับจุดสนใจผลิตภัณฑ์ที่ปรับขนาด (SPDA)
ในเวลาเดียวกัน PyTorch การเผยแพร่ OpenXLA และ PyTorch/XLA 2.0. การรวมกันของ PyTorch และ XLA ทำให้เกิดสแต็กการพัฒนาที่สามารถรองรับทั้งการฝึกอบรมแบบจำลองและการอนุมาน สิ่งนี้เป็นไปได้เนื่องจาก PyTorch เป็นตัวเลือกยอดนิยมใน AI และ XLA มีคุณสมบัติคอมไพเลอร์ที่ยอดเยี่ยม เพื่อปรับปรุงกองการพัฒนานี้ จะมีการลงทุนในสามส่วนหลัก
ในการฝึกโมเดลขนาดใหญ่ PyTorch/XLA กำลังลงทุนในคุณสมบัติต่างๆ เช่น การฝึกความแม่นยำแบบผสม ประสิทธิภาพรันไทม์ การแบ่งส่วนโมเดลที่มีประสิทธิภาพ และการโหลดข้อมูลที่เร็วขึ้น ฟีเจอร์เหล่านี้บางส่วนมีอยู่แล้ว ในขณะที่ฟีเจอร์อื่นๆ จะเปิดตัวในปลายปีนี้ โดยใช้ประโยชน์จากสแต็กคอมไพเลอร์ของ OpenXLA
สำหรับการอนุมานโมเดล PyTorch/XLA มุ่งเน้นไปที่การส่งมอบประสิทธิภาพการแข่งขันด้วย Dynamo ในรีลีส PyTorch 2.0 คุณสมบัติที่เน้นการอนุมานเพิ่มเติม ได้แก่ การสนับสนุนการแสดงโมเดล ไดนาโมสำหรับโมเดลขนาดใหญ่ที่แยกชิ้นส่วน และการบอกปริมาณผ่าน Torch.Export และ StableHLO
ในแง่ของการผสานรวมระบบนิเวศ PyTorch/XLA กำลังขยายการผสานรวมกับ Hugging Face และ PyTorch Lightning เพื่อให้ผู้ใช้สามารถใช้ประโยชน์จากฟีเจอร์ที่กำลังจะมีขึ้นและฟีเจอร์ OpenXLA แบบดาวน์สตรีมผ่าน API ที่คุ้นเคย ซึ่งรวมถึงการรองรับ FSDP ใน Hugging Face และ Quantization ใน OpenXLA
PyTorch/XLA เป็นโครงการโอเพ่นซอร์ส ซึ่งหมายความว่าคุณสามารถมีส่วนร่วมในการพัฒนาได้โดยการรายงานปัญหา ส่งคำขอดึง และส่งคำขอความคิดเห็น (RFCs) บน GitHub.
อ่านเพิ่มเติม:
- จีนวางแผนที่จะเพิ่ม VR เป็น 48 พันล้านดอลลาร์ภายในปี 2026
- ทำเนียบขาวเผยแพร่กรอบการทำงานที่ครอบคลุมสำหรับการควบคุมสินทรัพย์ดิจิทัล รวมถึง crypto และ NFTs
- Stability AI ระดมทุนได้ 101 ล้านดอลลาร์ ปิดการประเมินมูลค่าที่ 1 พันล้านดอลลาร์
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Agne เป็นนักข่าวที่รายงานข่าวเกี่ยวกับแนวโน้มล่าสุดและการพัฒนาใน metaverse, AI และ Web3 อุตสาหกรรมสำหรับ Metaverse Post. ความหลงใหลในการเล่าเรื่องของเธอทำให้เธอต้องสัมภาษณ์ผู้เชี่ยวชาญในสาขาเหล่านี้หลายครั้ง โดยพยายามค้นหาเรื่องราวที่น่าตื่นเต้นและมีส่วนร่วมอยู่เสมอ แอกเน่สำเร็จการศึกษาระดับปริญญาตรีสาขาวรรณคดีและมีพื้นฐานกว้างขวางในการเขียนเกี่ยวกับหัวข้อต่างๆ มากมาย รวมถึงการท่องเที่ยว ศิลปะ และวัฒนธรรม เธอยังได้อาสาเป็นบรรณาธิการให้กับองค์กรสิทธิสัตว์ ซึ่งเธอช่วยสร้างความตระหนักรู้เกี่ยวกับปัญหาสวัสดิภาพสัตว์ ติดต่อเธอได้ที่ [ป้องกันอีเมล].
บทความอื่น ๆ
Agne เป็นนักข่าวที่รายงานข่าวเกี่ยวกับแนวโน้มล่าสุดและการพัฒนาใน metaverse, AI และ Web3 อุตสาหกรรมสำหรับ Metaverse Post. ความหลงใหลในการเล่าเรื่องของเธอทำให้เธอต้องสัมภาษณ์ผู้เชี่ยวชาญในสาขาเหล่านี้หลายครั้ง โดยพยายามค้นหาเรื่องราวที่น่าตื่นเต้นและมีส่วนร่วมอยู่เสมอ แอกเน่สำเร็จการศึกษาระดับปริญญาตรีสาขาวรรณคดีและมีพื้นฐานกว้างขวางในการเขียนเกี่ยวกับหัวข้อต่างๆ มากมาย รวมถึงการท่องเที่ยว ศิลปะ และวัฒนธรรม เธอยังได้อาสาเป็นบรรณาธิการให้กับองค์กรสิทธิสัตว์ ซึ่งเธอช่วยสร้างความตระหนักรู้เกี่ยวกับปัญหาสวัสดิภาพสัตว์ ติดต่อเธอได้ที่ [ป้องกันอีเมล].
