Facebook พัฒนาวิธีการใหม่ในการเพิ่มประสิทธิภาพ AI Transformers เป็นสองเท่า

แชร์บทความนี้

• 
• 
• 
• 
• 

by ดาเมียร์ ยาลอฟ

เผยแพร่: 15 มีนาคม 2023 เวลา 4:00 น. อัปเดต: 15 มีนาคม 2023 เวลา 4:00 น.

เพื่อปรับปรุงประสบการณ์การใช้ภาษาท้องถิ่นของคุณ บางครั้งเราใช้ปลั๊กอินการแปลอัตโนมัติ โปรดทราบว่าการแปลอัตโนมัติอาจไม่ถูกต้อง โปรดอ่าน เป็นต้นฉบับ บทความสำหรับข้อมูลที่แม่นยำ

Facebook ได้พัฒนา วิธีการใหม่ เพื่อเพิ่มประสิทธิภาพเป็นสองเท่าของหม้อแปลง AI วิธีการคือ ตามสถาปัตยกรรมของหม้อแปลงไฟฟ้า และได้รับการออกแบบมาโดยเฉพาะสำหรับข้อความที่มีรูปแบบยาว เช่น หนังสือ บทความ และบล็อก เป้าหมายของหม้อแปลง AI ใหม่คือการปรับปรุงประสิทธิภาพของ โมเดลที่ใช้หม้อแปลงไฟฟ้า บนข้อความที่มีรูปแบบยาวโดยทำให้มีประสิทธิภาพและประสิทธิผลมากขึ้นในการจัดการลำดับที่ยาว ผลลัพธ์ของหม้อแปลง AI มีแนวโน้มดีมาก และวิธีการใหม่นี้มีโอกาสที่จะช่วยปรับปรุงประสิทธิภาพของโมเดลที่ใช้หม้อแปลงในงานต่างๆ

วิธีการใหม่นี้คาดว่าจะมีผลกระทบอย่างมากต่องานประมวลผลภาษาธรรมชาติ เช่น การแปลภาษา การสรุป และระบบคำถาม-คำตอบ นอกจากนี้ยังคาดว่าจะนำไปสู่การพัฒนาโมเดล AI ที่ซับซ้อนยิ่งขึ้น ซึ่งสามารถจัดการข้อความที่ยาวและซับซ้อนมากขึ้นได้

ในการประมวลผลภาพ ทรานสฟอร์มเมอร์สมัยใหม่จะตัดมันออกเป็นแผ่นๆ (โดยปกติจะเป็นสี่เหลี่ยม: ดู gif ด้านล่าง) แล้วดำเนินการแทนอนุภาคเหล่านี้ ซึ่งแต่ละอนุภาคจะแสดงด้วย "โทเค็น" อย่างที่เราทราบ Transformers ทำงานช้าลงเมื่อมีชิ้นส่วนโทเค็นเหล่านี้มากขึ้น (ใช้กับทั้งข้อความและรูปภาพ) และ Transformer ที่พบมากที่สุดมีความสัมพันธ์แบบกำลังสอง นั่นคือ เมื่อมีการเพิ่มโทเค็นมากขึ้น การประมวลผลก็จะยิ่งช้าลง เพื่อแก้ไขปัญหานี้ นักวิจัยได้เสนอเทคนิคต่างๆ เพื่อลดจำนวนโทเค็นที่จำเป็นสำหรับการประมวลผลภาพ เช่น การรวมลำดับชั้นและแบบปรับตัว วิธีการเหล่านี้มีจุดมุ่งหมายเพื่อรักษาคุณภาพของผลลัพธ์ในขณะที่ลดต้นทุนการคำนวณให้น้อยที่สุด

วิธีการใหม่จะค้นหาแพตช์ที่คล้ายกันมากที่สุดในช่องว่างระหว่างการประมวลผลบล็อกต่างๆ และรวมเข้าด้วยกันเพื่อลดความซับซ้อนในการคำนวณ ส่วนแบ่งของโทเค็นที่ผสานเป็นไฮเปอร์พารามิเตอร์ ยิ่งสูงคุณภาพยิ่งต่ำแต่อัตราเร่งก็จะยิ่งสูงตามไปด้วย การทดลองแสดงให้เห็นว่าเป็นไปได้ที่จะรวมโทเค็นประมาณ 40% ด้วยการสูญเสียคุณภาพ 0.1-0.4% และได้รับการเร่งความเร็วเป็นสองเท่า (ซึ่งใช้หน่วยความจำน้อยลง) วิธีการใหม่นี้เป็นโซลูชันที่มีแนวโน้มดีในการลดความซับซ้อนในการคำนวณของการประมวลผลภาพ และช่วยให้สามารถประมวลผลได้เร็วขึ้นและมีประสิทธิภาพมากขึ้นโดยไม่ลดทอนคุณภาพของผลลัพธ์สุดท้าย

วิธีการทางวิศวกรรมดังกล่าวขึ้นอยู่กับความเฉลียวฉลาดและการเข้าใจว่างานบางอย่างดูน่าสนใจมาก นอกจากนี้ นักพัฒนาของ Meta สัญญาว่าจะนำ StableDiffusion มาให้มากขึ้นเพื่อเร่งความเร็วให้เร็วขึ้นเช่นกัน เป็นเรื่องที่ยอดเยี่ยม เนื่องจากทรานส์ฟอร์มเมอร์มีอยู่ทุกที่ ทริคดังกล่าวสามารถนำไปใช้ได้อย่างรวดเร็วในหลากหลายรุ่น สิ่งนี้แสดงให้เห็นถึงศักยภาพของโซลูชันทางวิศวกรรมที่จะส่งผลกระทบในวงกว้างในอุตสาหกรรมต่างๆ มันน่าสนใจที่จะดูว่าความก้าวหน้าเหล่านี้เป็นอย่างไร รุ่นหม้อแปลง จะยังคงพัฒนาและปรับปรุงอยู่ตลอดเวลา

• Meta AI และ Paperswithcode ได้เปิดตัว Galactica รุ่น 120B รุ่นแรกที่ได้รับการฝึกฝนตามตำราทางวิทยาศาสตร์ ทำให้สามารถคาดการณ์ได้แม่นยำและรวดเร็วยิ่งขึ้น เป้าหมายของ Galactica คือการช่วยนักวิจัยแยกสิ่งที่สำคัญออกจากสิ่งที่ไม่เกี่ยวข้อง

อ่านข่าวที่เกี่ยวข้องเพิ่มเติม:

• Meta สร้างแพลตฟอร์มใหม่ที่ขับเคลื่อนด้วย AI ซึ่งสามารถช่วยเหลือการวิจัยทางการแพทย์ อัปเกรดอวตาร
• จำนวนหน่วยสืบราชการลับในจักรวาลจะเพิ่มขึ้นเป็นสองเท่าทุกๆ 18 เดือน แซม อัลท์แมนกล่าว
• Meta กำลังทดลองกับ Ethereum และ Polygon NFTบนเฟสบุ๊ค 

เกี่ยวกับผู้เขียน

Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต 

บทความอื่น ๆ

ดาเมียร์ ยาลอฟ

• 
• 

ดาเมียร์ ยาลอฟ

Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต 

• 

บทความอื่น ๆ