Facebook phát triển một phương pháp mới để tăng gấp đôi hiệu suất của AI Transformers
Tóm lại
Facebook đã phát triển một phương pháp mới để tăng gấp đôi hiệu suất của máy biến áp AI dựa trên kiến trúc máy biến áp.
Phương pháp mới tìm thấy các bản vá giống nhau nhất trong các khoảng trống giữa việc xử lý các khối khác nhau và kết hợp chúng để giảm độ phức tạp tính toán.
Facebook đã phát triển một Phương pháp mới để tăng gấp đôi hiệu suất của máy biến áp AI. phương pháp là dựa trên cấu trúc máy biến áp và được thiết kế đặc biệt cho văn bản dạng dài như sách, bài báo và blog. Mục tiêu của máy biến áp AI mới là cải thiện hiệu suất của mô hình dựa trên máy biến áp trên văn bản dạng dài bằng cách làm cho chúng hiệu quả hơn trong việc xử lý các chuỗi dài. Kết quả của máy biến áp AI rất hứa hẹn và phương pháp mới này có cơ hội giúp cải thiện hiệu suất của các mô hình dựa trên máy biến áp trong nhiều nhiệm vụ khác nhau.
Phương pháp mới này dự kiến sẽ có tác động đáng kể đến các nhiệm vụ xử lý ngôn ngữ tự nhiên, chẳng hạn như dịch ngôn ngữ, tóm tắt và hệ thống trả lời câu hỏi. Nó cũng được kỳ vọng sẽ dẫn đến sự phát triển của các mô hình AI phức tạp hơn, có thể xử lý các văn bản dài hơn và phức tạp hơn.
Để xử lý hình ảnh, các máy biến áp hiện đại cắt nó thành các mảng (thường là hình vuông: xem hình gif bên dưới) và sau đó vận hành dựa trên các biểu diễn của các hạt này, mỗi phần được biểu thị bằng một “mã thông báo”. Như chúng ta biết, máy biến áp hoạt động càng chậm càng có nhiều mảnh mã thông báo này (điều này áp dụng cho cả văn bản và hình ảnh) và máy biến áp phổ biến nhất có mối quan hệ bậc hai. Nghĩa là, càng nhiều mã thông báo được thêm vào, quá trình xử lý càng chậm. Để giải quyết vấn đề này, các nhà nghiên cứu đã đề xuất nhiều kỹ thuật khác nhau để giảm số lượng mã thông báo cần thiết cho quá trình xử lý hình ảnh, chẳng hạn như tổng hợp phân cấp và thích ứng. Các phương pháp này nhằm mục đích duy trì chất lượng đầu ra trong khi giảm thiểu chi phí tính toán.
Phương pháp mới tìm thấy các bản vá giống nhau nhất trong các khoảng trống giữa việc xử lý các khối khác nhau và kết hợp chúng để giảm độ phức tạp tính toán. Tỷ lệ mã thông báo được hợp nhất là một siêu tham số; nó càng cao, chất lượng càng thấp nhưng khả năng tăng tốc càng cao. Các thử nghiệm cho thấy rằng có thể hợp nhất khoảng 40% mã thông báo với mức giảm chất lượng 0.1-0.4% và tăng tốc gấp đôi (do đó tiêu tốn ít bộ nhớ hơn). Phương pháp mới này là một giải pháp đầy hứa hẹn để giảm độ phức tạp tính toán của quá trình xử lý hình ảnh và có thể cho phép xử lý nhanh hơn và hiệu quả hơn mà không ảnh hưởng đến chất lượng của đầu ra cuối cùng.
Những cách tiếp cận kỹ thuật như vậy dựa trên sự khéo léo và hiểu cách thức hoạt động của một thứ gì đó trông rất hấp dẫn. Ngoài ra, các nhà phát triển của Meta hứa hẹn sẽ mang lại nhiều hơn nữa cho StableDiffusion để tăng tốc mọi thứ ở đó. Thật tuyệt vời vì máy biến áp có ở khắp mọi nơi, những thủ thuật như vậy có thể được thực hiện nhanh chóng trong nhiều loại mô hình. Điều này cho thấy tiềm năng của các giải pháp kỹ thuật có tác động rộng khắp các ngành công nghiệp khác nhau. Sẽ rất thú vị để xem làm thế nào những tiến bộ này trong mô hình máy biến áp sẽ tiếp tục phát triển và cải thiện theo thời gian.
- Meta AI và Paperswithcode đã phát hành mô hình 120B đầu tiên Galactica được đào tạo trên các văn bản khoa học, cho phép dự đoán chính xác hơn và nhanh hơn. Mục tiêu của Galactica là giúp các nhà nghiên cứu tách biệt những điều quan trọng khỏi những điều không liên quan.
Đọc thêm các tin liên quan:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
