Microsoft buộc LLM phải quên Harry Potter
Microsoft đã tiết lộ một phương pháp để hướng dẫn Mô hình ngôn ngữ lớn (LLM) quên thông tin cụ thể trong bộ dữ liệu của chúng mà không yêu cầu xây dựng lại toàn bộ dữ liệu đào tạo. Phương pháp này mở ra những khả năng mới để cải thiện LLM và có khả năng giải quyết các vấn đề pháp lý liên quan đến nội dung có bản quyền.
Nhóm của Microsoft gần đây đã chứng minh cách họ có thể tạo ra LlamaMô hình -2 quên chi tiết về sách Harry Potter mà không ảnh hưởng đến dữ liệu khác trong dữ liệu huấn luyện của mô hình hoặc hiệu suất tổng thể của mô hình trong một nghiên cứu được mô tả trên trang dự án nghiên cứu của họ.
Quá trình bắt đầu bằng việc xác định thông tin cụ thể cần được bỏ qua trong tập dữ liệu của mô hình. Trong trường hợp này, đó là những chi tiết liên quan đến bộ truyện mang tính biểu tượng của JK Rowling, bao gồm chi tiết cốt truyện, tên nhân vật và những câu nói nổi tiếng. Sau đó chúng được thay thế một cách có hệ thống bằng những cụm từ chung chung, không liên quan.
Sau đó, các nhà nghiên cứu sử dụng mô hình ngôn ngữ để tạo ra thông tin mới dựa trên dữ liệu chung này. Dữ liệu mới này sau đó được sử dụng để đào tạo lại dữ liệu gốc Llama-2 mô hình Từng bước. Với mỗi bước, mô hình sẽ rời xa những cuốn sách Harry Potter cho đến khi nó bắt đầu tạo ra những phản ứng ảo giác khi được hỏi về chúng.
Một đặc điểm nổi bật của phương pháp này là nó không ảnh hưởng đến hiệu suất chung của mô hình. Điều này có nghĩa là mặc dù LLM ngày càng quên dữ liệu cụ thể nhưng khả năng ngôn ngữ tổng thể của nó vẫn còn nguyên.
Mặc dù thực tế là cách tiếp cận này vẫn đang được cải tiến, nhưng ý nghĩa của nó rất rộng. Đặc biệt, trong các tình huống liên quan đến khiếu nại pháp lý và vấn đề bản quyền, nó có thể mang lại cứu cánh cho những người tạo ra LLM và các mô hình AI khác.
Sự đổi mới này xuất hiện vào thời điểm các tranh chấp pháp lý về việc sử dụng nội dung có bản quyền trong các mô hình AI đang gia tăng. Ví dụ, Tờ New York Times gần đây đã yêu cầu loại bỏ các ấn phẩm của nó từ GPT-4 tập dữ liệu. Trong trường hợp thành công Thách thức pháp lý, các nhà phát triển thường cần phải xây dựng lại bộ dữ liệu mô hình của họ, một quá trình tốn nhiều thời gian và tài nguyên. Phương pháp của Microsoft, nếu được cải tiến và áp dụng thêm, có thể cung cấp giải pháp hiệu quả cho những thách thức đó.
Phương pháp của Microsoft để quên có chọn lọc thông tin cụ thể trong Mô hình ngôn ngữ lớn (LLM) là một bước đột phá đáng kể trong phát triển AI, có khả năng giải quyết các vấn đề về nội dung có bản quyền và tinh giản hợp lý. Cách tiếp cận này có thể được áp dụng cho nhiều lĩnh vực khác nhau, thể hiện sự phát triển và ứng dụng AI có trách nhiệm.
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
