Theo một nhà nghiên cứu tại OpenAI
Hyung Won Chung, một nhà nghiên cứu AI thành đạt, từng làm việc cho Google Brain và hiện là thành viên của OpenAI nhóm, đã có bài phát biểu dài 45 phút kích thích tư duy, trong đó ông khám phá thế giới của các mô hình ngôn ngữ lớn vào năm 2023. Chung có kinh nghiệm trong lĩnh vực này; ông ấy là tác giả đầu tiên của bài báo trên Google “Mở rộng hướng dẫn-Các mô hình ngôn ngữ được tinh chỉnh,” kiểm tra cách các mô hình ngôn ngữ lớn có thể được đào tạo để làm theo hướng dẫn.
Chung nhấn mạnh thế giới của các mô hình ngôn ngữ mở rộng là rất năng động. Trong thế giới LLM, nguyên tắc hướng dẫn không ngừng phát triển, trái ngược với các lĩnh vực truyền thống nơi các giả định cơ bản thường ổn định. Với thế hệ mô hình sắp tới, những gì hiện được cho là không thể hoặc không thực tế có thể trở thành hiện thực. Ông nhấn mạnh tầm quan trọng của việc đặt trước hầu hết các tuyên bố về khả năng LLM bằng từ “bây giờ”. Một mô hình có thể thực hiện một nhiệm vụ; nó chỉ chưa được thực hiện như vậy.
Những mẫu lớn ngày nay sẽ là những mẫu nhỏ chỉ trong vài năm nữa
Hyung Won Chung, OpenAI
Sự cần thiết của tài liệu tỉ mỉ và khả năng tái tạo trong Nghiên cứu AI là một trong những bài học quan trọng nhất được rút ra từ bài phát biểu của Chung. Điều quan trọng là phải ghi chép kỹ lưỡng công việc đang diễn ra khi lĩnh vực này phát triển. Chiến lược này đảm bảo rằng các thí nghiệm có thể được nhân rộng và xem xét lại nhanh chóng, cho phép các nhà nghiên cứu tiếp tục phát triển dựa trên công việc trước đó. Thông qua hoạt động thực hành này, người ta thừa nhận rằng những khả năng có thể phát triển trong tương lai không thực tế trong quá trình nghiên cứu ban đầu.
Chung dành một phần bài nói chuyện của mình để làm sáng tỏ sự phức tạp của dữ liệu và mô hình song song. Đối với những người quan tâm đến việc tìm hiểu sâu hơn về các khía cạnh kỹ thuật của AI, phần này cung cấp những hiểu biết sâu sắc có giá trị về hoạt động bên trong của các kỹ thuật song song này. Hiểu được các cơ chế này là rất quan trọng để tối ưu hóa đào tạo mô hình quy mô lớn.
Chung thừa nhận rằng hàm mục tiêu hiện tại, Khả năng tối đa, được sử dụng cho đào tạo trước LLM là một điểm nghẽn khi đạt được quy mô thực sự lớn, chẳng hạn như gấp 10,000 lần công suất của GPT-4. Khi học máy tiến triển, các hàm mất được thiết kế thủ công ngày càng trở nên hạn chế.
Chung gợi ý rằng mô hình tiếp theo trong phát triển AI liên quan đến các chức năng học tập thông qua các thuật toán riêng biệt. Cách tiếp cận này, mặc dù ở giai đoạn sơ khai, nhưng hứa hẹn về khả năng mở rộng vượt qua những hạn chế hiện tại. Ông cũng nhấn mạnh những nỗ lực đang diễn ra, chẳng hạn như Học tăng cường từ phản hồi của con người (RLHF) với Mô hình hóa quy tắc, là các bước theo hướng này, mặc dù vẫn còn những thách thức cần vượt qua.
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
