Databricks xuất bản Dolly 2.0, 12B Chat-LLM mã nguồn mở đầu tiên có sẵn trên thị trường
Tóm lại
Databricks đã công bố ra mắt Dolly 2.0 dưới dạng 12B Chat-LLM mã nguồn mở đầu tiên được bán trên thị trường, cho phép các công ty tạo ra các mô hình ngôn ngữ mạnh mẽ mà không cần đầu tư vào các cụm GPU đắt tiền.
Databricks có công bố sự ra mắt của Dolly 2.0 với tư cách là Trò chuyện-LLM 12B mã nguồn mở đầu tiên có sẵn trên thị trường. Dolly là một bước đột phá lớn đối với ngành công nghiệp máy học, cho phép các công ty tạo ra các mô hình ngôn ngữ mạnh mẽ—chẳng hạn như LLM tự hồi quy có hỗ trợ đối thoại — mà không phải đầu tư vào các cụm GPU đắt tiền.
| Tìm hiểu thêm: Cách Sử dụng ChatGPT (GPT-4) miễn phí mãi mãi |
Để có được mô hình ngôn ngữ nguồn mở, Databricks cần một bộ dữ liệu lớn, chất lượng cao. Sau khi xem xét ban đầu Alpaca GPT-3 tập dữ liệu và các tập dữ liệu nguồn mở khác không cho phép sử dụng cho mục đích thương mại, họ đã quyết định xây dựng tập dữ liệu chất lượng cao của riêng mình. Để làm điều này, họ đã tuyển dụng 5,000 người và yêu cầu họ viết một số ví dụ sẽ được sử dụng để đào tạo một LLM tự hồi quy có khả năng tiếp tục văn bản mà không cần tiến hành đối thoại. Với sự trợ giúp của các biện pháp khuyến khích lớn, chẳng hạn như tiền thưởng cho việc viết những ví dụ hay nhất, họ đã có thể tập hợp được một đội ngũ ấn tượng. 15,000 tập dữ liệu mẫu.
Databricks đã thực hiện bước tiếp theo và kết hợp EleutherAI's Pythia-12B mô hình ngôn ngữ với giấy phép MIT và đào tạo lại nó trên tập dữ liệu của riêng họ, dẫn đến Dolly 2.0. Dolly 2.0 đã được phát hành theo giấy phép MIT, cùng với mã đi kèm. Với sự ra mắt của Dolly 2.0, ngành công nghiệp máy học hiện có một công cụ mạnh mẽ để tạo ra các mô hình ngôn ngữ mạnh mẽ theo cách tiết kiệm chi phí. Điều này có thể được sử dụng bởi các công ty và cá nhân, những người đang tìm cách tạo ra các ứng dụng mạnh mẽ có thể hiểu và xử lý ngôn ngữ phức tạp.
Nhìn chung, sự ra mắt của Dolly 2.0 vì 12B Chat-LLM mã nguồn mở đầu tiên có sẵn trên thị trường là một cột mốc quan trọng đối với ngành công nghiệp máy học. Bằng cách tận dụng giấy phép MIT và tạo tập dữ liệu chất lượng cao của riêng mình, Databricks đã làm cho các công ty cũng như cá nhân có thể tiếp cận các mô hình ngôn ngữ mạnh mẽ. Dolly 2.0 đại diện cho cuộc cách mạng hóa ngành công nghiệp và là một bước tiến quan trọng đối với máy học.
Người dùng hiện đang chờ các nhà phát triển định lượng Dolly thành 4 bit và tăng tốc để chạy trên CPU, cũng như phản hồi từ OpenAssistant, dự kiến sẽ cung cấp mô hình của họ trong vài ngày tới.
- NTIA đang yêu cầu nhận xét công khai về các quy định có thể điều chỉnh hệ thống AI Lượt thích ChatGPT để giúp chính quyền Biden đảm bảo rằng họ hoạt động như đã hứa. NTIA đã đưa ra một tuyên bố liên quan đến việc xây dựng quy tắc về trách nhiệm giải trình của AI, điều này có thể ngăn ngừa những rủi ro trong tương lai và giảm thiểu rủi ro từ các mối đe dọa giả định.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
