Guanaco nổi lên như một nguồn mở tiềm năng ChatGPT Đối thủ
Tóm lại
Guanaco, một chatbot mã nguồn mở được phát triển bởi các nhà nghiên cứu của Đại học Washington, mong muốn cạnh tranh với ChatGPT trong khi cần ít thời gian và tiền bạc hơn cho việc đào tạo.
Tuy nhiên, một nghiên cứu mới đã đặt câu hỏi về hiệu quả của các mô hình như Alpaca.
Các nhà nghiên cứu từ Đại học Washington đã tiết lộ guanaco, một chatbot mã nguồn mở nhằm cạnh tranh về hiệu suất của ChatGPT đồng thời giảm đáng kể thời gian và nguồn lực cần thiết cho việc đào tạo. Được đặt theo tên một người họ hàng Nam Mỹ của llamas, Guanaco được xây dựng trên LLaMA mô hình ngôn ngữ và kết hợp một phương pháp tinh chỉnh mới gọi là QLoRA.
Những người tạo ra Guanaco tuyên bố rằng nó đạt được hiệu suất tương đương với ChatGPT nhưng có thể được đào tạo chỉ trong một ngày. Thành tích đáng chú ý này được thực hiện nhờ QLoRA, một kỹ thuật tinh chỉnh mô hình ngôn ngữ giúp giảm đáng kể dung lượng bộ nhớ GPU cần thiết cho việc đào tạo. Trong khi ChatGPT yêu cầu bộ nhớ GPU khổng lồ 780 GB đối với một mô hình có 65 tỷ tham số, phiên bản đơn giản nhất của Guanaco chỉ yêu cầu 5 GB.
Với những mức tăng hiệu quả ấn tượng này, Guanaco và các mô hình mã nguồn mở tương tự đang thách thức quan điểm cho rằng đào tạo tốn kém là cần thiết cho mô hình ngôn ngữ hiện đại. Sự xuất hiện của Guanaco, Alpacavà người mẫu khác chuyến tàu đó với chi phí thấp đã dẫn đến suy đoán về tương lai của những mẫu xe đắt tiền như GPT.
Tuy nhiên, không phải ai cũng đồng ý với quan điểm lạc quan này về các mô hình mã nguồn mở. Một nghiên cứu gần đây được thực hiện bởi Đại học California đã nghi ngờ về khả năng của những mẫu xe như alpacas và đặt ra câu hỏi về tiềm năng thực sự của chúng. Ban đầu, các nhà nghiên cứu đã đưa ra kết luận tương tự với những người tạo ra Guanaco: khi được đào tạo đúng cách, các mô hình nguồn mở có thể cạnh tranh với nhau. GPT trong khả năng. Các thử nghiệm sâu hơn cho thấy một hạn chế đáng kể. Những người mẫu “Dolly” này, đôi khi được gọi như vậy, rất giỏi trong việc bắt chước các giải pháp cho các vấn đề mà họ gặp phải trong quá trình đào tạo. Tuy nhiên, chúng gặp khó khăn để thực hiện tốt các nhiệm vụ mà chúng chưa được tiếp xúc rõ ràng, tụt hậu so với các mẫu cao cấp hơn.
Tiết lộ này gợi ý rằng triệu đô đầu tư vào đào tạo GPT và các mô hình tương tự có thể không phải là vô ích. Trong khi Guanaco và các đối tác của nó cho thấy những kết quả đầy hứa hẹn, vẫn có những lĩnh vực mà các mô hình tinh vi hơn vượt trội. Điều đáng chú ý là nghiên cứu được thực hiện bởi Đại học California thách thức quan niệm phổ biến rằng các mô hình nguồn mở có thể thay thế hoàn toàn các mô hình đắt tiền như GPT.
Khi lĩnh vực xử lý ngôn ngữ tự nhiên phát triển, sẽ rất thú vị khi xem Guanaco và các mô hình nguồn mở khác công bằng như thế nào với các mô hình đã được thiết lập. điểm chuẩn như ChatGPT. Tỷ lệ đổi mới cao và nghiên cứu liên tục chắc chắn sẽ tác động đến tương lai của các mô hình ngôn ngữ và xác định mô hình nào trở thành lựa chọn hàng đầu cho các ứng dụng cụ thể.
- Dolly 2.0, Chat-LLM 12B mã nguồn mở đầu tiên được bán trên thị trường, đã được công bố của Databricks. Đây là một bước tiến đáng kể cho ngành công nghiệp máy học, cho phép các doanh nghiệp tạo ra các mô hình ngôn ngữ hiệu quả mà không cần đầu tư vào các cụm GPU tốn kém. Databricks đã thu hút 5,000 nhân viên để tạo mô hình ngôn ngữ nguồn mở của họ, bao gồm mô hình ngôn ngữ Pythia-12B của EleutherAI theo giấy phép MIT. Dolly 2.0, cũng như mã liên quan, có sẵn theo giấy phép MIT. Dolly 2.0 có tiềm năng thay đổi ngành và là một bước tiến đáng kể cho máy học.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
