OpenAI Thông báo Đánh giá, Khung phần mềm nguồn mở để đánh giá các mô hình AI
Tóm lại
OpenAI hy vọng có thể huy động được các tiêu chuẩn cộng đồng để đánh giá các mô hình AI như GPT-4.
Công ty xử lý thanh toán, Stripe, đã sử dụng Evals để đo lường độ chính xác của GPT-công cụ tài liệu hỗ trợ.
OpenAI sẽ được cấp GPT-4 quyền truy cập trong một thời gian giới hạn cho những người đóng góp đánh giá chất lượng cao.
Bên cạnh thông báo về GPT-4, OpenAI đã công bố khung phần mềm mã nguồn mở OpenAI Đánh giá. Công cụ này được thiết kế để tạo và chạy các điểm chuẩn nhằm đánh giá hiệu suất của các mô hình như GPT-4. Với Đánh giá, OpenAI hy vọng sẽ thu được các tiêu chuẩn cộng đồng để thử nghiệm mô hình AI.
“Chúng tôi sử dụng Evals để hướng dẫn phát triển các mô hình của mình (cả xác định các thiếu sót và ngăn chặn hồi quy) và người dùng của chúng tôi có thể áp dụng nó để theo dõi hiệu suất trên các phiên bản mô hình (hiện sẽ ra mắt thường xuyên) và phát triển tích hợp sản phẩm,” công ty giải thích trong Một blog đăng bài.
Stripe, một công ty xử lý thanh toán nổi tiếng, đã sử dụng Evals để bổ sung cho các đánh giá về con người và đo lường độ chính xác của các kết quả của họ. GPT-công cụ tài liệu hỗ trợ.
Các nhà phát triển có thể sử dụng Evals để tạo và chạy các đánh giá:
- Sử dụng bộ dữ liệu để tạo lời nhắc,
- Đo lường chất lượng hoàn thành được cung cấp bởi một OpenAI kiểu mẫuvà
- So sánh hiệu suất trên các bộ dữ liệu và mô hình khác nhau.
Với mã nguồn mở, các nhà phát triển cũng có thể viết và thêm một đánh giá tùy chỉnh cũng như một số mẫu có thể đáp ứng các tiêu chuẩn khác nhau. Công ty đã đưa vào các mẫu hữu ích nhất trong nội bộ, bao gồm một mẫu dành cho “đánh giá được phân loại theo mô hình”, mẫu này GPT-4 có thể sử dụng để kiểm tra công việc của chính mình. Để làm ví dụ, công ty đã tạo ra một bản đánh giá các câu đố logic chứa XNUMX gợi ý trong đó GPT-4 thất bại
Đánh giá cũng tương thích với việc triển khai các điểm chuẩn hiện có, bao gồm một số sổ tay triển khai điểm chuẩn học tập và một số biến thể của việc tích hợp các tập hợp con nhỏ của CoQA.
Mặc dù các nhà phát triển sẽ không được trả tiền cho việc đóng góp Đánh giá, OpenAI sẽ được cấp GPT-4 quyền truy cập trong một thời gian giới hạn cho những người đóng góp “đánh giá chất lượng cao”.
Thông báo về Evals được đưa ra sau OpenAI gần đây cho biết nó sẽ ngừng sử dụng dữ liệu do khách hàng gửi qua API của mình để đào tạo hoặc cải thiện các mô hình của mình trừ khi khách hàng quyết định chọn tham gia. Công ty tham gia Meta trong các điểm chuẩn cung cấp dịch vụ cộng đồng khi công ty sau giao nhiệm vụ cho con người “tìm các ví dụ đối nghịch đánh lừa tình trạng hiện tại mô hình -art” cho nó Băng ghế dự bị nền tảng.
Tìm hiểu thêm:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Cindy là một nhà báo tại Metaverse Post, bao gồm các chủ đề liên quan đến web3, NFT, metaverse và AI, tập trung vào các cuộc phỏng vấn với Web3 người chơi trong ngành. Cô đã nói chuyện với hơn 30 giám đốc điều hành cấp C và ngày càng tăng, mang đến cho độc giả những hiểu biết sâu sắc có giá trị của họ. Xuất thân từ Singapore, Cindy hiện sống ở Tbilisi, Georgia. Cô có bằng Cử nhân về Nghiên cứu Truyền thông & Truyền thông của Đại học Nam Úc và có mười năm kinh nghiệm trong lĩnh vực báo chí và viết lách. Hãy liên lạc với cô ấy qua [email được bảo vệ] với các bài báo, thông báo và cơ hội phỏng vấn.
Xem thêm bài viết
Cindy là một nhà báo tại Metaverse Post, bao gồm các chủ đề liên quan đến web3, NFT, metaverse và AI, tập trung vào các cuộc phỏng vấn với Web3 người chơi trong ngành. Cô đã nói chuyện với hơn 30 giám đốc điều hành cấp C và ngày càng tăng, mang đến cho độc giả những hiểu biết sâu sắc có giá trị của họ. Xuất thân từ Singapore, Cindy hiện sống ở Tbilisi, Georgia. Cô có bằng Cử nhân về Nghiên cứu Truyền thông & Truyền thông của Đại học Nam Úc và có mười năm kinh nghiệm trong lĩnh vực báo chí và viết lách. Hãy liên lạc với cô ấy qua [email được bảo vệ] với các bài báo, thông báo và cơ hội phỏng vấn.
