OpenAI Yapay Zeka Modellerini Değerlendirmek İçin Açık Kaynaklı Bir Yazılım Çerçevesi olan Evals'ı Duyurdu
Kısaca
OpenAI gibi yapay zeka modellerini değerlendirmek için kitle kaynak karşılaştırmaları yapmayı umuyor GPT-4.
Ödeme işleme şirketi Stripe, ödemelerinin doğruluğunu ölçmek için Evals'ı zaten kullandı. GPT-destekli dokümantasyon aracı.
OpenAI hibe edecek GPT-4 Yüksek kaliteli değerlendirmelere katkıda bulunanlara sınırlı bir süre için erişim.
duyurusunun yanı sıra GPT-4, OpenAI açık kaynaklı yazılım çerçevesini duyurdu OpenAI Evals. Bu araç, aşağıdaki gibi modellerin performansını değerlendiren kıyaslamalar oluşturmak ve çalıştırmak için tasarlanmıştır: GPT-4. Evals'la birlikte, OpenAI yapay zeka modeli testi için kitle kaynak karşılaştırması yapmayı umuyor.
Şirket, "Modellerimizin geliştirilmesine rehberlik etmesi için (hem eksiklikleri belirlemek hem de gerilemeleri önlemek) Evals'ı kullanıyoruz ve kullanıcılarımız bunu, model sürümleri (artık düzenli olarak çıkacak) ve gelişen ürün entegrasyonları genelinde performansı izlemek için uygulayabilir" diye açıklıyor. A blog yazısı.
Popüler bir ödeme işleme şirketi olan Stripe, insan değerlendirmelerini tamamlamak ve ödemelerinin doğruluğunu ölçmek için Evals'ı zaten kullanıyor. GPT-destekli dokümantasyon aracı.
Geliştiriciler, Değerlendirmeleri şu özelliklere sahip değerlendirmeler oluşturmak ve çalıştırmak için kullanabilir:
- Bilgi istemleri oluşturmak için veri kümelerini kullanın,
- tarafından sağlanan tamamlamaların kalitesini ölçün. OpenAI model, ve
- Farklı veri kümeleri ve modellerdeki performansı karşılaştırın.
Açık kaynak koduyla, geliştiriciler ayrıca özel Değerlendirme yanısıra birkaç şablon farklı kriterleri barındırabilir. Şirket, "model dereceli değerlendirmeler" için bir şablon da dahil olmak üzere şirket içinde en yararlı olan şablonları dahil etmiştir. GPT-4 kendi çalışmasını kontrol etmek için kullanabilir. İzlenecek bir örnek olarak şirket, on istem içeren bir mantık bulmacası değerlendirmesi oluşturdu; GPT-4 başarısız olur.
Evals ayrıca, akademik ölçütleri uygulayan birkaç not defteri ve CoQA'nın küçük alt kümelerini entegre eden birkaç varyasyon da dahil olmak üzere mevcut ölçütlerin uygulanmasıyla da uyumludur.
Geliştiricilere Değerlendirmelere katkıda bulunmaları için ödeme yapılmayacak olsa da, OpenAI hibe edecek GPT-4 "Yüksek kaliteli değerlendirmelere" katkıda bulunanlara sınırlı bir süre için erişim.
Evals'ın duyurusu ardından geliyor OpenAI geçenlerde dedi müşteriler katılmayı seçmedikçe, modellerini eğitmek veya iyileştirmek için müşterilerin API'si aracılığıyla sunduğu verileri kullanmayı bırakacaktır. Şirket, "mevcut durumu kandıran düşmanca örnekler bulmakla" insanları görevlendirdiği için kitle kaynak kullanımı kıyaslamalarında Meta'ya katılır. -sanat modelleri” için DynaBench platformu.
Daha fazla oku:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Cindy bir gazetecidir. Metaverse Postile ilgili konuları kapsayan web3, NFT, metaverse ve AI ile yapılan görüşmelere odaklanarak Web3 endüstri oyuncuları. 30'dan fazla C düzeyindeki yöneticiyle konuştu ve onların değerli görüşlerini okuyuculara aktardı. Aslen Singapurlu olan Cindy şu anda Gürcistan'ın Tiflis şehrinde yaşıyor. Güney Avustralya Üniversitesi'nden İletişim ve Medya Çalışmaları alanında lisans derecesine sahiptir ve gazetecilik ve yazarlık alanında on yıllık deneyime sahiptir. Onunla iletişime geçin [e-posta korumalı] basın açıklamaları, duyurular ve röportaj imkanları ile.
Daha fazla haber
Cindy bir gazetecidir. Metaverse Postile ilgili konuları kapsayan web3, NFT, metaverse ve AI ile yapılan görüşmelere odaklanarak Web3 endüstri oyuncuları. 30'dan fazla C düzeyindeki yöneticiyle konuştu ve onların değerli görüşlerini okuyuculara aktardı. Aslen Singapurlu olan Cindy şu anda Gürcistan'ın Tiflis şehrinde yaşıyor. Güney Avustralya Üniversitesi'nden İletişim ve Medya Çalışmaları alanında lisans derecesine sahiptir ve gazetecilik ve yazarlık alanında on yıllık deneyime sahiptir. Onunla iletişime geçin [e-posta korumalı] basın açıklamaları, duyurular ve röportaj imkanları ile.
