OpenAI Süni intellekt modellərinin qiymətləndirilməsi üçün açıq mənbəli proqram çərçivəsi olan Qiymətləndirmələri elan edir
Qısaca
OpenAI kimi süni intellekt modellərini qiymətləndirmək üçün krowdsource etalonlarına ümid edir GPT-4.
Ödənişləri emal edən Stripe şirkəti artıq onların dəqiqliyini ölçmək üçün Evals-dan istifadə edib GPT-gücləndirilmiş sənədləşdirmə vasitəsi.
OpenAI verilməsi olacaq GPT-4 yüksək keyfiyyətli qiymətləndirmələrə töhfə verənlər üçün məhdud müddətə çıxış.
elanı ilə yanaşı GPT-4, OpenAI açıq mənbə proqram təminatı çərçivəsini elan etdi OpenAI Qiymətləndirmələr. Bu alət kimi modellərin performansını qiymətləndirən meyarlar yaratmaq və işə salmaq üçün nəzərdə tutulmuşdur GPT-4. Evals ilə, OpenAI AI model sınağı üçün kraudsorsun meyarlarına ümid edir.
"Biz modellərimizin inkişafına rəhbərlik etmək üçün Evals-dan istifadə edirik (həm çatışmazlıqları müəyyən etmək, həm də reqressiyaların qarşısını almaq) və istifadəçilərimiz onu model versiyaları (indi mütəmadi olaraq çıxacaq) və inkişaf edən məhsul inteqrasiyaları üzrə performansı izləmək üçün tətbiq edə bilərlər" deyə şirkət izah edir. a blog.
Məşhur ödəniş emalı şirkəti olan Stripe, insan qiymətləndirmələrini tamamlamaq və onların düzgünlüyünü ölçmək üçün artıq Evals-dan istifadə etmişdir. GPT-gücləndirilmiş sənədləşdirmə vasitəsi.
Tərtibatçılar qiymətləndirmələr yaratmaq və həyata keçirmək üçün Evals-dan istifadə edə bilərlər:
- İstiqamətlər yaratmaq üçün məlumat dəstlərindən istifadə edin,
- tərəfindən təmin edilən tamamlamaların keyfiyyətini ölçün OpenAI modelvə
- Fərqli verilənlər bazası və modellər üzrə performansı müqayisə edin.
Açıq mənbə kodu ilə tərtibatçılar həmçinin a yaza və əlavə edə bilərlər xüsusi Qiymətləndirmə kimi bir neçə şablon müxtəlif meyarları özündə cəmləşdirə bilər. Şirkət daxildə ən faydalı olan şablonları, o cümlədən “model dərəcəli qiymətləndirmələr” üçün şablon daxil etmişdir. GPT-4 öz işini yoxlamaq üçün istifadə edə bilər. Təqib etmək üçün bir nümunə olaraq, şirkət harada on göstərişdən ibarət bir məntiq bulmacaları yaratdı GPT-4 uğursuz olur.
Evals həmçinin akademik meyarları həyata keçirən bir neçə notebook və CoQA-nın kiçik alt dəstlərinin inteqrasiyasının bir neçə variantı da daxil olmaqla, mövcud etalonların tətbiqi ilə uyğun gəlir.
Tərtibatçılara Qiymətləndirmələrə töhfə vermək üçün ödəniş alınmayacaq, OpenAI verilməsi olacaq GPT-4 “yüksək keyfiyyətli qiymətləndirmələrə” töhfə verənlər üçün məhdud müddətə çıxış.
Evals elanı sonra gəlir OpenAI yaxınlarda bildirib Müştərilər qoşulmağa qərar verməsələr, öz API vasitəsilə müştərilər tərəfindən təqdim olunan məlumatlardan istifadəni dayandıracaq və ya onların modellərini təkmilləşdirmək üçün istifadə etməyi dayandıracaqlar. Şirkət Meta-ya kraudsorsinq meyarlarına qoşulur, çünki sonuncu vəzifəsi insanlara “hazırkı vəziyyəti aldadan rəqib nümunələr tapmaqdır”. -incəsənət modelləri” DynaBench platform.
Daha ətraflı:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Sindi jurnalistdir Metaverse Postilə bağlı mövzuları əhatə edir web3, NFT, metaverse və AI ilə müsahibələrə diqqət yetirərək Web3 sənaye oyunçuları. O, 30-dan çox C səviyyəli icraçı ilə danışıb və onların dəyərli fikirlərini oxuculara çatdırıb. Əslən Sinqapurdan olan Sindi hazırda Gürcüstanın Tbilisi şəhərində yerləşir. O, Cənubi Avstraliya Universitetində Kommunikasiya və Media Tədqiqatları üzrə bakalavr dərəcəsinə malikdir və jurnalistika və yazı sahəsində onillik təcrübəyə malikdir. vasitəsilə onunla əlaqə saxlayın [e-poçt qorunur] mətbuat meydançaları, elanlar və müsahibə imkanları ilə.
Ətraflı məqalələr
Sindi jurnalistdir Metaverse Postilə bağlı mövzuları əhatə edir web3, NFT, metaverse və AI ilə müsahibələrə diqqət yetirərək Web3 sənaye oyunçuları. O, 30-dan çox C səviyyəli icraçı ilə danışıb və onların dəyərli fikirlərini oxuculara çatdırıb. Əslən Sinqapurdan olan Sindi hazırda Gürcüstanın Tbilisi şəhərində yerləşir. O, Cənubi Avstraliya Universitetində Kommunikasiya və Media Tədqiqatları üzrə bakalavr dərəcəsinə malikdir və jurnalistika və yazı sahəsində onillik təcrübəyə malikdir. vasitəsilə onunla əlaqə saxlayın [e-poçt qorunur] mətbuat meydançaları, elanlar və müsahibə imkanları ilə.
