OpenAI Pristato Evals – atvirojo kodo programinės įrangos sistemą, skirtą AI modeliams įvertinti
Trumpai
OpenAI tikisi sutelkti dėmesį į etalonus, skirtus AI modeliams, pvz., įvertinti GPT-4.
Mokėjimų apdorojimo įmonė „Stripe“ jau naudojo „Evals“, kad išmatuotų jų tikslumą GPT- maitinamas dokumentavimo įrankis.
OpenAI bus suteikta GPT-4 ribotą laiką prieiga tiems, kurie prisideda prie aukštos kokybės eval.
Kartu su pranešimu apie GPT-4, OpenAI paskelbė apie atvirojo kodo programinės įrangos sistemą OpenAI Evalsas. Šis įrankis skirtas sukurti ir vykdyti gaires, įvertinančias tokių modelių našumą kaip GPT-4. Su Evalsu OpenAI tikisi sutelkti AI modelių testavimo etalonus.
„Naudojame Evals, siekdami vadovauti savo modelių kūrimui (tiek nustatyti trūkumus, tiek užkirsti kelią regresijai), o mūsų vartotojai gali jį taikyti norėdami stebėti modelių versijų (kurios dabar bus reguliariai išleistos) našumą ir tobulinti produktų integravimą“, – aiškina bendrovė. a dienoraštyje.
„Stripe“, populiari mokėjimų apdorojimo įmonė, jau naudojo „Evals“, kad papildytų savo žmonių vertinimus ir išmatuotų jų tikslumą. GPT- maitinamas dokumentavimo įrankis.
Kūrėjai gali naudoti Evals kurdami ir vykdydami vertinimus, kurie:
- Naudokite duomenų rinkinius raginimams generuoti,
- Išmatuokite užbaigimų kokybę, kurią teikia an OpenAI modelisir
- Palyginkite skirtingų duomenų rinkinių ir modelių našumą.
Naudodami atvirojo kodo kodą kūrėjai taip pat gali rašyti ir pridėti a užsakymą Eval taip pat keli šablonai kurie gali atitikti skirtingus etalonus. Bendrovė įtraukė šablonus, kurie buvo naudingiausi viduje, įskaitant šabloną „pagal modelio įvertinimą“, kuris GPT-4 gali naudoti savo darbui patikrinti. Kaip pavyzdį, bendrovė sukūrė loginių galvosūkių eval, kuriame yra dešimt nurodymų, kur GPT-4 nepavyksta.
Evals taip pat suderinamas su esamų etalonų įgyvendinimu, įskaitant kelis nešiojamuosius kompiuterius, įgyvendinančius akademinius etalonus, ir keletą variantų, integruojančių mažus CoQA pogrupius.
Nors kūrėjams nebus mokama už prisidėjimą prie „Evals“, OpenAI bus suteikta GPT-4 ribotą laiką prieiga tiems, kurie prisideda prie „aukštos kokybės įvertinimų“.
Evalsas paskelbiamas vėliau OpenAI neseniai pasakė, ji nustotų naudoti klientų per API pateiktus duomenis savo modeliams apmokyti ar tobulinti, nebent klientai nuspręstų prisijungti. Bendrovė prisijungia prie Meta, siekdama sutelkti dėmesį į etalonus, nes pastaroji paveda žmonėms „rasti priešiškų pavyzdžių, kurie apgaudinėja dabartinę padėtį. -meno modeliai“ už jį DynaBench platforma.
Plačiau paskaitykite čia:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Cindy yra žurnalistė Metaverse Post, apimantis temas, susijusias su web3, NFT, metaverse ir AI, daugiausia dėmesio skiriant interviu su Web3 pramonės žaidėjų. Ji kalbėjosi su daugiau nei 30 C lygio vadovų ir skaičiuoja, pateikdama jų vertingas įžvalgas skaitytojams. Iš Singapūro kilusi Cindy dabar įsikūrusi Tbilisyje, Gruzijoje. Ji Pietų Australijos universitete yra įgijusi komunikacijos ir žiniasklaidos studijų bakalauro laipsnį ir turi dešimtmetį žurnalistikos ir rašymo patirties. Susisiekite su ja per [apsaugotas el. paštu] su pranešimais spaudai, pranešimais ir interviu galimybėmis.
Daugiau straipsnių
Cindy yra žurnalistė Metaverse Post, apimantis temas, susijusias su web3, NFT, metaverse ir AI, daugiausia dėmesio skiriant interviu su Web3 pramonės žaidėjų. Ji kalbėjosi su daugiau nei 30 C lygio vadovų ir skaičiuoja, pateikdama jų vertingas įžvalgas skaitytojams. Iš Singapūro kilusi Cindy dabar įsikūrusi Tbilisyje, Gruzijoje. Ji Pietų Australijos universitete yra įgijusi komunikacijos ir žiniasklaidos studijų bakalauro laipsnį ir turi dešimtmetį žurnalistikos ir rašymo patirties. Susisiekite su ja per [apsaugotas el. paštu] su pranešimais spaudai, pranešimais ir interviu galimybėmis.
