OpenAI Izsludina Evals — atvērtā pirmkoda programmatūras ietvaru AI modeļu novērtēšanai
Īsumā
OpenAI cer apkopot etalonus, lai novērtētu AI modeļus, piemēram, GPT-4.
Maksājumu apstrādes uzņēmums Stripe jau ir izmantojis Evals, lai izmērītu to precizitāti GPT- darbināms dokumentācijas rīks.
OpenAI piešķirs GPT-4 ierobežotu laiku piekļuve tiem, kas sniedz augstas kvalitātes evals.
Līdzās paziņojumam par GPT-4, OpenAI ir paziņojis par atvērtā pirmkoda programmatūras ietvaru OpenAI Evals. Šis rīks ir paredzēts, lai izveidotu un palaistu etalonus, kas novērtē tādu modeļu veiktspēju kā GPT-4. Ar Evalsu, OpenAI cer piesaistīt etalonus AI modeļu testēšanai.
"Mēs izmantojam Evals, lai vadītu mūsu modeļu izstrādi (gan identificējot trūkumus, gan novēršot regresijas), un mūsu lietotāji to var izmantot, lai izsekotu veiktspēju dažādās modeļu versijās (kas tagad iznāks regulāri) un attīstītu produktu integrāciju," uzņēmums skaidro. a blog post.
Stripe, populārs maksājumu apstrādes uzņēmums, jau ir izmantojis Evals, lai papildinātu savus cilvēku novērtējumus un mērītu viņu veikto maksājumu precizitāti. GPT- darbināms dokumentācijas rīks.
Izstrādātāji var izmantot Evals, lai izveidotu un palaistu novērtējumus, kas:
- Izmantojiet datu kopas, lai ģenerētu uzvednes,
- Novērtējiet pabeigšanas kvalitāti, ko nodrošina an OpenAI modelis, un
- Salīdziniet veiktspēju dažādās datu kopās un modeļos.
Izmantojot atvērtā pirmkoda kodu, izstrādātāji var arī rakstīt un pievienot a pasūtījuma Eval kā arī vairākas veidnes kas var pielāgot dažādus etalonus. Uzņēmums ir iekļāvis veidnes, kas ir bijušas visnoderīgākās iekšēji, tostarp veidni “modeļa vērtēšanai”, kas GPT-4 var izmantot, lai pārbaudītu savu darbu. Kā piemēru, kas jāievēro, uzņēmums ir izveidojis loģikas mīklu eval, kas satur desmit uzvednes, kur GPT-4 neizdodas.
Evals ir saderīgs arī ar esošo etalonu ieviešanu, tostarp vairākiem piezīmjdatoriem, kas ievieš akadēmiskos etalonus, un dažus variantus, kas integrē nelielas CoQA apakškopas.
Lai gan izstrādātājiem netiks maksāts par Evals ieguldījumu, OpenAI piešķirs GPT-4 ierobežotu laiku piekļuve tiem, kas sniedz "augstas kvalitātes evals".
Evals paziņojums nāk pēc tam OpenAI nesen teica tas pārtrauks izmantot datus, ko klienti ir iesnieguši, izmantojot API -mākslas modeļi” par to DynaBench platformas.
Lasīt vairāk:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Sindija ir žurnāliste Metaverse Post, aptverot tēmas, kas saistītas ar web3, NFT, metaverse un AI, koncentrējoties uz intervijām ar Web3 nozares spēlētājiem. Viņa ir runājusi ar vairāk nekā 30 C līmeņa vadītājiem, sniedzot lasītājiem viņu vērtīgās atziņas. Sākotnēji no Singapūras, Sindija tagad atrodas Tbilisi, Džordžijas štatā. Viņai ir bakalaura grāds komunikāciju un mediju studijās Dienvidaustrālijas Universitātē, un viņai ir desmit gadu pieredze žurnālistikā un rakstniecībā. Sazinieties ar viņu, izmantojot [e-pasts aizsargāts] ar preses prezentācijām, paziņojumiem un interviju iespējām.
Vairāk rakstus
Sindija ir žurnāliste Metaverse Post, aptverot tēmas, kas saistītas ar web3, NFT, metaverse un AI, koncentrējoties uz intervijām ar Web3 nozares spēlētājiem. Viņa ir runājusi ar vairāk nekā 30 C līmeņa vadītājiem, sniedzot lasītājiem viņu vērtīgās atziņas. Sākotnēji no Singapūras, Sindija tagad atrodas Tbilisi, Džordžijas štatā. Viņai ir bakalaura grāds komunikāciju un mediju studijās Dienvidaustrālijas Universitātē, un viņai ir desmit gadu pieredze žurnālistikā un rakstniecībā. Sazinieties ar viņu, izmantojot [e-pasts aizsargāts] ar preses prezentācijām, paziņojumiem un interviju iespējām.
