OpenAI Najavljuje Evals, softverski okvir otvorenog koda za procjenu AI modela
Ukratko
OpenAI nada se prikupljanju referentnih vrijednosti za procjenu AI modela poput GPT-4.
Tvrtka za obradu plaćanja, Stripe, već je koristila Evals za mjerenje točnosti svojih GPT-powered dokumentacijski alat.
OpenAI bit će odobravanje GPT-4 pristup na ograničeno vrijeme onima koji doprinose ocjenama visoke kvalitete.
Uz najavu o GPT-4, OpenAI je najavio softverski okvir otvorenog koda OpenAI Evals. Ovaj je alat osmišljen za stvaranje i pokretanje referentnih vrijednosti kojima se procjenjuje izvedba modela poput GPT-4. Uz Evals, OpenAI nada se prikupljanju referentnih vrijednosti za testiranje AI modela.
"Koristimo Evals za usmjeravanje razvoja naših modela (kako za identificiranje nedostataka tako i za sprječavanje regresija), a naši ga korisnici mogu primijeniti za praćenje izvedbe u svim verzijama modela (koje će sada redovito izlaziti) i razvoj integracija proizvoda", objašnjava tvrtka u a blog post.
Stripe, popularna tvrtka za obradu plaćanja, već je koristila Evals kako bi nadopunila svoje ljudske procjene i izmjerila točnost svojih GPT-powered dokumentacijski alat.
Programeri mogu koristiti Evals za izradu i pokretanje procjena koje:
- Koristite skupove podataka za generiranje upita,
- Izmjerite kvalitetu dovršetaka koje pruža an OpenAI modeli
- Usporedite izvedbu različitih skupova podataka i modela.
Uz open-source kod, programeri također mogu pisati i dodavati a custom Eval kao i nekoliko predložaka koji se mogu prilagoditi različitim mjerilima. Tvrtka je uključila predloške koji su bili najkorisniji interno, uključujući predložak za "ocjenjivanje prema modelu", koji GPT-4 može koristiti za provjeru vlastitog rada. Kao primjer koji treba slijediti, tvrtka je stvorila logičke zagonetke eval koja sadrži deset upita gdje GPT-4 ne uspije.
Evals je također kompatibilan s implementacijom postojećih referentnih vrijednosti, uključujući nekoliko prijenosnih računala koja implementiraju akademske referentne vrijednosti i nekoliko varijacija integriranja malih podskupova CoQA.
Dok razvojni programeri neće biti plaćeni za doprinos Evals, OpenAI bit će odobravanje GPT-4 pristup na ograničeno vrijeme onima koji doprinose "ocjenama visoke kvalitete".
Nakon toga dolazi najava Evalsa OpenAI nedavno je rekao prestao bi koristiti podatke koje klijenti predaju putem svog API-ja za obuku ili poboljšanje svojih modela osim ako se klijenti ne odluče uključiti. Tvrtka se pridružuje Meta-i u referentnim vrijednostima za masovno prikupljanje budući da potonji zadaje ljudima „pronalaženje kontradiktornih primjera koji zavaravaju trenutno stanje -art modeli” za svoje DynaBench platforma.
Pročitajte više:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Cindy je novinarka u Metaverse Post, pokrivajući teme povezane s web3, NFT, metaverse i AI, s fokusom na intervjue s Web3 igrači u industriji. Razgovarala je s više od 30 rukovoditelja na razini C i sve više, donoseći njihove dragocjene uvide čitateljima. Porijeklom iz Singapura, Cindy sada živi u Tbilisiju u Gruziji. Diplomirala je komunikacije i medijske studije na Sveučilištu Južne Australije i ima desetljeće iskustva u novinarstvu i pisanju. Stupite u kontakt s njom putem [e-pošta zaštićena] s predstavljanjima za novinare, najavama i prilikama za intervjue.
Više članaka
Cindy je novinarka u Metaverse Post, pokrivajući teme povezane s web3, NFT, metaverse i AI, s fokusom na intervjue s Web3 igrači u industriji. Razgovarala je s više od 30 rukovoditelja na razini C i sve više, donoseći njihove dragocjene uvide čitateljima. Porijeklom iz Singapura, Cindy sada živi u Tbilisiju u Gruziji. Diplomirala je komunikacije i medijske studije na Sveučilištu Južne Australije i ima desetljeće iskustva u novinarstvu i pisanju. Stupite u kontakt s njom putem [e-pošta zaštićena] s predstavljanjima za novinare, najavama i prilikama za intervjue.
