OpenAI Teatab Evalsi, avatud lähtekoodiga tarkvararaamistiku AI mudelite hindamiseks
Põgusalt
OpenAI loodab koondada võrdlusaluseid selliste AI mudelite hindamiseks nagu GPT-4.
Maksetöötlusettevõte Stripe on juba kasutanud Evalsi oma maksete täpsuse mõõtmiseks GPT-toitega dokumenteerimistööriist.
OpenAI hakkab andma GPT-4 piiratud aja jooksul juurdepääs neile, kes panustavad kvaliteetsete eval.
Koos väljakuulutamisega GPT-4, OpenAI on välja kuulutanud avatud lähtekoodiga tarkvararaamistiku OpenAI Evals. See tööriist on mõeldud selliste mudelite toimivust hindavate etalonide loomiseks ja käitamiseks GPT-4. Koos Evalsiga, OpenAI loodab koondada AI mudeli testimise võrdlusaluseid.
"Kasutame Evalsi oma mudelite väljatöötamise suunamiseks (nii puuduste tuvastamiseks kui ka regressioonide ennetamiseks) ning meie kasutajad saavad seda rakendada mudeliversioonide (mis ilmuvad nüüd regulaarselt) jõudluse jälgimiseks ja tooteintegratsioonide arendamiseks," selgitab ettevõte. a blogi postitus.
Populaarne maksete töötlemise ettevõte Stripe on juba kasutanud Evalsi oma inimeste hinnangute täiendamiseks ja nende täpsuse mõõtmiseks. GPT-toitega dokumenteerimistööriist.
Arendajad saavad kasutada Evalsi hindamiste loomiseks ja käitamiseks, mis:
- Kasutage viipade loomiseks andmekogumeid,
- Mõõtke lõpetamiste kvaliteeti, mida pakub an OpenAI mudelja
- Võrrelge erinevate andmekogumite ja mudelite toimivust.
Avatud lähtekoodiga saavad arendajad kirjutada ja lisada ka a kohandatud Eval sama hästi kui mitu malli mis võivad hõlmata erinevaid võrdlusaluseid. Ettevõte on lisanud malle, mis on olnud ettevõttesiseselt kõige kasulikumad, sealhulgas malli "mudelipõhise hindamise" jaoks, mis GPT-4 saab kasutada oma töö kontrollimiseks. Järgitava näitena on ettevõte loonud loogikamõistatuste eval, mis sisaldab kümmet viipa, kus GPT-4 ebaõnnestub.
Evals ühildub ka olemasolevate võrdlusnäitajate rakendamisega, sealhulgas mitmete sülearvutitega, mis rakendavad akadeemilisi võrdlusaluseid, ja mõne CoQA väikeste alamhulkade integreerimise variatsioonidega.
Kuigi arendajatele ei maksta Evalsi panuse eest, OpenAI hakkab andma GPT-4 piiratud aja jooksul juurdepääs neile, kes panustavad "kvaliteetse evali".
Evalsi teade tuleb pärast OpenAI ütles hiljuti ta lõpetaks oma API kaudu klientide esitatud andmete kasutamise oma mudelite koolitamiseks või täiustamiseks, välja arvatud juhul, kui kliendid otsustavad osaleda. Ettevõte ühineb Metaga ühishanke võrdlusalustes, kuna viimane annab inimestele ülesandeks "leida vastuolulisi näiteid, mis lolliksid praegust olukorda. -kunstimudelid” selle eest DynaBench platvormi.
Loe rohkem:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Cindy on ajakirjanik Metaverse Post, mis käsitleb seotud teemasid web3, NFT, metaverse ja AI, keskendudes intervjuudele kasutajaga Web3 tööstuse mängijad. Ta on vestelnud enam kui 30 C-taseme juhiga, tuues lugejateni nende väärtuslikke teadmisi. Algselt Singapurist pärit Cindy asub nüüd Gruusias Thbilisis. Tal on Lõuna-Austraalia ülikoolis bakalaureusekraad kommunikatsiooni- ja meediauuringute alal ning tal on kümneaastane kogemus ajakirjanduses ja kirjutamises. Võtke temaga ühendust kaudu [meiliga kaitstud] pressikõnede, teadaannete ja intervjuuvõimalustega.
Veel artikleid
Cindy on ajakirjanik Metaverse Post, mis käsitleb seotud teemasid web3, NFT, metaverse ja AI, keskendudes intervjuudele kasutajaga Web3 tööstuse mängijad. Ta on vestelnud enam kui 30 C-taseme juhiga, tuues lugejateni nende väärtuslikke teadmisi. Algselt Singapurist pärit Cindy asub nüüd Gruusias Thbilisis. Tal on Lõuna-Austraalia ülikoolis bakalaureusekraad kommunikatsiooni- ja meediauuringute alal ning tal on kümneaastane kogemus ajakirjanduses ja kirjutamises. Võtke temaga ühendust kaudu [meiliga kaitstud] pressikõnede, teadaannete ja intervjuuvõimalustega.
