OpenAI Julkaisee Evalsin, avoimen lähdekoodin ohjelmistokehyksen tekoälymallien arviointiin
Lyhyesti
OpenAI toivoo voivansa kerätä vertailuarvoja tekoälymallien, kuten esim GPT-4.
Maksujenkäsittelyyritys Stripe on jo käyttänyt Evalsia mittaamaan niiden tarkkuutta GPT-käyttöinen dokumentointityökalu.
OpenAI tulee myöntämään GPT-4 pääsy rajoitetun ajan niille, jotka osallistuvat korkealaatuisiin evals.
Ilmoituksen ohella GPT-4, OpenAI on julkistanut avoimen lähdekoodin ohjelmistokehyksen OpenAI Evals. Tämä työkalu on suunniteltu luomaan ja suorittamaan vertailuarvoja, jotka arvioivat esimerkiksi mallien suorituskykyä GPT-4. Evalsin kanssa, OpenAI toivoo saavansa joukkolähteitä tekoälymallien testaamiseen.
"Käytämme Evalsia malliemme kehittämisen ohjaamiseen (sekä puutteiden tunnistamiseen että regressioiden estämiseen), ja käyttäjämme voivat soveltaa sitä malliversioiden suorituskyvyn seurantaan (jotka julkaistaan nyt säännöllisesti) ja kehittyviin tuoteintegraatioihin", yhtiö selittää. a blogi.
Suosittu maksujenkäsittelyyritys Stripe on jo käyttänyt Evalsia täydentämään ihmisten arvioita ja mittaamaan niiden tarkkuutta. GPT-käyttöinen dokumentointityökalu.
Kehittäjät voivat käyttää Evalsia arvioiden luomiseen ja suorittamiseen, jotka:
- Käytä tietojoukkoja kehotteiden luomiseen,
- Mittaa an:n tarjoamien valmistumisten laatua OpenAI mallija
- Vertaa suorituskykyä eri tietojoukkojen ja mallien välillä.
Avoimen lähdekoodin avulla kehittäjät voivat myös kirjoittaa ja lisätä a mukautettu Eval sekä useita malleja joka voi sisältää erilaisia vertailuarvoja. Yritys on sisällyttänyt malleja, joista on ollut eniten hyötyä sisäisesti, mukaan lukien malli "mallikohtaisille arvioinneille", jotka GPT-4 voi käyttää tarkistaakseen oman työnsä. Seurattavana esimerkkinä yritys on luonut logiikkapalapelin eval, joka sisältää kymmenen kehotetta missä GPT-4 epäonnistuu.
Evals on myös yhteensopiva olemassa olevien vertailuarvojen toteuttamisen kanssa, mukaan lukien useat muistikirjat, jotka toteuttavat akateemisia vertailuarvoja, ja muutama muunnelma CoQA:n pienten osajoukkojen integroimisesta.
Vaikka kehittäjille ei makseta Evalsin osallistumisesta, OpenAI tulee myöntämään GPT-4 pääsy rajoitetun ajan niille, jotka lähettävät "korkealaatuisia arvioita".
Evalsin ilmoitus tulee tämän jälkeen OpenAI sanoi hiljattain se lopettaisi asiakkaiden API:n kautta toimittamien tietojen käyttämisen mallien kouluttamiseen tai parantamiseen, elleivät asiakkaat päätä osallistua. Yritys liittyy Metan joukkolähteen vertailuarvoihin, koska jälkimmäinen antaa ihmisille "löytää vastustavia esimerkkejä, jotka huijaavat nykytilannetta. -taidemallit” sen puolesta DynaBench alustalla.
Lue lisää:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Cindy on toimittaja osoitteessa Metaverse Post, joka kattaa aiheeseen liittyviä aiheita web3, NFT, metaverse ja AI, keskittyen haastatteluihin Web3 alan toimijoita. Hän on puhunut yli 30 C-tason johtajalle ja tuonut heidän arvokkaita oivalluksiaan lukijoille. Alunperin Singaporesta kotoisin oleva Cindy on nykyään Tbilisissä, Georgiassa. Hänellä on kandidaatin tutkinto viestinnästä ja mediatutkimuksesta Etelä-Australian yliopistosta, ja hänellä on vuosikymmenen kokemus journalismista ja kirjoittamisesta. Ota häneen yhteyttä kautta [sähköposti suojattu] lehdistöpuheilla, ilmoituksilla ja haastattelumahdollisuuksilla.
lisää artikkeleita
Cindy on toimittaja osoitteessa Metaverse Post, joka kattaa aiheeseen liittyviä aiheita web3, NFT, metaverse ja AI, keskittyen haastatteluihin Web3 alan toimijoita. Hän on puhunut yli 30 C-tason johtajalle ja tuonut heidän arvokkaita oivalluksiaan lukijoille. Alunperin Singaporesta kotoisin oleva Cindy on nykyään Tbilisissä, Georgiassa. Hänellä on kandidaatin tutkinto viestinnästä ja mediatutkimuksesta Etelä-Australian yliopistosta, ja hänellä on vuosikymmenen kokemus journalismista ja kirjoittamisesta. Ota häneen yhteyttä kautta [sähköposti suojattu] lehdistöpuheilla, ilmoituksilla ja haastattelumahdollisuuksilla.
