OpenAI anunță Evals, un cadru software open-source pentru evaluarea modelelor AI
Pe scurt
OpenAI speră să facă un crowdsource benchmark-uri pentru evaluarea modelelor AI, cum ar fi GPT-4.
Compania de procesare a plăților, Stripe, a folosit deja Evals pentru a măsura acuratețea acestora GPT-instrument de documentare motorizat.
OpenAI va fi acordarea GPT-4 acces pe o perioadă limitată la cei care contribuie cu evaluări de înaltă calitate.
Alături de anunțul de GPT-4, OpenAI a anunțat cadrul de software open-source OpenAI Evaluări. Acest instrument este conceput pentru a crea și rula benchmark-uri care evaluează performanța modelelor precum GPT-4. Cu Evals, OpenAI speră să facă un crowdsource benchmark-uri pentru testarea modelelor AI.
„Folosim Evals pentru a ghida dezvoltarea modelelor noastre (atât pentru identificarea deficiențelor, cât și pentru prevenirea regresiilor), iar utilizatorii noștri le pot aplica pentru urmărirea performanței în versiunile de model (care vor apărea acum în mod regulat) și în evoluția integrărilor de produse”, explică compania în A blog.
Stripe, o companie populară de procesare a plăților, a folosit deja Evals pentru a-și completa evaluările umane și pentru a măsura acuratețea acestora. GPT-instrument de documentare motorizat.
Dezvoltatorii pot folosi Evals pentru a crea și rula evaluări care:
- Utilizați seturi de date pentru a genera solicitări,
- Măsurați calitatea completărilor oferite de an OpenAI model, și
- Comparați performanța pe diferite seturi de date și modele.
Cu codul open-source, dezvoltatorii pot, de asemenea, să scrie și să adauge un Eval personalizat precum și mai multe șabloane care pot găzdui diferite repere. Compania a inclus șabloane care au fost cele mai utile pe plan intern, inclusiv un șablon pentru „evaluări gradate pe model”, care GPT-4 poate folosi pentru a-și verifica propria activitate. Ca exemplu de urmat, compania a creat un eval de puzzle-uri logice care conține zece solicitări unde GPT-4 eșuează.
Evals este, de asemenea, compatibil cu implementarea benchmark-urilor existente, inclusiv mai multe notebook-uri care implementează benchmark-uri academice și câteva variante de integrare a unor subseturi mici de CoQA.
Deși dezvoltatorii nu vor fi plătiți pentru contribuția cu evaluări, OpenAI va fi acordarea GPT-4 acces pe o perioadă limitată la cei care contribuie cu „evaluări de înaltă calitate”.
Anunțul lui Evals vine după OpenAI a declarat recent ar înceta să mai folosească datele transmise de clienți prin intermediul API-ului său pentru a-și instrui sau îmbunătăți modelele, cu excepția cazului în care clienții decid să se înscrie. -modele de artă” pentru ea DynaBench platformă.
Citeşte mai mult:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Cindy este jurnalist la Metaverse Post, acoperind subiecte legate de web3, NFT, metavers și AI, cu accent pe interviuri cu Web3 jucători din industrie. Ea a vorbit cu peste 30 de directori de nivel C și nu mai mult, aducând cunoștințele lor valoroase cititorilor. Originară din Singapore, Cindy are acum sediul în Tbilisi, Georgia. Ea deține o diplomă de licență în Comunicații și Studii Media de la Universitatea din Australia de Sud și are un deceniu de experiență în jurnalism și scris. Luați legătura cu ea prin intermediul [e-mail protejat] cu prezentari de presă, anunțuri și oportunități de interviuri.
Mai multe articole
Cindy este jurnalist la Metaverse Post, acoperind subiecte legate de web3, NFT, metavers și AI, cu accent pe interviuri cu Web3 jucători din industrie. Ea a vorbit cu peste 30 de directori de nivel C și nu mai mult, aducând cunoștințele lor valoroase cititorilor. Originară din Singapore, Cindy are acum sediul în Tbilisi, Georgia. Ea deține o diplomă de licență în Comunicații și Studii Media de la Universitatea din Australia de Sud și are un deceniu de experiență în jurnalism și scris. Luați legătura cu ea prin intermediul [e-mail protejat] cu prezentari de presă, anunțuri și oportunități de interviuri.
