OpenAI annuncia Evals, un framework software open source per la valutazione dei modelli di intelligenza artificiale
In Breve
OpenAI spera di raccogliere benchmark in crowdsourcing per valutare modelli di intelligenza artificiale come GPT-4.
La società di elaborazione dei pagamenti, Stripe, ha già utilizzato Evals per misurare l'accuratezza dei propri GPTstrumento di documentazione potenziato.
OpenAI concederà GPT-4 accesso per un periodo limitato a coloro che contribuiscono con valutazioni di alta qualità.
Accanto all'annuncio di GPT-4, OpenAI ha annunciato il framework software open-source OpenAI Valutazioni. Questo strumento è progettato per creare ed eseguire benchmark che valutino le prestazioni di modelli come GPT-4. Con Evals, OpenAI spera di raccogliere in crowdsourcing benchmark per il test del modello di intelligenza artificiale.
"Utilizziamo Evals per guidare lo sviluppo dei nostri modelli (identificando sia le carenze che prevenendo le regressioni) e i nostri utenti possono applicarlo per monitorare le prestazioni tra le versioni del modello (che ora usciranno regolarmente) e per evolvere le integrazioni dei prodotti", spiega la società in UN post sul blog.
Stripe, una famosa società di elaborazione dei pagamenti, ha già utilizzato Evals per integrare le sue valutazioni umane e misurarne l'accuratezza GPTstrumento di documentazione potenziato.
Gli sviluppatori possono utilizzare Evals per creare ed eseguire valutazioni che:
- Utilizzare i set di dati per generare prompt,
- Misurare la qualità dei completamenti forniti da an OpenAI modelloe
- Confronta le prestazioni tra diversi set di dati e modelli.
Con il codice open source, gli sviluppatori possono anche scrivere e aggiungere a valutazione personalizzata così come diversi modelli che possono adattarsi a parametri di riferimento diversi. L'azienda ha incluso modelli che si sono rivelati molto utili a livello interno, compreso un modello per le "valutazioni basate su modelli", che GPT-4 può utilizzare per verificare il proprio lavoro. Come esempio da seguire, l'azienda ha creato una valutazione di puzzle logici contenente dieci suggerimenti su dove GPT-4 non riesce.
Evals è anche compatibile con l'implementazione di benchmark esistenti, inclusi diversi notebook che implementano benchmark accademici e alcune varianti dell'integrazione di piccoli sottoinsiemi di CoQA.
Anche se gli sviluppatori non saranno pagati per aver contribuito alle valutazioni, OpenAI concederà GPT-4 accesso per un periodo limitato a coloro che contribuiscono con "valutazioni di alta qualità".
L'annuncio di Evals arriva dopo OpenAI ha detto recentemente smetterebbe di utilizzare i dati inviati dai clienti tramite la sua API per addestrare o migliorare i suoi modelli a meno che i clienti non decidano di aderire. -modelli d'arte” per il suo DynaBench piattaforma.
Leggi di più:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Cindy è una giornalista di Metaverse Post, che copre argomenti relativi a web3, NFT, metaverso e intelligenza artificiale, con particolare attenzione alle interviste con Web3 attori del settore. Ha parlato con oltre 30 dirigenti di livello C e oltre, portando ai lettori le loro preziose intuizioni. Originaria di Singapore, Cindy ora vive a Tbilisi, in Georgia. Ha conseguito una laurea in comunicazioni e studi sui media presso l'Università dell'Australia Meridionale e ha dieci anni di esperienza nel giornalismo e nella scrittura. Mettiti in contatto con lei tramite [email protected] con presentazioni per la stampa, annunci e opportunità di interviste.
Altri articoli
Cindy è una giornalista di Metaverse Post, che copre argomenti relativi a web3, NFT, metaverso e intelligenza artificiale, con particolare attenzione alle interviste con Web3 attori del settore. Ha parlato con oltre 30 dirigenti di livello C e oltre, portando ai lettori le loro preziose intuizioni. Originaria di Singapore, Cindy ora vive a Tbilisi, in Georgia. Ha conseguito una laurea in comunicazioni e studi sui media presso l'Università dell'Australia Meridionale e ha dieci anni di esperienza nel giornalismo e nella scrittura. Mettiti in contatto con lei tramite [email protected] con presentazioni per la stampa, annunci e opportunità di interviste.
