OpenAI anuncia Evals, un marco de software de código abierto para evaluar modelos de IA
En Resumen
OpenAI espera obtener puntos de referencia de colaboración colectiva para evaluar modelos de IA como GPT-4.
La empresa de procesamiento de pagos, Stripe, ya ha utilizado Evals para medir la precisión de sus GPT-Herramienta de documentación impulsada.
OpenAI estará otorgando GPT-4 Acceso por tiempo limitado a quienes aportan evaluaciones de alta calidad.
Junto al anuncio de GPT-4, OpenAI ha anunciado el marco de software de código abierto OpenAI Evaluaciones. Esta herramienta está diseñada para crear y ejecutar puntos de referencia que evalúan el rendimiento de modelos como GPT-4. Con evaluaciones, OpenAI espera hacer crowdsourcing de puntos de referencia para las pruebas de modelos de IA.
“Utilizamos Evals para guiar el desarrollo de nuestros modelos (tanto identificando deficiencias como evitando regresiones), y nuestros usuarios pueden aplicarlo para realizar un seguimiento del rendimiento en las versiones del modelo (que ahora saldrán regularmente) y la evolución de las integraciones de productos”, explica la empresa en a del blog.
Stripe, una popular empresa de procesamiento de pagos, ya ha utilizado Evals para complementar sus evaluaciones humanas y medir la precisión de sus GPT-Herramienta de documentación impulsada.
Los desarrolladores pueden usar Evals para crear y ejecutar evaluaciones que:
- Use conjuntos de datos para generar avisos,
- Medir la calidad de las terminaciones proporcionadas por un OpenAI modeloy
- Compare el rendimiento en diferentes conjuntos de datos y modelos.
Con el código fuente abierto, los desarrolladores también pueden escribir y agregar un evaluación personalizada al igual que varias plantillas que pueden adaptarse a diferentes puntos de referencia. La empresa ha incluido plantillas que han sido de gran utilidad internamente, incluida una plantilla para "evaluaciones calificadas por modelos", que GPT-4 puede utilizar para comprobar su propio trabajo. Como ejemplo a seguir, la empresa ha creado una evaluación de acertijos lógicos que contiene diez indicaciones donde GPT-4 falla.
Evals también es compatible con la implementación de puntos de referencia existentes, incluidos varios cuadernos que implementan puntos de referencia académicos y algunas variaciones de la integración de pequeños subconjuntos de CoQA.
Aunque no se pagará a los desarrolladores por contribuir con Evals, OpenAI estará otorgando GPT-4 Acceso por tiempo limitado a quienes aportan “evaluaciones de alta calidad”.
El anuncio de Evals llega después OpenAI dijo recientemente dejaría de usar los datos enviados por los clientes a través de su API para entrenar o mejorar sus modelos a menos que los clientes decidan participar. La compañía se une a Meta en los puntos de referencia de crowdsourcing, ya que este último encarga a los humanos que "encuentren ejemplos contradictorios que engañen el estado actual de la tecnología". -art models” por su Banco Dyna .
Más información:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Cindy es periodista en Metaverse Post, cubriendo temas relacionados con web3, NFT, metaverso e IA, con un enfoque en entrevistas con Web3 actores de la industria. Ha hablado con más de 30 ejecutivos de nivel C y contando, aportando sus valiosos conocimientos a los lectores. Originaria de Singapur, Cindy ahora reside en Tbilisi, Georgia. Tiene una licenciatura en Comunicaciones y Estudios de Medios de la Universidad de Australia del Sur y tiene una década de experiencia en periodismo y escritura. Ponte en contacto con ella a través de [email protected] con lanzamientos de prensa, anuncios y oportunidades de entrevistas.
Más artículos
Cindy es periodista en Metaverse Post, cubriendo temas relacionados con web3, NFT, metaverso e IA, con un enfoque en entrevistas con Web3 actores de la industria. Ha hablado con más de 30 ejecutivos de nivel C y contando, aportando sus valiosos conocimientos a los lectores. Originaria de Singapur, Cindy ahora reside en Tbilisi, Georgia. Tiene una licenciatura en Comunicaciones y Estudios de Medios de la Universidad de Australia del Sur y tiene una década de experiencia en periodismo y escritura. Ponte en contacto con ella a través de [email protected] con lanzamientos de prensa, anuncios y oportunidades de entrevistas.
