OpenAI Kündigt Evals an, ein Open-Source-Software-Framework zur Bewertung von KI-Modellen
In Kürze
OpenAI hofft, Benchmarks für die Bewertung von KI-Modellen wie Crowdsourcing zu sammeln GPT-4.
Das Zahlungsabwicklungsunternehmen Stripe hat Evals bereits verwendet, um die Genauigkeit seiner Zahlungen zu messen GPT-gestütztes Dokumentationstool.
OpenAI wird gewähren GPT-4 Zugang für eine begrenzte Zeit für diejenigen, die qualitativ hochwertige Evaluierungen beisteuern.
Neben der Ankündigung von GPT-4, OpenAI hat das Open-Source-Software-Framework angekündigt OpenAI Bewertungen. Dieses Tool dient zum Erstellen und Ausführen von Benchmarks, die die Leistung von Modellen bewerten GPT-4. Mit Evals, OpenAI hofft, Crowdsourcing-Benchmarks für KI-Modelltests zu erhalten.
„Wir verwenden Evals, um die Entwicklung unserer Modelle zu steuern (sowohl um Mängel zu identifizieren als auch Regressionen zu verhindern), und unsere Benutzer können es anwenden, um die Leistung über Modellversionen hinweg (die jetzt regelmäßig herauskommen) und die Weiterentwicklung von Produktintegrationen zu verfolgen“, erklärt das Unternehmen in A Blog-Post.
Stripe, ein beliebtes Zahlungsabwicklungsunternehmen, hat Evals bereits verwendet, um seine menschlichen Bewertungen zu ergänzen und deren Genauigkeit zu messen GPT-gestütztes Dokumentationstool.
Entwickler können Auswertungen verwenden, um Auswertungen zu erstellen und auszuführen, die:
- Datensätze verwenden, um Eingabeaufforderungen zu generieren,
- Messen Sie die Qualität der von einem bereitgestellten Abschlüsse OpenAI Modell und
- Vergleichen Sie die Leistung verschiedener Datensätze und Modelle.
Mit dem Open-Source-Code können Entwickler auch eine schreiben und hinzufügen benutzerdefinierte Auswertung und auch der mehrere Vorlagen das kann unterschiedliche Benchmarks berücksichtigen. Das Unternehmen hat Vorlagen hinzugefügt, die intern am nützlichsten waren, darunter eine Vorlage für „modellbewertete Bewertungen“, die GPT-4 kann zur Überprüfung der eigenen Arbeit verwendet werden. Als Beispiel hat das Unternehmen eine Logikrätsel-Bewertung erstellt, die zehn Eingabeaufforderungen enthält GPT-4 fehlschlägt.
Evals ist auch mit der Implementierung vorhandener Benchmarks kompatibel, einschließlich mehrerer Notebooks, die akademische Benchmarks implementieren, und einiger Variationen der Integration kleiner Teilmengen von CoQA.
Während Entwickler nicht für die Bereitstellung von Evaluierungen bezahlt werden, OpenAI wird gewähren GPT-4 Zugang für eine begrenzte Zeit für diejenigen, die „hochwertige Bewertungen“ beisteuern.
Die Ankündigung von Evals folgt OpenAI sagte kürzlich Es würde aufhören, von Kunden über seine API übermittelte Daten zum Trainieren oder Verbessern seiner Modelle zu verwenden, es sei denn, die Kunden entscheiden sich dafür -Kunstmodelle“ für seine DynaBench Plattform.
Mehr lesen:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Cindy ist Journalistin bei Metaverse Post, behandelt Themen im Zusammenhang mit web3, NFT, Metaverse und KI, mit Schwerpunkt auf Interviews mit Web3 Akteure der Branche. Sie hat mit über 30 C-Level-Führungskräften gesprochen, Tendenz steigend, und ihre wertvollen Erkenntnisse an die Leser weitergegeben. Cindy stammt ursprünglich aus Singapur und lebt heute in Tiflis, Georgien. Sie hat einen Bachelor-Abschluss in Kommunikations- und Medienwissenschaften von der University of South Australia und verfügt über ein Jahrzehnt Erfahrung im Journalismus und Schreiben. Kontaktieren Sie sie über [E-Mail geschützt] mit Pressegesprächen, Ankündigungen und Interviewmöglichkeiten.
Weitere Artikel
Cindy ist Journalistin bei Metaverse Post, behandelt Themen im Zusammenhang mit web3, NFT, Metaverse und KI, mit Schwerpunkt auf Interviews mit Web3 Akteure der Branche. Sie hat mit über 30 C-Level-Führungskräften gesprochen, Tendenz steigend, und ihre wertvollen Erkenntnisse an die Leser weitergegeben. Cindy stammt ursprünglich aus Singapur und lebt heute in Tiflis, Georgien. Sie hat einen Bachelor-Abschluss in Kommunikations- und Medienwissenschaften von der University of South Australia und verfügt über ein Jahrzehnt Erfahrung im Journalismus und Schreiben. Kontaktieren Sie sie über [E-Mail geschützt] mit Pressegesprächen, Ankündigungen und Interviewmöglichkeiten.
