OpenAI Ogłasza evals, platformę oprogramowania typu open source do oceny modeli sztucznej inteligencji
W skrócie
OpenAI ma nadzieję pozyskać punkty odniesienia do oceny modeli sztucznej inteligencji, takich jak GPT-4.
Firma Stripe zajmująca się przetwarzaniem płatności wykorzystała już narzędzie Evals do pomiaru dokładności swoich płatności GPT-zasilane narzędzie do tworzenia dokumentacji.
OpenAI będzie udzielać GPT-4 dostęp przez ograniczony czas dla osób, które wnoszą wkład w ewaluacje wysokiej jakości.
Wraz z ogłoszeniem GPT-4, OpenAI ogłosił platformę oprogramowania open source OpenAI Ewaluacje. To narzędzie służy do tworzenia i uruchamiania testów porównawczych oceniających wydajność modeli takich jak GPT-4. Z Evalsem, OpenAI ma nadzieję pozyskać punkty odniesienia do testowania modeli sztucznej inteligencji.
„Używamy Evali do kierowania rozwojem naszych modeli (zarówno do identyfikowania niedociągnięć, jak i zapobiegania regresji), a nasi użytkownicy mogą go stosować do śledzenia wydajności w różnych wersjach modeli (które będą teraz regularnie pojawiać się) i rozwijania integracji produktów”, wyjaśnia firma w A blogu.
Stripe, popularna firma zajmująca się przetwarzaniem płatności, wykorzystała już narzędzie Evals do uzupełnienia swoich ocen dokonywanych przez ludzi i pomiaru ich dokładności GPT-zasilane narzędzie do tworzenia dokumentacji.
Deweloperzy mogą używać Evali do tworzenia i przeprowadzania ocen, które:
- Użyj zestawów danych do generowania podpowiedzi,
- Zmierz jakość realizacji zapewnianych przez firmę OpenAI model,
- Porównuj wydajność różnych zestawów danych i modeli.
Dzięki kodowi typu open source programiści mogą również pisać i dodawać pliki niestandardowa ocena jak również kilka szablonów które mogą uwzględniać różne punkty odniesienia. Firma udostępniła szablony, które okazały się najbardziej przydatne wewnętrznie, w tym szablon „ocen ocenianych na podstawie modelu”, który GPT-4 może wykorzystać do sprawdzenia własnej pracy. Jako przykład do naśladowania firma stworzyła łamigłówkę logiczną zawierającą dziesięć podpowiedzi gdzie GPT-4 zawiedzie.
Evalls jest również kompatybilny z wdrażaniem istniejących testów porównawczych, w tym kilku notebooków wdrażających akademickie testy porównawcze i kilka odmian integracji małych podzbiorów CoQA.
Choć programiści nie będą otrzymywać wynagrodzenia za wnoszenie ocen, OpenAI będzie udzielać GPT-4 dostęp przez ograniczony czas osobom, które wnoszą „ewaluacje wysokiej jakości”.
Ogłoszenie Evals następuje później OpenAI powiedział niedawno przestałby wykorzystywać dane przesłane przez klientów za pośrednictwem swojego interfejsu API do trenowania lub ulepszania swoich modeli, chyba że klienci zdecydują się na to. -artystyczne modele”. DynaBench Platforma.
Czytaj więcej:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Cindy jest dziennikarką w Metaverse Post, obejmujące tematy związane z web3, NFT, Metaverse i AI, z naciskiem na wywiady z Web3 gracze branżowi. Rozmawiała z ponad 30 dyrektorami wyższego szczebla, a ich liczba wciąż rośnie, przekazując czytelnikom ich cenne spostrzeżenia. Pochodząca z Singapuru Cindy mieszka obecnie w Tbilisi w Gruzji. Uzyskała tytuł licencjata w dziedzinie nauk o komunikacji i mediach na Uniwersytecie Australii Południowej oraz dziesięcioletnie doświadczenie w dziennikarstwie i pisarstwie. Skontaktuj się z nią poprzez [email chroniony] z prezentacjami prasowymi, ogłoszeniami i możliwościami wywiadów.
Więcej artykułów
Cindy jest dziennikarką w Metaverse Post, obejmujące tematy związane z web3, NFT, Metaverse i AI, z naciskiem na wywiady z Web3 gracze branżowi. Rozmawiała z ponad 30 dyrektorami wyższego szczebla, a ich liczba wciąż rośnie, przekazując czytelnikom ich cenne spostrzeżenia. Pochodząca z Singapuru Cindy mieszka obecnie w Tbilisi w Gruzji. Uzyskała tytuł licencjata w dziedzinie nauk o komunikacji i mediach na Uniwersytecie Australii Południowej oraz dziesięcioletnie doświadczenie w dziennikarstwie i pisarstwie. Skontaktuj się z nią poprzez [email chroniony] z prezentacjami prasowymi, ogłoszeniami i możliwościami wywiadów.
