OpenAI Oznamuje Evals, softvérový rámec s otvoreným zdrojom na hodnotenie modelov AI
Stručne
OpenAI dúfa, že bude crowdsourcovať benchmarky na hodnotenie modelov AI, ako je GPT-4.
Spoločnosť na spracovanie platieb, Stripe, už použila Evals na meranie presnosti svojich platieb GPT- poháňaný dokumentačný nástroj.
OpenAI bude udeľovať GPT-4 prístup na obmedzený čas tým, ktorí prispievajú k hodnotám vysokej kvality.
Spolu s vyhlásením GPT-4, OpenAI oznámila open-source softvérový rámec OpenAI Evals. Tento nástroj je navrhnutý tak, aby vytváral a spúšťal benchmarky, ktoré hodnotia výkon modelov ako napr GPT-4. S Evalsom, OpenAI dúfa, že získa benchmarky pre testovanie modelov AI.
„Evals používame na usmerňovanie vývoja našich modelov (identifikáciu nedostatkov a predchádzanie regresii) a naši používatelia ho môžu použiť na sledovanie výkonu vo verziách modelov (ktoré budú teraz pravidelne vychádzať) a na vývoj integrácií produktov,“ vysvetľuje spoločnosť a blog post.
Stripe, populárna spoločnosť na spracovanie platieb, už použila Evals na doplnenie svojich ľudských hodnotení a meranie ich presnosti GPT- poháňaný dokumentačný nástroj.
Vývojári môžu použiť Evals na vytváranie a spúšťanie hodnotení, ktoré:
- Použite množiny údajov na generovanie výziev,
- Zmerajte kvalitu dokončenia, ktoré poskytuje an OpenAI modela
- Porovnajte výkon v rámci rôznych množín údajov a modelov.
S otvoreným zdrojovým kódom môžu vývojári tiež napísať a pridať a vlastné Eval rovnako ako niekoľko šablón ktoré sa môžu prispôsobiť rôznym benchmarkom. Spoločnosť zahrnula šablóny, ktoré boli interne najužitočnejšie, vrátane šablóny pre „hodnotenia podľa modelu“, ktoré GPT-4 môže použiť na kontrolu vlastnej práce. Ako príklad hodný nasledovania spoločnosť vytvorila logické hádanky eval obsahujúce desať výziev kde GPT-4 zlyhá.
Evals je tiež kompatibilný s implementáciou existujúcich benchmarkov, vrátane niekoľkých notebookov implementujúcich akademické benchmarky a niekoľkých variácií integrácie malých podskupín CoQA.
Zatiaľ čo vývojári nebudú za prispenie Evalov platení, OpenAI bude udeľovať GPT-4 prístup na obmedzený čas tým, ktorí prispievajú „hodnotami vysokej kvality“.
Oznámenie Evals prichádza potom OpenAI nedávno povedal prestala by používať údaje odoslané zákazníkmi prostredníctvom svojho API na trénovanie alebo vylepšovanie svojich modelov, pokiaľ sa ich zákazníci nerozhodnú aktivovať. Spoločnosť sa pripája k Meta v porovnávacích testoch crowdsourcingu, keďže ten zadáva ľuďom úlohy „hľadať príklady protivníka, ktoré oklamú súčasný stav -umelecké modely“ za svoje DynaBench platforma.
Prečítajte si viac:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Cindy je novinárka v Metaverse Post, pokrývajúce témy súvisiace s web3, NFT, metaverse a AI, so zameraním na rozhovory s Web3 hráčov v odvetví. Hovorila s viac ako 30 riaditeľmi na úrovni C a počítajúc, čím čitateľom priniesla ich cenné poznatky. Cindy je pôvodom zo Singapuru a teraz sídli v Tbilisi v Gruzínsku. Je držiteľkou bakalárskeho titulu z komunikačných a mediálnych štúdií na University of South Australia a má desaťročné skúsenosti v žurnalistike a písaní. Spojte sa s ňou cez [chránené e-mailom] s tlačovými ponukami, oznámeniami a príležitosťami na rozhovory.
Ďalšie články
Cindy je novinárka v Metaverse Post, pokrývajúce témy súvisiace s web3, NFT, metaverse a AI, so zameraním na rozhovory s Web3 hráčov v odvetví. Hovorila s viac ako 30 riaditeľmi na úrovni C a počítajúc, čím čitateľom priniesla ich cenné poznatky. Cindy je pôvodom zo Singapuru a teraz sídli v Tbilisi v Gruzínsku. Je držiteľkou bakalárskeho titulu z komunikačných a mediálnych štúdií na University of South Australia a má desaťročné skúsenosti v žurnalistike a písaní. Spojte sa s ňou cez [chránené e-mailom] s tlačovými ponukami, oznámeniami a príležitosťami na rozhovory.
