OpenAI Најављује Евалс, софтверски оквир отвореног кода за процену АИ модела
Укратко
OpenAI нада се да ће цровдсоурце стандарде за процену АИ модела као што су GPT-4.
Компанија за обраду плаћања, Стрипе, већ је користила Евалс за мерење тачности њихове GPT-покретан алат за документацију.
OpenAI биће додељивање GPT-4 приступ на ограничено време онима који доприносе висококвалитетним оценама.
Уз најаву о GPT-4, OpenAI је најавио софтверски оквир отвореног кода OpenAI Евалс. Овај алат је дизајниран да креира и покреће бенцхмаркове који процењују перформансе модела као што су GPT-4. Са Евалсом, OpenAI нада се да ће прикупити референтне вредности за тестирање АИ модела.
„Користимо Евалс да водимо развој наших модела (и идентификујемо недостатке и спречимо регресије), а наши корисници могу да га примене за праћење перформанси у верзијама модела (које ће сада редовно излазити) и развој интеграције производа“, објашњава компанија у а блог пост.
Стрипе, популарна компанија за обраду плаћања, већ је користила Евалс да допуни своје људске процене и измери тачност њихових GPT-покретан алат за документацију.
Програмери могу да користе Евалс за креирање и покретање евалуација које:
- Користите скупове података за генерисање упита,
- Измерите квалитет довршетка које обезбеђује ан OpenAI модел, и
- Упоредите перформансе различитих скупова података и модела.
Са отвореним кодом, програмери такође могу написати и додати а цустом Евал као и неколико шаблона који могу да одговарају различитим мерилима. Компанија је укључила шаблоне који су били најкориснији интерно, укључујући шаблон за „процене по моделу“, који GPT-4 може користити за проверу сопственог рада. Као пример који треба следити, компанија је креирала логичку загонетку евал која садржи десет упита где GPT-4 не успева.
Евалс је такође компатибилан са имплементацијом постојећих мерила, укључујући неколико бележница које имплементирају академска мерила и неколико варијација интеграције малих подскупова ЦоКА.
Иако програмери неће бити плаћени за допринос Евалс-у, OpenAI биће додељивање GPT-4 приступ на ограничено време онима који доприносе „висококвалитетним проценама“.
Најава Евалса долази после OpenAI недавно је рекао престала би да користи податке које клијенти шаљу преко свог АПИ-ја за обуку или побољшање својих модела осим ако клијенти не одлуче да се одлуче за њих. Компанија се придружује Мети у тестовима за цровдсоурцинг јер ова последња даје задатак људима да „пронађу супротстављене примере који обмањују тренутно стање -уметнички модели” за своје ДинаБенцх платформа.
Опширније:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Цинди је новинар у Metaverse Post, покривајући теме везане за web3, NFT, метаверсе и АИ, са фокусом на интервјуе са Web3 играчи у индустрији. Разговарала је са преко 30 Ц-нивоа руководилаца и све више, доносећи читаоцима њихове драгоцене увиде. Пореклом из Сингапура, Синди је сада смештена у Тбилисију, Грузија. Дипломирала је комуникације и медијске студије на Универзитету Јужне Аустралије и има деценију искуства у новинарству и писању. Ступите у контакт са њом путем [емаил заштићен] са изјавама за штампу, најавама и могућностима за интервјуе.
više чланака
Цинди је новинар у Metaverse Post, покривајући теме везане за web3, NFT, метаверсе и АИ, са фокусом на интервјуе са Web3 играчи у индустрији. Разговарала је са преко 30 Ц-нивоа руководилаца и све више, доносећи читаоцима њихове драгоцене увиде. Пореклом из Сингапура, Синди је сада смештена у Тбилисију, Грузија. Дипломирала је комуникације и медијске студије на Универзитету Јужне Аустралије и има деценију искуства у новинарству и писању. Ступите у контакт са њом путем [емаил заштићен] са изјавама за штампу, најавама и могућностима за интервјуе.
