OpenAI Обявява Evals, софтуерна рамка с отворен код за оценка на AI модели
Накратко
OpenAI се надява да събере бенчмаркове за оценка на AI модели като GPT-4.
Компанията за обработка на плащания, Stripe, вече е използвала Evals за измерване на точността на своите GPT-задвижван инструмент за документиране.
OpenAI ще отпуска GPT-4 достъп за ограничено време до тези, които допринасят с висококачествени оценки.
Наред с обявяването на GPT-4, OpenAI обяви софтуерната рамка с отворен код OpenAI Оценки. Този инструмент е предназначен да създава и изпълнява бенчмаркове, които оценяват ефективността на модели като GPT-4. С Evals, OpenAI надява се да събере бенчмаркове за тестване на AI модели.
„Ние използваме Evals, за да насочваме развитието на нашите модели (както за идентифициране на недостатъци, така и за предотвратяване на регресии), а нашите потребители могат да го прилагат за проследяване на производителността във версиите на модела (които вече ще излизат редовно) и развиващите се продуктови интеграции“, обяснява компанията в а блог пост.
Stripe, популярна компания за обработка на плащания, вече използва Evals, за да допълни своите човешки оценки и да измери точността на техните GPT-задвижван инструмент за документиране.
Разработчиците могат да използват Evals, за да създават и изпълняват оценки, които:
- Използвайте набори от данни за генериране на подкани,
- Измерете качеството на завършванията, предоставени от an OpenAI модел, и
- Сравнете производителността на различни набори от данни и модели.
С кода с отворен код разработчиците могат също да пишат и добавят a потребителски Eval както и няколко шаблона които могат да поемат различни бенчмаркове. Компанията е включила шаблони, които са били най-полезни вътрешно, включително шаблон за „моделно градирани оценки“, които GPT-4 може да използва за проверка на собствената си работа. Като пример за следване, компанията е създала логически пъзели eval, съдържащи десет подкани where GPT-4 неуспешна.
Evals също е съвместим с прилагането на съществуващи бенчмаркове, включително няколко тетрадки, прилагащи академични бенчмаркове и няколко варианта на интегриране на малки подмножества на CoQA.
Докато разработчиците няма да получават заплащане за приноса на Evals, OpenAI ще отпуска GPT-4 достъп за ограничено време до тези, които допринасят за „висококачествени оценки“.
Обявяването на Evals идва след това OpenAI наскоро заяви, тя ще спре да използва данни, предоставени от клиенти чрез своя API, за да обучава или подобрява моделите си, освен ако клиентите не решат да се включат. Компанията се присъединява към Meta в бенчмарковете за краудсорсинг, тъй като последният натоварва хората с „намиране на противоречиви примери, които заблуждават текущото състояние на -арт модели” за своя DynaBench платформа.
Чети повече:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Синди е журналист в Metaverse Post, обхващащи теми, свързани с web3, NFT, metaverse и AI, с акцент върху интервюта с Web3 играчи в индустрията. Тя е разговаряла с над 30 ръководители на ниво С и нараства, като е разказала ценните им прозрения на читателите. Първоначално от Сингапур, Синди сега е базирана в Тбилиси, Грузия. Тя има бакалавърска степен по комуникации и медийни изследвания от Университета на Южна Австралия и има десетилетие опит в журналистиката и писането. Свържете се с нея чрез [имейл защитен] с представяния за пресата, съобщения и възможности за интервю.
Още статии
Синди е журналист в Metaverse Post, обхващащи теми, свързани с web3, NFT, metaverse и AI, с акцент върху интервюта с Web3 играчи в индустрията. Тя е разговаряла с над 30 ръководители на ниво С и нараства, като е разказала ценните им прозрения на читателите. Първоначално от Сингапур, Синди сега е базирана в Тбилиси, Грузия. Тя има бакалавърска степен по комуникации и медийни изследвания от Университета на Южна Австралия и има десетилетие опит в журналистиката и писането. Свържете се с нея чрез [имейл защитен] с представяния за пресата, съобщения и възможности за интервю.
