OpenAI Анонсує Evals, фреймворк програмного забезпечення з відкритим вихідним кодом для оцінки моделей ШІ
Коротко
OpenAI сподівається на краудсорсинг тестів для оцінки таких моделей ШІ GPT-4.
Платіжна компанія Stripe вже використовувала Evals для вимірювання точності своїх даних GPT- потужний інструмент документування.
OpenAI буде надання GPT-4 доступ протягом обмеженого часу для тих, хто вносить високоякісні оцінки.
Поряд з оголошенням GPT-4, OpenAI анонсувала фреймворк програмного забезпечення з відкритим кодом OpenAI Оцінки. Цей інструмент призначений для створення та запуску тестів, які оцінюють продуктивність таких моделей, як GPT-4. З Evals, OpenAI сподівається на краудсорсинг тестів для тестування моделі ШІ.
«Ми використовуємо Evals, щоб керувати розробкою наших моделей (як для виявлення недоліків, так і для запобігання регресіям), і наші користувачі можуть застосовувати його для відстеження продуктивності версій моделей (які тепер будуть регулярно виходити) і розвитку інтеграції продуктів», — пояснює компанія в a блог.
Stripe, популярна компанія з обробки платежів, уже використовувала Evals для доповнення своїх оцінок людьми та вимірювання точності їх GPT- потужний інструмент документування.
Розробники можуть використовувати Evals для створення та запуску оцінок, які:
- Використовуйте набори даних для створення підказок,
- Виміряйте якість завершень, наданих an OpenAI модель та
- Порівняйте продуктивність різних наборів даних і моделей.
За допомогою відкритого коду розробники також можуть писати та додавати a призначений для користувача Eval а також кілька шаблонів які можуть включати різні контрольні показники. Компанія включила шаблони, які були найбільш корисними внутрішньо GPT-4 можна використовувати для перевірки власної роботи. Як приклад для наслідування, компанія створила логічні головоломки eval, що містять десять підказок where GPT-4 не вдається.
Evals також сумісний із запровадженням існуючих тестів, включаючи кілька блокнотів із впровадженням академічних тестів і кілька варіантів інтеграції невеликих підмножин CoQA.
Хоча розробникам не платитимуть за внески Evals, OpenAI буде надання GPT-4 доступ протягом обмеженого часу для тих, хто вносить «високоякісні оцінки».
Оголошення Evals відбувається після OpenAI недавно сказав, вона припинить використовувати дані, надані клієнтами через свій API, для навчання або вдосконалення своїх моделей, якщо клієнти не вирішать погодитися. Компанія приєднується до Meta в тестах краудсорсингу, оскільки остання ставить перед людьми завдання «знаходити суперечливі приклади, які обманюють поточний стан -художні моделі” для свого DynaBench платформи.
Детальніше:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Сінді працює журналістом у Metaverse Post, що охоплює теми, пов’язані з web3, NFT, метавсесвіт та ШІ, зосереджуючись на інтерв’ю з Web3 гравців галузі. Вона поспілкувалася з понад 30 керівниками вищого рівня та розповіла читачам про їхні цінні ідеї. Родом із Сінгапуру, Сінді тепер живе в Тбілісі, Грузія. Вона отримала ступінь бакалавра з комунікацій та медіа-досліджень в Університеті Південної Австралії та має десятирічний досвід роботи в журналістиці та письменництві. Зв'яжіться з нею через [захищено електронною поштою] з презентаціями для преси, оголошеннями та можливостями для інтерв’ю.
інші статті
Сінді працює журналістом у Metaverse Post, що охоплює теми, пов’язані з web3, NFT, метавсесвіт та ШІ, зосереджуючись на інтерв’ю з Web3 гравців галузі. Вона поспілкувалася з понад 30 керівниками вищого рівня та розповіла читачам про їхні цінні ідеї. Родом із Сінгапуру, Сінді тепер живе в Тбілісі, Грузія. Вона отримала ступінь бакалавра з комунікацій та медіа-досліджень в Університеті Південної Австралії та має десятирічний досвід роботи в журналістиці та письменництві. Зв'яжіться з нею через [захищено електронною поштою] з презентаціями для преси, оголошеннями та можливостями для інтерв’ю.
