OpenAI: Нове моделювання винагороди під контролем процесу покращує міркування ШІ
Коротко
OpenAIПроцесно-контрольоване моделювання винагороди (PRM) спрямоване на оцінку проміжних кроків і обґрунтування моделей ШІ, що призводить до покращення продуктивності та показників.
OpenAI знову привернули увагу спільноти штучного інтелекту своєю новаторською роботою в моделюванні винагороди за процесом (PRM). Цей інноваційний підхід спрямований на оцінку проміжних кроків і обґрунтування моделей ШІ, що призводить до покращення продуктивності та показників.
| Рекомендовані: ChatGPT Може змінити Уолл-стріт, спростивши торгівлю |
У традиційному навчанні з підкріпленням за допомогою зворотного зв’язку людини (RLHF), зворотній зв’язок моделі зазвичай надається на основі загального результату, створеного моделлю. однак, OpenAIНове дослідження досліджує ідею оцінки окремих кроків і процесів міркування, які здійснює модель. Роблячи це, вони можуть надавати більш детальні оцінки та відгуки.
Щоб вирішити цю проблему, OpenAI вибрані математичні задачі, які вимагали кількох дій. Окремий модель був навчений ефективно оцінювати проміжні кроки, діючи як критик, щоб виявити будь-які помилкові судження, зроблені первинною моделлю. Цей процес не тільки покращує загальну продуктивність, але й покращує показники, які використовуються для оцінки можливостей моделі.
OpenAI досягла значних успіхів у цій галузі, випустивши ретельно підібраний набір даних, що складається з 800,000 XNUMX позначених суджень. Кожне судження є окремим етапом вирішення математичних задач і створене вручну. Це підкреслює рівень відданості та ресурсів OpenAI інвестує в розробку високоякісних наборів даних, піднімаючи питання щодо обсягу даних, зібраних для інших областей, таких як програмування або відкриті запитання.
Навчання GPT-4, OpenAIостання версія GPT серія, вже йде повним ходом. Хоча компонент RLHF не включено в поточні експерименти, використовується чиста мовна модель. Зокрема, OpenAI згадується, що існує кілька версій GPT-4, при цьому навіть найменша версія потребує значно менше ресурсів для навчання — приблизно у 200 разів менше.
Інтригуючим прикладом поділився OpenAI демонструє, як модель оцінює кожен окремий крок прийняття рішення. На скріншоті, включеному до публікації, помилки у розв’язанні позначено прапорцями та надано найнижчу оцінку правильності, виділену червоним. Ця демонстрація підкреслює здатність моделі міркувати та дає цінну інформацію про процес прийняття рішень. OpenAI також надала інструкції щодо розмітки, пропонуючи краудсорсерам можливість зробити свій внесок і отримати користь від їхньої роботи.
As OpenAI продовжує розширювати межі досліджень штучного інтелекту, їхня зосередженість на модельних міркуваннях і моделюванні винагороди за процесом відкриває нові можливості для покращених можливостей штучного інтелекту. Цей останній прорив демонструє їхнє прагнення покращити продуктивність моделі та відкриває двері для подальшого прогресу в цій галузі.
- В останній час Повідомляється, що Apple обмежує використання співробітниками ChatGPT та інші чат-боти на основі ШІ через проблеми конфіденційності. The Wall Street Journal повідомила, що працівникам також заборонено використовувати інструмент GitHub AI Copilot, який дозволяє користувачам автоматично писати програмний код. ChatGPT – це чат-бот на основі ШІ, розроблений компанією OpenAI, яку критикували за порушення конфіденційності.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
