OpenAI Збирає команду з 50+ експертів для вдосконалення GPT-4Безпека
Коротко
OpenAI найняв команду з понад 50 експертів, щоб забезпечити його найновіші мовна модель, GPT-4, є безпечним для використання.
Команда включає дослідників та інженерів, які спеціалізуються на безпеці, етиці та політиці ШІ.
Мета – запобігти GPT-4 запобігати створенню шкідливого чи упередженого контенту та гарантувати, що він відповідає людським цінностям.
OpenAI для створення найняв понад 50 експертів із різних галузей GPT-4 безпечніше. Експерти працювали над конкурентним тестуванням моделі, щоб виявити потенційні ризики та вразливі місця. Вони є експертами в різних сферах: ризики довгострокового узгодження ШІ, кібербезпека, біоризики та міжнародна безпека. Їх знахідки допомогли OpenAI оцінити поведінку моделі в сферах високого ризику, які вимагають спеціальних знань.
Хоча найновіша мовна модель створює такі ж ризики, як і менші мовні моделі, додаткові можливості GPT-4 призводять до нових загроз. Таким чином, було залучено експертів має вирішальне значення для забезпечення безпеки технології.
OpenAI реалізував додатковий набір важливих для безпеки підкріплюючих навчання на основі вподобань людини (RLHF), навчальних підказок і моделей винагороди на основі правил (RBRM), щоб покращити безпеку GPT-4 модель. RBRM мають нульовий постріл GPT-4 класифікатори, які функціонують як додатковий сигнал винагороди для GPT-4 модель політики під час тонкого налаштування RLHF. Їх мета полягає в тому, щоб стимулювати відповідну поведінку, наприклад, відмовлятися від створення шкідливого вмісту або не відхиляти нешкідливі запити.
Щоб забезпечити безпеку GPT-4 моделі, OpenAI у серпні 2022 року почали залучати зовнішніх експертів для проведення навчань «red teaming», включаючи стрес-тестування, граничне тестування та змагальність. Вони мали доступ до ранніх версій GPT-4 моделі та визначені початкові ризики, які спонукали до подальших досліджень безпеки.
Зворотній зв’язок експертів призвів до технічних пом’якшень і заходів із застосування політики для зменшення ризиків. Однак багато загроз залишаються, тому необхідна подальша оцінка.
Розмова про співробітників в OpenAI, ChatGPT було спочатку розвиненою за допомогою окремих людей у деяких з найбідніших регіонів світу OpenAIпартнерство з компанією під назвою Sama, яка наймає мільйони працівників із бідних районів. Деякі експерти з етики ШІ критикували OpenAIрішення передати навчання на аутсорсинг ChatGPT моделі Сама, звинувативши компанію в експлуатації дешевої робочої сили.
Детальніше:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
інші статті
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
