OpenAI Събира екип от 50+ експерти за подобряване GPT-4Безопасност на
Накратко
OpenAI е наел екип от над 50 експерти, за да гарантира, че най-новият езиков модел, GPT-4, е безопасен за употреба.
Екипът включва изследователи и инженери, специализирани в безопасността, етиката и политиката на ИИ.
Целта е да се предотврати GPT-4 от генериране на вредно или предубедено съдържание и да се гарантира, че то е в съответствие с човешките ценности.
OpenAI е наел над 50 експерти от различни области, за да направи GPT-4 по-безопасно. Експертите са работили със състезателно тестване на модела, за да идентифицират потенциални рискове и уязвимости. Те са експерти в различни области: дългосрочни рискове за привеждане в съответствие с ИИ, киберсигурност, биориск и международна сигурност. Техните открития са помогнали OpenAI оценете поведението на модела във високорискови области, които изискват опит в ниша.
Докато най-новият езиков модел крие подобни рискове като по-малките езикови модели, допълнителните възможности на GPT-4 водят до нови заплахи. Така се ангажираха експерти от решаващо значение за гарантиране на безопасността на технологията.
OpenAI внедри допълнителен набор от свързани с безопасността подсилващи обучения от човешките предпочитания (RLHF) подкани за обучение и базирани на правила модели за възнаграждение (RBRMs), за да подобри безопасността на GPT-4 модел. RBRM са с нулев изстрел GPT-4 класификатори, които функционират като допълнителен сигнал за награда за GPT-4 модел на политика по време на фина настройка на RLHF. Тяхната цел е да стимулират подходящо поведение, като например отказ от генериране на вредно съдържание или неотхвърляне на безобидни искания.
За да се гарантира безопасността на GPT-4 модели, OpenAI започна да набира външни експерти през август 2022 г. за провеждане на упражнения за „червен екип“, включително стрес тестове, гранични тестове и състезателни тестове. Те имаха достъп до ранни версии на GPT-4 модел и идентифицирани първоначални рискове, които мотивираха по-нататъшни изследвания на безопасността.
Обратната връзка на експертите доведе до технически смекчаващи мерки и мерки за прилагане на политиката за намаляване на рисковете. Въпреки това остават много заплахи и е необходима допълнителна оценка.
Говорейки за служители в OpenAI, ChatGPT беше първоначално разработени с помощта на хора в някои от най-бедните региони в света чрез OpenAIпартньорството на с компания, наречена Sama, която наема милиони работници от бедни райони. Някои експерти по етиката на ИИ критикуваха OpenAIрешението на да възложи обучението на своите ChatGPT модел на Сама, обвинявайки компанията в експлоатация на евтина работна ръка.
Чети повече:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Агне е журналист, който отразява най-новите тенденции и развития в метавселената, ИИ и Web3 индустрии за Metaverse Post. Нейната страст към разказването на истории я кара да провежда множество интервюта с експерти в тези области, като винаги се стреми да разкрива вълнуващи и ангажиращи истории. Агне има бакалавърска степен по литература и има богат опит в писането на широк спектър от теми, включително пътуване, изкуство и култура. Тя също е била доброволец като редактор на организацията за правата на животните, където е помогнала за повишаване на осведомеността относно проблемите, свързани с хуманното отношение към животните. Свържете се с нея на [имейл защитен].
Още статии
Агне е журналист, който отразява най-новите тенденции и развития в метавселената, ИИ и Web3 индустрии за Metaverse Post. Нейната страст към разказването на истории я кара да провежда множество интервюта с експерти в тези области, като винаги се стреми да разкрива вълнуващи и ангажиращи истории. Агне има бакалавърска степен по литература и има богат опит в писането на широк спектър от теми, включително пътуване, изкуство и култура. Тя също е била доброволец като редактор на организацията за правата на животните, където е помогнала за повишаване на осведомеността относно проблемите, свързани с хуманното отношение към животните. Свържете се с нея на [имейл защитен].
