OpenAI Reúne uma equipe de mais de 50 especialistas para aprimorar GPT-4Segurança de
Em Breve
OpenAI contratou uma equipe de mais de 50 especialistas para garantir que seu mais novo modelo de linguagem, GPT-4, é seguro para uso.
A equipe inclui pesquisadores e engenheiros especializados em segurança, ética e política de IA.
O objetivo é prevenir GPT-4 de gerar conteúdo prejudicial ou tendencioso e garantir que ele esteja alinhado com os valores humanos.
OpenAI contratou mais de 50 especialistas de vários domínios para fazer GPT-4 mais segura. Os especialistas têm trabalhado com testes adversários do modelo para identificar potenciais riscos e vulnerabilidades. Eles são especialistas em diversas áreas: riscos de alinhamento de IA de longo prazo, segurança cibernética, risco biológico e segurança internacional. Suas descobertas ajudaram OpenAI avaliar o comportamento do modelo em áreas de alto risco que exigem conhecimento de nicho.
Embora o modelo de linguagem mais recente represente riscos semelhantes aos modelos de linguagem menores, os recursos adicionais de GPT-4 levar a novas ameaças. Assim, a contratação de especialistas tem sido crucial para garantir a segurança da tecnologia.
OpenAI implementou um conjunto adicional de aprendizagem por reforço relevante para a segurança a partir de instruções de treinamento de preferências humanas (RLHF) e modelos de recompensa baseados em regras (RBRMs) para melhorar a segurança do GPT-4 modelo. Os RBRMs são de tiro zero GPT-4 classificadores que funcionam como um sinal de recompensa extra para o GPT-4 modelo de política durante o ajuste fino do RLHF. O seu objetivo é incentivar o comportamento adequado, como recusar a geração de conteúdo prejudicial ou não rejeitar pedidos inofensivos.
Para garantir a segurança do GPT-4 modelos, OpenAI começou a recrutar especialistas externos em agosto de 2022 para realizar exercícios de “red teaming”, incluindo testes de resistência, testes de limites e testes adversários. Eles tiveram acesso às primeiras versões do GPT-4 modelo e identificou riscos iniciais que motivaram mais pesquisas de segurança.
O feedback dos especialistas levou a mitigações técnicas e medidas de aplicação de políticas para reduzir os riscos. No entanto, muitas ameaças permanecem e uma avaliação mais aprofundada é necessária.
Falando sobre funcionários da OpenAI, ChatGPT foi inicialmente desenvolvido com a assistência de indivíduos em algumas das regiões mais pobres do mundo através de OpenAIparceria com uma empresa chamada Sama, que emprega milhões de trabalhadores de áreas empobrecidas. Alguns especialistas em ética da IA criticaram OpenAIdecisão da empresa de terceirizar o treinamento de seus ChatGPT modelo à Sama, acusando a empresa de explorar mão de obra barata.
Leia mais:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Agne é uma jornalista que cobre as últimas tendências e desenvolvimentos no metaverso, IA e Web3 indústrias para o Metaverse Post. Sua paixão por contar histórias a levou a realizar inúmeras entrevistas com especialistas nessas áreas, sempre buscando descobrir histórias emocionantes e envolventes. Agne é bacharel em literatura e possui ampla experiência em redação sobre uma ampla variedade de tópicos, incluindo viagens, arte e cultura. Ela também foi voluntária como editora da organização de direitos dos animais, onde ajudou a aumentar a conscientização sobre questões de bem-estar animal. Entre em contato com ela [email protegido].
Mais artigos
Agne é uma jornalista que cobre as últimas tendências e desenvolvimentos no metaverso, IA e Web3 indústrias para o Metaverse Post. Sua paixão por contar histórias a levou a realizar inúmeras entrevistas com especialistas nessas áreas, sempre buscando descobrir histórias emocionantes e envolventes. Agne é bacharel em literatura e possui ampla experiência em redação sobre uma ampla variedade de tópicos, incluindo viagens, arte e cultura. Ela também foi voluntária como editora da organização de direitos dos animais, onde ajudou a aumentar a conscientização sobre questões de bem-estar animal. Entre em contato com ela [email protegido].
