OpenAI Rassemble une équipe de plus de 50 experts pour améliorer GPT-4La sécurité
En bref
OpenAI a embauché une équipe de plus de 50 experts pour s'assurer que son nouveau modèle de langage, GPT-4, est sûr à utiliser.
L'équipe comprend des chercheurs et des ingénieurs spécialisés dans la sécurité, l'éthique et la politique de l'IA.
L’objectif est d’empêcher GPT-4 de générer du contenu préjudiciable ou biaisé et de garantir qu’il correspond aux valeurs humaines.
OpenAI a embauché plus de 50 experts de divers domaines pour faire GPT-4 plus sûr. Les experts ont travaillé avec des tests contradictoires du modèle pour identifier les risques et les vulnérabilités potentiels. Ce sont des experts dans divers domaines : risques d'alignement à long terme de l'IA, cybersécurité, biorisque et sécurité internationale. Leurs découvertes ont aidé OpenAI évaluer le comportement du modèle dans les domaines à haut risque qui nécessitent une expertise de niche.
Bien que le modèle de langage le plus récent présente des risques similaires à ceux des modèles de langage plus petits, les capacités supplémentaires de GPT-4 conduire à de nouvelles menaces. Ainsi, l'engagement d'experts a été crucial pour garantir la sécurité de la technologie.
OpenAI a mis en œuvre un ensemble supplémentaire d'invites de formation par apprentissage par renforcement à partir des préférences humaines (RLHF) et de modèles de récompense basés sur des règles (RBRM) pour améliorer la sécurité du GPT-4 modèle. Les RBRM sont à tir nul GPT-4 classificateurs qui fonctionnent comme un signal de récompense supplémentaire pour le GPT-4 modèle politique lors de la mise au point du RLHF. Leur objectif est d’encourager un comportement approprié, comme refuser de générer du contenu préjudiciable ou de ne pas rejeter des demandes inoffensives.
Pour assurer la sécurité des GPT-4 modèles, OpenAI a commencé à recruter des experts externes en août 2022 pour mener des exercices de « équipe rouge », notamment des tests de résistance, des tests de limites et des tests contradictoires. Ils avaient accès aux premières versions du GPT-4 modèle et identifié les risques initiaux qui ont motivé des recherches plus approfondies sur la sécurité.
Les commentaires des experts ont conduit à des atténuations techniques et à des mesures d'application des politiques pour réduire les risques. Cependant, de nombreuses menaces subsistent et une évaluation plus approfondie est nécessaire.
Parler des employés de OpenAI, ChatGPT était initialement développé avec l'aide d'individus dans certaines des régions les plus pauvres du monde à travers OpenAIpartenariat avec une entreprise appelée Sama, qui emploie des millions de travailleurs issus de zones défavorisées. Certains experts en éthique de l'IA ont critiqué OpenAIla décision d'externaliser la formation de ses ChatGPT modèle à Sama, accusant l'entreprise d'exploiter une main-d'œuvre bon marché.
Lire la suite:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Agne est une journaliste qui couvre les dernières tendances et développements dans le métaverse, l'IA et Web3 industries pour la Metaverse Post. Sa passion pour la narration l'a amenée à mener de nombreux entretiens avec des experts dans ces domaines, cherchant toujours à découvrir des histoires passionnantes et engageantes. Agne est titulaire d'un baccalauréat en littérature et possède une vaste expérience en rédaction sur un large éventail de sujets, notamment les voyages, l'art et la culture. Elle s'est également portée volontaire en tant que rédactrice pour une organisation de défense des droits des animaux, où elle a contribué à sensibiliser les gens aux problèmes de bien-être animal. Contactez-la au [email protected].
Plus d'articles
Agne est une journaliste qui couvre les dernières tendances et développements dans le métaverse, l'IA et Web3 industries pour la Metaverse Post. Sa passion pour la narration l'a amenée à mener de nombreux entretiens avec des experts dans ces domaines, cherchant toujours à découvrir des histoires passionnantes et engageantes. Agne est titulaire d'un baccalauréat en littérature et possède une vaste expérience en rédaction sur un large éventail de sujets, notamment les voyages, l'art et la culture. Elle s'est également portée volontaire en tant que rédactrice pour une organisation de défense des droits des animaux, où elle a contribué à sensibiliser les gens aux problèmes de bien-être animal. Contactez-la au [email protected].
