OpenAI Reúne un equipo de más de 50 expertos para mejorar GPT-4Seguridad
En Resumen
OpenAI ha contratado a un equipo de más de 50 expertos para garantizar que su nuevo modelo de lenguaje, GPT-4, es seguro de usar.
El equipo incluye investigadores e ingenieros que se especializan en seguridad, ética y políticas de IA.
El objetivo es prevenir GPT-4 evite generar contenido dañino o sesgado y garantizar que se alinee con los valores humanos.
OpenAI ha contratado a más de 50 expertos de varios dominios para hacer GPT-4 más seguro Los expertos han estado trabajando con pruebas contradictorias del modelo para identificar posibles riesgos y vulnerabilidades. Son expertos en diversas áreas: riesgos de alineación de IA a largo plazo, ciberseguridad, riesgo biológico y seguridad internacional. Sus hallazgos han ayudado OpenAI evaluar el comportamiento del modelo en áreas de alto riesgo que requieren experiencia en nichos.
Si bien el modelo de lenguaje más nuevo plantea riesgos similares a los modelos de lenguaje más pequeños, las capacidades adicionales de GPT-4 conducir a nuevas amenazas. Así, la participación de expertos ha sido crucial para garantizar la seguridad de la tecnología.
OpenAI ha implementado un conjunto adicional de indicaciones de entrenamiento de aprendizaje por refuerzo a partir de preferencias humanas (RLHF) y modelos de recompensa basados en reglas (RBRM) relevantes para la seguridad para mejorar la seguridad del GPT-4 modelo. Los RBRM son de tiro cero GPT-4 clasificadores que funcionan como una señal de recompensa extra para el GPT-4 modelo de política durante el ajuste del RLHF. Su propósito es incentivar comportamientos apropiados, como negarse a generar contenido dañino o no rechazar solicitudes inofensivas.
Para garantizar la seguridad del GPT-4 modelos, OpenAI Comenzó a reclutar expertos externos en agosto de 2022 para realizar ejercicios de “equipo rojo”, incluidas pruebas de estrés, pruebas de límites y pruebas adversas. Tuvieron acceso a las primeras versiones del GPT-4 modelo e identificó riesgos iniciales que motivaron más investigaciones sobre seguridad.
Los comentarios de los expertos condujeron a mitigaciones técnicas y medidas de aplicación de políticas para reducir los riesgos. Sin embargo, persisten muchas amenazas y se necesita una mayor evaluación.
Hablando de empleados en OpenAI, ChatGPT fue inicialmente desarrollado con la asistencia de personas en algunas de las regiones más pobres del mundo a través de OpenAILa sociedad de con una empresa llamada Sama, que emplea a millones de trabajadores de áreas empobrecidas. Algunos expertos en ética de la IA han criticado OpenAIdecisión de externalizar la formación de sus ChatGPT modelo a Sama, acusando a la empresa de explotar mano de obra barata.
Más información:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Agne es una periodista que cubre las últimas tendencias y desarrollos en metaverso, IA y Web3 industrias para la Metaverse Post. Su pasión por contar historias la ha llevado a realizar numerosas entrevistas con expertos en estos campos, buscando siempre descubrir historias apasionantes y atrapantes. Agne tiene una licenciatura en literatura y tiene una amplia experiencia escribiendo sobre una amplia gama de temas, incluidos viajes, arte y cultura. También se ofreció como editora voluntaria de la organización de derechos de los animales, donde ayudó a crear conciencia sobre cuestiones de bienestar animal. Contáctala en [email protected].
Más artículos
Agne es una periodista que cubre las últimas tendencias y desarrollos en metaverso, IA y Web3 industrias para la Metaverse Post. Su pasión por contar historias la ha llevado a realizar numerosas entrevistas con expertos en estos campos, buscando siempre descubrir historias apasionantes y atrapantes. Agne tiene una licenciatura en literatura y tiene una amplia experiencia escribiendo sobre una amplia gama de temas, incluidos viajes, arte y cultura. También se ofreció como editora voluntaria de la organización de derechos de los animales, donde ayudó a crear conciencia sobre cuestiones de bienestar animal. Contáctala en [email protected].
