OpenAI Reuneix un equip de més de 50 experts per millorar GPT-4Seguretat de
En breu
OpenAI ha contractat un equip de més de 50 experts per garantir que el més nou model lingüístic, GPT-4, és segur per al seu ús.
L'equip inclou investigadors i enginyers especialitzats en seguretat, ètica i polítiques d'IA.
L'objectiu és prevenir GPT-4 de generar contingut nociu o esbiaixat i per garantir que s'alinea amb els valors humans.
OpenAI ha contractat més de 50 experts de diversos dominis per fer GPT-4 més segur. Els experts han estat treballant amb proves contradictòries del model per identificar riscos i vulnerabilitats potencials. Són experts de diverses àrees: riscos d'alineació de la IA a llarg termini, ciberseguretat, biorisc i seguretat internacional. Les seves troballes han ajudat OpenAI avaluar el comportament del model en àrees d'alt risc que requereixen experiència de nínxol.
Tot i que el model de llenguatge més recent presenta riscos similars als models de llenguatge més petits, les capacitats addicionals de GPT-4 conduir a noves amenaces. Així, la participació d'experts ha estat crucial per garantir la seguretat de la tecnologia.
OpenAI ha implementat un conjunt addicional d'aprenentatges de reforç rellevants per a la seguretat a partir de les preferències humanes (RLHF) i models de recompensa basats en regles (RBRM) per millorar la seguretat dels GPT-4 model. Els RBRM són de tir zero GPT-4 classificadors que funcionen com a senyal de recompensa addicional per al GPT-4 model de política durant l'ajustament RLHF. El seu propòsit és incentivar un comportament adequat, com ara rebutjar la generació de contingut nociu o no rebutjar peticions inofensives.
Per garantir la seguretat del GPT-4 models, OpenAI va començar a reclutar experts externs l'agost de 2022 per dur a terme exercicis d'"equip vermell", incloses proves d'esforç, proves de límits i proves d'afrontament. Van tenir accés a les primeres versions del GPT-4 model i van identificar riscos inicials que van motivar més investigacions sobre seguretat.
Els comentaris dels experts van conduir a mitigacions tècniques i mesures d'aplicació de polítiques per reduir els riscos. No obstant això, hi ha moltes amenaces i cal una avaluació addicional.
Parlant dels empleats a OpenAI, ChatGPT va ser inicialment desenvolupat amb l'ajuda d'individus d'algunes de les regions més pobres del món OpenAIs'associa amb una empresa anomenada Sama, que dóna feina a milions de treballadors de zones empobrides. Alguns experts en ètica de la IA han criticat OpenAIla decisió de subcontractar la formació dels seus ChatGPT model a Sama, acusant l'empresa d'explotar mà d'obra de baix cost.
Llegir més:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
L'Agne és una periodista que cobreix les últimes tendències i desenvolupaments en el metavers, IA i Web3 indústries per a Metaverse Post. La seva passió per la narració l'ha portat a realitzar nombroses entrevistes amb experts en aquests camps, sempre buscant descobrir històries apassionants i atractives. L'Agne és llicenciada en literatura i té una àmplia experiència en l'escriptura sobre una àmplia gamma de temes, com ara viatges, art i cultura. També ha estat voluntaria com a editora de l'organització dels drets dels animals, on va ajudar a conscienciar sobre els problemes de benestar animal. Contacta amb ella [protegit per correu electrònic].
més articles
L'Agne és una periodista que cobreix les últimes tendències i desenvolupaments en el metavers, IA i Web3 indústries per a Metaverse Post. La seva passió per la narració l'ha portat a realitzar nombroses entrevistes amb experts en aquests camps, sempre buscant descobrir històries apassionants i atractives. L'Agne és llicenciada en literatura i té una àmplia experiència en l'escriptura sobre una àmplia gamma de temes, com ara viatges, art i cultura. També ha estat voluntaria com a editora de l'organització dels drets dels animals, on va ajudar a conscienciar sobre els problemes de benestar animal. Contacta amb ella [protegit per correu electrònic].
