OpenAI Stelt een team van meer dan 50 experts samen om te verbeteren GPT-4's Veiligheid
In het kort
OpenAI heeft een team van meer dan 50 experts ingehuurd om ervoor te zorgen dat zijn nieuwste taalmodel, GPT-4, is veilig voor gebruik.
Het team bestaat uit onderzoekers en ingenieurs die gespecialiseerd zijn in AI-veiligheid, ethiek en beleid.
Het doel is voorkomen GPT-4 om schadelijke of bevooroordeelde inhoud te genereren en ervoor te zorgen dat deze in overeenstemming is met menselijke waarden.
OpenAI heeft ruim 50 experts uit verschillende domeinen ingehuurd om dit te maken GPT-4 veiliger. De experts hebben gewerkt met vijandige tests van het model om potentiële risico's en kwetsbaarheden te identificeren. Het zijn experts op verschillende gebieden: risico’s op het gebied van AI-uitlijning op de lange termijn, cyberveiligheid, biorisico’s en internationale veiligheid. Hun bevindingen hebben geholpen OpenAI modelgedrag evalueren in gebieden met een hoog risico waarvoor niche-expertise vereist is.
Hoewel het nieuwste taalmodel vergelijkbare risico's met zich meebrengt als kleinere taalmodellen, zijn de extra mogelijkheden van GPT-4 leiden tot nieuwe bedreigingen. Er is dus sprake geweest van de inschakeling van deskundigen cruciaal voor het garanderen van de veiligheid van de technologie.
OpenAI heeft een extra reeks veiligheidsrelevante versterkingsleren van trainingsaanwijzingen voor menselijke voorkeuren (RLHF) en op regels gebaseerde beloningsmodellen (RBRM's) geïmplementeerd om de veiligheid van de GPT-4 model. De RBRM's zijn zero-shot GPT-4 classifiers die fungeren als een extra beloningssignaal voor de GPT-4 beleidsmodel tijdens de verfijning van de RLHF. Hun doel is om gepast gedrag te stimuleren, zoals het weigeren van het genereren van schadelijke inhoud of het niet afwijzen van ongevaarlijke verzoeken.
Om de veiligheid van de GPT-4 modellen OpenAI begon in augustus 2022 met het rekruteren van externe experts om ‘red teaming’-oefeningen uit te voeren, waaronder stresstests, grenstests en vijandige tests. Ze hadden toegang tot vroege versies van de GPT-4 model en identificeerde initiële risico's die verder veiligheidsonderzoek motiveerden.
De feedback van de experts leidde tot technische maatregelen en beleidshandhavingsmaatregelen om de risico's te verminderen. Er blijven echter veel bedreigingen bestaan en verdere evaluatie is nodig.
Over medewerkers gesproken bij OpenAI, ChatGPT was aanvankelijk ontwikkelde met hulp van individuen in enkele van de armste regio's ter wereld OpenAI's partnerschap met een bedrijf genaamd Sama, dat miljoenen werknemers uit arme gebieden in dienst heeft. Sommige experts op het gebied van AI-ethiek hebben kritiek geuit OpenAI's besluit om de opleiding van haar uit te besteden ChatGPT model naar Sama, die het bedrijf ervan beschuldigt goedkope arbeidskrachten uit te buiten.
Lees verder:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
Meer artikelen
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
