OpenAI Sammensætter et team på 50+ eksperter for at forbedre GPT-4's sikkerhed
Kort sagt
OpenAI har ansat et team på over 50 eksperter for at sikre, at dets nyeste sprogmodel, GPT-4, er sikker at bruge.
Holdet omfatter forskere og ingeniører med speciale i AI-sikkerhed, etik og politik.
Målet er at forebygge GPT-4 fra at generere skadeligt eller partisk indhold og for at sikre, at det stemmer overens med menneskelige værdier.
OpenAI har hyret over 50 eksperter fra forskellige domæner til at lave GPT-4 sikrere. Eksperterne har arbejdet med kontradiktorisk test af modellen for at identificere potentielle risici og sårbarheder. De er eksperter fra forskellige områder: langsigtede AI-tilpasningsrisici, cybersikkerhed, biorisiko og international sikkerhed. Deres resultater har hjulpet OpenAI evaluere modeladfærd i højrisikoområder, der kræver nicheekspertise.
Mens den nyeste sprogmodel udgør lignende risici som mindre sprogmodeller, er de yderligere muligheder ved GPT-4 føre til nye trusler. Således har inddragelsen af eksperter været afgørende for at sikre teknologiens sikkerhed.
OpenAI har implementeret et ekstra sæt sikkerhedsrelevant forstærkende læring fra menneskelige præferencer (RLHF) træningsprompter og regelbaserede belønningsmodeller (RBRM'er) for at forbedre sikkerheden for GPT-4 model. RBRM'erne er nul-shot GPT-4 klassifikatorer, der fungerer som et ekstra belønningssignal for GPT-4 politikmodel under RLHF-finjustering. Deres formål er at tilskynde til passende adfærd, såsom at afslå at generere skadeligt indhold eller ikke at afvise harmløse anmodninger.
For at sikre sikkerheden af GPT-4 modeller, OpenAI begyndte at rekruttere eksterne eksperter i august 2022 til at udføre "red teaming"-øvelser, herunder stresstest, grænsetestning og kontradiktorisk test. De havde adgang til tidlige versioner af GPT-4 model og identificerede indledende risici, der motiverede yderligere sikkerhedsforskning.
Eksperternes feedback førte til tekniske begrænsninger og politiske håndhævelsesforanstaltninger for at reducere risici. Der er dog stadig mange trusler, og der er behov for yderligere evaluering.
Taler om medarbejdere kl OpenAI, ChatGPT var oprindeligt udviklet med bistand fra enkeltpersoner i nogle af verdens fattigste regioner igennem OpenAI's partnerskab med en virksomhed kaldet Sama, som beskæftiger millioner af arbejdere fra fattige områder. Nogle eksperter i AI-etik har kritiseret OpenAI's beslutning om at outsource uddannelsen af sin ChatGPT model til Sama og anklager virksomheden for at udnytte lavprisarbejdskraft.
Læs mere:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Agne er en journalist, der dækker de seneste trends og udviklinger inden for metaverset, AI og Web3 industrier for Metaverse Post. Hendes passion for historiefortælling har fået hende til at gennemføre adskillige interviews med eksperter inden for disse områder, hvor hun altid søger at afdække spændende og engagerende historier. Agne er uddannet bachelor i litteratur og har en omfattende baggrund i at skrive om en bred vifte af emner, herunder rejser, kunst og kultur. Hun har også været frivillig som redaktør for dyrerettighedsorganisationen, hvor hun var med til at skabe opmærksomhed omkring dyrevelfærdsspørgsmål. Kontakt hende på [e-mail beskyttet].
Flere artikler
Agne er en journalist, der dækker de seneste trends og udviklinger inden for metaverset, AI og Web3 industrier for Metaverse Post. Hendes passion for historiefortælling har fået hende til at gennemføre adskillige interviews med eksperter inden for disse områder, hvor hun altid søger at afdække spændende og engagerende historier. Agne er uddannet bachelor i litteratur og har en omfattende baggrund i at skrive om en bred vifte af emner, herunder rejser, kunst og kultur. Hun har også været frivillig som redaktør for dyrerettighedsorganisationen, hvor hun var med til at skabe opmærksomhed omkring dyrevelfærdsspørgsmål. Kontakt hende på [e-mail beskyttet].
