GPT-4 Arver "hallucinerende" fakta og begrundelsesfejl fra tidligere GPT Modeller
Kort sagt
OpenAI siger GPT-4 har lignende begrænsninger som tidligere GPT modeller.
GPT-4 hallucinerer stadig fakta og laver begrundelsesfejl.
Imidlertid GPT-4 scorer 40 % højere end OpenAIer seneste GPT-3.5 om virksomhedens interne kontradiktoriske faktavurderinger.
OpenAI har advaret brugerne om, at dens seneste sprogmodel, GPT-4, er stadig ikke helt pålidelig og kan "hallucinere" fakta og lave begrundelsesfejl. Virksomheden opfordrer indtrængende brugere til at udvise forsigtighed, når de bruger sprogmodeloutput, især i "high-stakes sammenhænge."
Den gode nyhed er dog den GPT-4 reducerer hallucinationer markant i forhold til tidligere modeller. OpenAI hævder det GPT-4 scorer 40 % højere end den seneste GPT-3.5 om interne kontradiktoriske faktavurderinger.
"Vi har gjort fremskridt med eksterne benchmarks som TruthfulQA, som tester modellens evne til at adskille fakta fra et modstridende udvalgte sæt af forkerte udsagn. Disse spørgsmål er parret med faktuelt forkerte svar, der er statistisk tiltalende." OpenAI skrev i en blogindlæg.
På trods af denne forbedring mangler modellen stadig kendskab til hændelser, der fandt sted efter september 2021, og den laver nogle gange simple ræsonnementsfejl, ligesom tidligere modeller gør. Derudover kan den være alt for godtroende i at acceptere åbenlyse falske udsagn fra brugere og fejle ved svære problemer, såsom at indføre sikkerhedssårbarheder i sin kode. Den faktatjekker heller ikke de oplysninger, den giver.
Ligesom sine forgængere, GPT-4 kan generere skadelige råd, buggy-kode eller unøjagtige oplysninger. Men modellens yderligere muligheder fører til nye risikoflader, der skal forstås. For at vurdere omfanget af disse risici, over 50 eksperter fra forskellige domæner, herunder AI-tilpasningsrisici, cybersikkerhed, biorisk, tillid og sikkerhed og international sikkerhed, blev engageret for at teste modellen modstridende. Deres feedback og data blev derefter brugt til at forbedre modellen, såsom indsamling af yderligere data for at forbedre GPT-4's evne til at afslå anmodninger om, hvordan man syntetiserer farlige kemikalier.
En af de vigtigste måder OpenAI reduktion af skadelige output er ved at inkorporere et ekstra sikkerhedsbelønningssignal under RLHF (Reinforcement Learning from Human Feedback) træning. Signalet træner modellen til at afvise anmodninger om skadeligt indhold, som definedlagt af modellens retningslinjer for brug. Belønningen gives af en GPT-4 Zero-shot classifier, som bedømmer sikkerhedsgrænser og færdiggørelsesstil på sikkerhedsrelaterede prompter.
OpenAI sagde også, at det havde reduceret modellens tendens til at reagere på anmodninger om forbudt indhold med 82 % i forhold til GPT-3.5 og GPT-4 reagerer 29 % oftere på følsomme forespørgsler såsom lægehjælp og selvskade i overensstemmelse med virksomhedens politikker.
Mens OpenAI's indgreb har øget vanskeligheden ved at fremkalde dårlig opførsel fra GPT-4, er det stadig muligt, og der er stadig jailbreaks, der kan generere indhold, der overtræder retningslinjer for brug.
"Efterhånden som AI-systemer bliver mere udbredte, vil det blive mere og mere kritisk at opnå høje grader af pålidelighed i disse indgreb. Indtil videre er det vigtigt at supplere disse begrænsninger med sikkerhedsteknikker i implementeringstid som overvågning for misbrug,” tilføjede virksomheden.
OpenAI samarbejder med eksterne forskere for bedre at forstå og vurdere de potentielle virkninger af GPT-4 og dens efterfølgermodeller. Holdet udvikler også evalueringer for farlige egenskaber, der kan dukke op i fremtidige AI-systemer. Som de fortsætter med at studere de potentielle sociale og økonomiske virkninger of GPT-4 og andre AI-systemer, OpenAI vil dele deres resultater og indsigt med offentligheden i god tid.
Læs mere:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Cindy er journalist på Metaverse Post, der dækker emner relateret til web3, NFT, metaverse og AI, med fokus på interviews med Web3 industriens aktører. Hun har talt med over 30 ledere på C-niveau, og hun har bragt deres værdifulde indsigt til læserne. Oprindeligt fra Singapore, Cindy er nu baseret i Tbilisi, Georgia. Hun har en bachelorgrad i kommunikations- og mediestudier fra University of South Australia og har ti års erfaring med journalistik og forfatterskab. Kontakt hende via [e-mail beskyttet] med pressepitches, annonceringer og interviewmuligheder.
Flere artikler
Cindy er journalist på Metaverse Post, der dækker emner relateret til web3, NFT, metaverse og AI, med fokus på interviews med Web3 industriens aktører. Hun har talt med over 30 ledere på C-niveau, og hun har bragt deres værdifulde indsigt til læserne. Oprindeligt fra Singapore, Cindy er nu baseret i Tbilisi, Georgia. Hun har en bachelorgrad i kommunikations- og mediestudier fra University of South Australia og har ti års erfaring med journalistik og forfatterskab. Kontakt hende via [e-mail beskyttet] med pressepitches, annonceringer og interviewmuligheder.
