GPT-4 Erft ‘hallucinerende’ feiten en redeneerfouten van vroeger GPT Modellen
In het kort
OpenAI zegt GPT-4 heeft soortgelijke beperkingen als eerder GPT modellen.
GPT-4 hallucineert nog steeds feiten en maakt redeneerfouten.
Echter, GPT-4 scoort 40% hoger dan OpenAI's laatste GPT-3.5 over de interne tegenstrijdige feitelijkheidsevaluaties van het bedrijf.
OpenAI heeft gebruikers gewaarschuwd dat zijn nieuwste taalmodel, GPT-4, is nog steeds niet volledig betrouwbaar en kan feiten ‘hallucineren’ en redeneerfouten veroorzaken. Het bedrijf dringt er bij gebruikers op aan voorzichtig te zijn bij het gebruik van taalmodeluitvoer, vooral in contexten waar veel op het spel staat.
Maar het goede nieuws is dat GPT-4 vermindert hallucinaties aanzienlijk vergeleken met eerdere modellen. OpenAI beweert dat GPT-4 scoort 40% hoger dan de laatste GPT-3.5 over interne tegenstrijdige feitelijkheidsevaluaties.
“We hebben vooruitgang geboekt met externe benchmarks zoals TruthfulQA, die het vermogen van het model test om feiten te scheiden van een op tegenspraak geselecteerde reeks onjuiste beweringen. Deze vragen gaan gepaard met feitelijk onjuiste antwoorden die statistisch aantrekkelijk zijn.” OpenAI schreef in a blogpost.
Ondanks deze verbetering mist het model nog steeds kennis van gebeurtenissen die plaatsvonden na september 2021 en maakt het soms simpele redeneerfouten, net als eerdere modellen. Bovendien kan het overdreven goedgelovig zijn in het accepteren van voor de hand liggende valse verklaringen van gebruikers en falen bij harde problemen, zoals het introduceren van beveiligingsproblemen in de code. Het doet ook geen factchecking van de informatie die het verstrekt.
Net als zijn voorgangers, GPT-4 kan schadelijk advies, foutieve code of onnauwkeurige informatie genereren. De aanvullende mogelijkheden van het model leiden echter tot nieuwe risicooppervlakken die moeten worden begrepen. Om de omvang van deze risico’s te beoordelen, meer dan 50 deskundigen uit verschillende domeinen, waaronder risico's op het gebied van AI-uitlijning, cyberbeveiliging, biorisico, vertrouwen en veiligheid, en internationale veiligheid, werden ingeschakeld om het model op vijandige wijze te testen. Hun feedback en gegevens werden vervolgens gebruikt om het model te verbeteren, bijvoorbeeld door aanvullende gegevens te verzamelen om deze te verbeteren GPT-4's vermogen om verzoeken over het synthetiseren van gevaarlijke chemicaliën te weigeren.
Een van de belangrijkste manieren OpenAI schadelijke effecten vermindert door een extra veiligheidsbeloningssignaal op te nemen tijdens de RLHF-training (Reinforcement Learning from Human Feedback). Het signaal traint het model om verzoeken om schadelijke inhoud te weigeren, zoals defivolgens de gebruiksrichtlijnen van het model. De beloning wordt verstrekt door a GPT-4 zero-shot-classificator, die veiligheidsgrenzen en voltooiingsstijl beoordeelt op basis van veiligheidsgerelateerde aanwijzingen.
OpenAI zei ook dat het de neiging van het model om te reageren op verzoeken om niet-toegestane inhoud met 82% had verminderd vergeleken met GPT-3.5, en GPT-4 reageert 29% vaker op gevoelige verzoeken zoals medisch advies en zelfbeschadiging in overeenstemming met het bedrijfsbeleid.
Terwijl OpenAI's interventies hebben de moeilijkheid vergroot om slecht gedrag uit te lokken GPT-4, het is nog steeds mogelijk, en er zijn nog steeds jailbreaks die inhoud kunnen genereren die de gebruiksrichtlijnen schendt.
“Naarmate AI-systemen vaker voorkomen, zal het bereiken van een hoge mate van betrouwbaarheid bij deze interventies steeds belangrijker worden. Voor nu is het van essentieel belang om deze beperkingen aan te vullen met beveiligingstechnieken voor de implementatietijd, zoals monitoring op misbruik”, voegde het bedrijf eraan toe.
OpenAI werkt samen met externe onderzoekers om de potentiële impact ervan beter te begrijpen en te beoordelen GPT-4 en zijn opvolgermodellen. Het team ontwikkelt ook evaluaties van gevaarlijke capaciteiten die in toekomstige AI-systemen kunnen ontstaan. Terwijl ze doorgaan met het bestuderen van de potentiële sociale en economische gevolgen of GPT-4 en andere AI-systemen, OpenAI zullen hun bevindingen en inzichten te zijner tijd met het publiek delen.
Lees verder:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Cindy is journaliste bij Metaverse Post, over onderwerpen die verband houden met web3, NFT, metaverse en AI, met een focus op interviews met Web3 spelers uit de industrie. Ze heeft met meer dan dertig leidinggevenden op C-niveau gesproken en er komen er steeds meer bij, en bracht hun waardevolle inzichten naar de lezers. Cindy komt oorspronkelijk uit Singapore en is nu gevestigd in Tbilisi, Georgië. Ze heeft een bachelordiploma in communicatie- en mediastudies van de Universiteit van Zuid-Australië en heeft tien jaar ervaring in journalistiek en schrijven. Neem contact met haar op via [e-mail beveiligd] met perspitches, aankondigingen en interviewmogelijkheden.
Meer artikelen
Cindy is journaliste bij Metaverse Post, over onderwerpen die verband houden met web3, NFT, metaverse en AI, met een focus op interviews met Web3 spelers uit de industrie. Ze heeft met meer dan dertig leidinggevenden op C-niveau gesproken en er komen er steeds meer bij, en bracht hun waardevolle inzichten naar de lezers. Cindy komt oorspronkelijk uit Singapore en is nu gevestigd in Tbilisi, Georgië. Ze heeft een bachelordiploma in communicatie- en mediastudies van de Universiteit van Zuid-Australië en heeft tien jaar ervaring in journalistiek en schrijven. Neem contact met haar op via [e-mail beveiligd] met perspitches, aankondigingen en interviewmogelijkheden.
