GPT-4 Podeduje "halucinantna" dejstva in napake pri sklepanju od prej GPT Modeli
Na kratko
OpenAI pravi GPT-4 ima podobne omejitve kot prej GPT modeli.
GPT-4 še vedno halucinira dejstva in dela napake pri sklepanju.
Vendar pa GPT-4 dosega 40 % višje rezultate kot OpenAIje najnovejša GPT-3.5 o notranji kontradiktorni oceni dejanskega stanja družbe.
OpenAI je uporabnike opozoril, da je njegov najnovejši jezikovni model, GPT-4, še vedno ni popolnoma zanesljiv in lahko »halucinira« dejstva ter naredi napake pri sklepanju. Podjetje poziva uporabnike, naj bodo previdni pri uporabi rezultatov jezikovnega modela, zlasti v "kontekstih velikih vložkov".
Vendar pa je dobra novica to GPT-4 bistveno zmanjša halucinacije v primerjavi s prejšnjimi modeli. OpenAI to trdijo GPT-4 dosega 40 % višje rezultate kot zadnji GPT-3.5 o notranjih kontradiktornih ocenah dejanskega stanja.
»Napredovali smo pri zunanjih merilih uspešnosti, kot je TruthfulQA, ki preizkuša sposobnost modela, da loči dejstva od kontradiktorno izbranega nabora napačnih trditev. Ta vprašanja so združena z dejansko nepravilnimi odgovori, ki so statistično privlačni,« OpenAI zapisal v a blog post.
Kljub tej izboljšavi model še vedno ne pozna dogodkov, ki so se zgodili po septembru 2021, in včasih naredi preproste napake pri sklepanju, tako kot prejšnji modeli. Poleg tega je lahko preveč lahkoveren pri sprejemanju očitnih lažnih izjav uporabnikov in spodleti pri težkih težavah, kot je vnašanje varnostnih ranljivosti v kodo. Prav tako ne preverja dejstev informacij, ki jih ponuja.
Tako kot njegovi predhodniki, GPT-4 lahko ustvarijo škodljive nasvete, kodo z napakami ali netočne informacije. Vendar pa dodatne zmogljivosti modela vodijo do novih površin tveganja, ki jih je treba razumeti. Da bi ocenili obseg teh tveganj, več kot 50 strokovnjakov z različnih področij, vključno s tveganji usklajevanja umetne inteligence, kibernetsko varnostjo, biološkim tveganjem, zaupanjem in varnostjo ter mednarodno varnostjo, so bili vključeni v adversarno testiranje modela. Njihove povratne informacije in podatki so bili nato uporabljeni za izboljšanje modela, kot je zbiranje dodatnih podatkov za izboljšanje GPT-4zmožnost zavračanja zahtev o tem, kako sintetizirati nevarne kemikalije.
Eden od glavnih načinov OpenAI Zmanjšanje škodljivih izhodov je z vključitvijo dodatnega varnostnega signala nagrajevanja med usposabljanjem RLHF (Učenje okrepitve iz človeških povratnih informacij). Signal trenira model, da zavrne zahteve po škodljivih vsebinah, kot defiv skladu s smernicami za uporabo modela. Nagrado zagotavlja a GPT-4 zero-shot klasifikator, ki presoja varnostne meje in slog dokončanja na podlagi pozivov, povezanih z varnostjo.
OpenAI je tudi povedal, da je zmanjšal težnjo modela, da se odzove na zahteve po nedovoljeni vsebini, za 82 % v primerjavi z GPT-3.5, in GPT-4 29 % pogosteje odgovarja na občutljive zahteve, kot so zdravniški nasvet in samopoškodovanje v skladu s politiko podjetja.
Medtem ko je OpenAINjegovi posegi so povečali težave pri izvabljanju slabega vedenja GPT-4, je še vedno mogoče in še vedno obstajajo pobegi iz zapora, ki lahko ustvarijo vsebino, ki krši smernice za uporabo.
»Ko bodo sistemi umetne inteligence vse bolj razširjeni, bo doseganje visoke stopnje zanesljivosti pri teh posegih postalo vse bolj kritično. Za zdaj je nujno, da te omejitve dopolnimo z varnostnimi tehnikami v času uvajanja, kot je spremljanje zlorab,« je dodalo podjetje.
OpenAI sodeluje z zunanjimi raziskovalci, da bi bolje razumel in ocenil potencialne vplive GPT-4 in njegovi nasledniki modeli. Ekipa prav tako razvija ocene za nevarne zmogljivosti, ki se lahko pojavijo v prihodnjih sistemih AI. Ker nadaljujejo s preučevanjem potencialnih družbenih in gospodarske vplive of GPT-4 in drugi sistemi AI, OpenAI bodo svoje ugotovitve in spoznanja pravočasno posredovali javnosti.
Preberite več:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Cindy je novinarka pri Metaverse Post, ki pokriva teme, povezane z web3, NFT, metaverse in AI, s poudarkom na intervjujih z Web3 akterji v industriji. Pogovarjala se je z več kot 30 vodstvenimi delavci na ravni C in jih je še vedno več, pri čemer je bralcem posredovala njihove dragocene vpoglede. Cindy, ki izvira iz Singapurja, je zdaj v Tbilisiju v Gruziji. Ima diplomo iz komunikacijskih in medijskih študij na Univerzi v Južni Avstraliji in ima desetletje izkušenj z novinarstvom in pisanjem. Stopite v stik z njo prek [e-pošta zaščitena] z novinarskimi predstavitvami, napovedmi in priložnostmi za intervjuje.
več člankov
Cindy je novinarka pri Metaverse Post, ki pokriva teme, povezane z web3, NFT, metaverse in AI, s poudarkom na intervjujih z Web3 akterji v industriji. Pogovarjala se je z več kot 30 vodstvenimi delavci na ravni C in jih je še vedno več, pri čemer je bralcem posredovala njihove dragocene vpoglede. Cindy, ki izvira iz Singapurja, je zdaj v Tbilisiju v Gruziji. Ima diplomo iz komunikacijskih in medijskih študij na Univerzi v Južni Avstraliji in ima desetletje izkušenj z novinarstvom in pisanjem. Stopite v stik z njo prek [e-pošta zaščitena] z novinarskimi predstavitvami, napovedmi in priložnostmi za intervjuje.
