GPT-4 Nagmana ng "Hallucinating" Facts and Reasoning Errors From Earlier GPT Modellen
Sa madaling sabi
OpenAI sabi ni GPT-4 ay may katulad na mga limitasyon tulad ng nauna GPT modelo.
GPT-4 nagha-hallucinate pa rin ng mga katotohanan at gumagawa ng mga pagkakamali sa pangangatwiran.
Gayunpaman, GPT-4 nakakuha ng 40% na mas mataas kaysa OpenAIpinakabago GPT-3.5 sa internal adversarial factuality evaluation ng kumpanya.
OpenAI ay nagbabala sa mga user na ang pinakabagong modelo ng wika nito, GPT-4, ay hindi pa rin ganap na maaasahan at maaaring "maghallucinate" ng mga katotohanan at gumawa ng mga pagkakamali sa pangangatwiran. Hinihimok ng kumpanya ang mga user na mag-ingat kapag gumagamit ng mga output ng modelo ng wika, lalo na sa "mga kontekstong mataas ang stakes."
Gayunpaman, ang mabuting balita ay iyon GPT-4 makabuluhang binabawasan ang mga guni-guni na may kaugnayan sa mga nakaraang modelo. OpenAI sinasabing iyon GPT-4 nakakuha ng 40% na mas mataas kaysa sa pinakabago GPT-3.5 sa panloob na adversarial na mga pagsusuri sa katotohanan.
“Nakagawa kami ng pag-unlad sa mga panlabas na benchmark tulad ng TruthfulQA, na sumusubok sa kakayahan ng modelo na paghiwalayin ang katotohanan mula sa isang pangkat ng mga maling pahayag na pinili nang hindi tama. Ang mga tanong na ito ay ipinares sa katotohanang hindi tamang mga sagot na nakakaakit sa istatistika," OpenAI isinulat sa a blog post.
Sa kabila ng pagpapahusay na ito, kulang pa rin ang kaalaman ng modelo sa mga kaganapang naganap pagkatapos ng Setyembre 2021 at kung minsan ay gumagawa ng mga simpleng error sa pangangatwiran, tulad ng ginagawa ng mga naunang modelo. Bukod pa rito, maaari itong maging masyadong mapanlinlang sa pagtanggap ng mga halatang maling pahayag mula sa mga user at mabibigo sa mahihirap na problema, tulad ng pagpasok ng mga kahinaan sa seguridad sa code nito. Hindi rin nito sinusuri ang katotohanan sa impormasyong ibinibigay nito.
Tulad ng mga predecessors nito, GPT-4 maaaring makabuo ng mapaminsalang payo, buggy code, o hindi tumpak na impormasyon. Gayunpaman, ang mga karagdagang kakayahan ng modelo ay humahantong sa mga bagong ibabaw ng panganib na kailangang maunawaan. Upang masuri ang lawak ng mga panganib na ito, mahigit 50 eksperto mula sa iba't ibang domain, kabilang ang mga panganib sa AI alignment, cybersecurity, biorisk, tiwala at kaligtasan, at internasyonal na seguridad, ay nakipag-ugnayan sa adversarially na subukan ang modelo. Pagkatapos ay ginamit ang kanilang feedback at data upang pahusayin ang modelo, tulad ng pagkolekta ng karagdagang data upang mapahusay GPT-4ang kakayahang tanggihan ang mga kahilingan kung paano mag-synthesize ng mga mapanganib na kemikal.
Isa sa mga pangunahing paraan OpenAI ang pagbabawas ng mga mapaminsalang output ay sa pamamagitan ng pagsasama ng karagdagang signal ng gantimpala sa kaligtasan sa panahon ng pagsasanay sa RLHF (Reinforcement Learning from Human Feedback). Sinasanay ng signal ang modelo na tanggihan ang mga kahilingan para sa mapaminsalang nilalaman, bilang defined sa pamamagitan ng mga alituntunin sa paggamit ng modelo. Ang gantimpala ay ibinibigay ng a GPT-4 zero-shot classifier, na humahatol sa mga hangganan ng kaligtasan at istilo ng pagkumpleto sa mga prompt na nauugnay sa kaligtasan.
OpenAI sinabi rin nito na binawasan nito ang tendensya ng modelo na tumugon sa mga kahilingan para sa hindi pinapayagang content ng 82% kumpara sa GPT-3.5, at GPT-4 tumutugon sa mga sensitibong kahilingan gaya ng payong medikal at pananakit sa sarili alinsunod sa mga patakaran ng kumpanya nang 29% na mas madalas.
Habang OpenAIAng mga interbensyon ni ay nagpapataas ng kahirapan sa pag-uudyok ng masamang gawi mula sa GPT-4, posible pa rin ito, at mayroon pa ring mga jailbreak na maaaring makabuo ng content na lumalabag sa mga alituntunin sa paggamit.
“Habang nagiging laganap ang mga AI system, ang pagkamit ng mataas na antas ng pagiging maaasahan sa mga interbensyon na ito ay magiging lalong kritikal. Sa ngayon, mahalaga na umakma sa mga limitasyong ito ng mga diskarte sa kaligtasan sa oras ng pag-deploy tulad ng pagsubaybay para sa pang-aabuso," dagdag ng kumpanya.
OpenAI ay nakikipagtulungan sa mga panlabas na mananaliksik upang mas maunawaan at masuri ang mga potensyal na epekto ng GPT-4 at mga kahalili nitong modelo. Gumagawa din ang team ng mga pagsusuri para sa mga mapanganib na kakayahan na maaaring lumabas sa hinaharap na mga AI system. Habang patuloy nilang pinag-aaralan ang potensyal na panlipunan at mga epekto sa ekonomiya of GPT-4 at iba pang mga AI system, OpenAI ibabahagi ang kanilang mga natuklasan at insight sa publiko sa takdang panahon.
Magbasa nang higit pa:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Cindy ay isang mamamahayag sa Metaverse Post, sumasaklaw sa mga paksang nauugnay sa web3, NFT, metaverse at AI, na may pagtuon sa mga panayam kay Web3 mga manlalaro sa industriya. Nakipag-usap siya sa higit sa 30 C-level na mga executive at nadaragdagan pa, na nagdadala ng kanilang mahahalagang insight sa mga mambabasa. Originally from Singapore, Cindy is now based in Tbilisi, Georgia. Siya ay may hawak na Bachelor's degree sa Communications & Media Studies mula sa University of South Australia at may isang dekada ng karanasan sa pamamahayag at pagsusulat. Makipag-ugnayan sa kanya sa pamamagitan ng [protektado ng email] na may mga press pitch, mga anunsyo at mga pagkakataon sa pakikipanayam.
Mas marami pang artikulo
Si Cindy ay isang mamamahayag sa Metaverse Post, sumasaklaw sa mga paksang nauugnay sa web3, NFT, metaverse at AI, na may pagtuon sa mga panayam kay Web3 mga manlalaro sa industriya. Nakipag-usap siya sa higit sa 30 C-level na mga executive at nadaragdagan pa, na nagdadala ng kanilang mahahalagang insight sa mga mambabasa. Originally from Singapore, Cindy is now based in Tbilisi, Georgia. Siya ay may hawak na Bachelor's degree sa Communications & Media Studies mula sa University of South Australia at may isang dekada ng karanasan sa pamamahayag at pagsusulat. Makipag-ugnayan sa kanya sa pamamagitan ng [protektado ng email] na may mga press pitch, mga anunsyo at mga pagkakataon sa pakikipanayam.
