Märtsil 15, 2023

GPT-4 Ületab tulemusi GPT-3.5 Kõikjal erinevatel uuringukriteeriumidel

Avaldatud: 15. märts 2023 kell 7:15 Värskendatud: 15. märts 2023 kell 7:15

Põgusalt

. GPT-4 on saavutanud kõrgema hinde läve kui GPT-3.5 erinevatel võrdlusalustel.

See on suur saavutus, kuna see näitab, et masinad ei ole mitte ainult võimelised inimesele sarnaseks intelligentsiks, vaid võivad ka meid ületada, mis tõstatab küsimusi tehisintellekti tuleviku ja selle võimaliku mõju kohta tööturule.

GPT-4 edestavad märkimisväärselt tipptasemel (SOTA) mudelid, sealhulgas need, mis kasutavad täiendavaid treeningprotokolle või etalonspetsiifilist disaini, aga ka olemasolevad suured keelemudelid.

. GPT-4 on saavutanud kõrgemaid punkte kui GPT-3.5 erinevatel võrdlusalustel. See on suur läbimurre masinate jaoks, kuna see tõestab, et nad ei suuda nüüd mitte ainult lahendada probleeme, mis olid algselt loodud, vaid suudavad seda ka paremini teha kui ülikooliõpilased.

GPT-4 edestab GPT-3.5 laialdaselt erinevatel õppekriteeriumidel

Selle tulemuse vaatamisel tuleb arvestada mõne asjaga. Esiteks, GPT-4 talle ei antud nende eksamite jaoks spetsiaalset koolitust. Edasi toimiti kasutades viimaseid avalikult kättesaadavaid teste (olümpiaadide ja AP vabavastusega küsimuste puhul) või ostes 2022.–2023. aasta praktikaeksamite väljaandeid. Teiseks on oluline märkida, et GPT-4jõudlus ei pruugi tingimata peegeldada inimestest testijate võimeid, kuna see töötab erinevatel põhimõtetel ja algoritmidel.

See on suur saavutus nagu see näitab et masinad ei ole mitte ainult võimelised inimesele sarnaseks intelligentsiks, vaid suudavad ka meid ületada. See sillutab teed tulevikule, kus masinad saavad täita üha keerukamaid ülesandeid, mis viib lõpuks tulevikuni, kus nad saavad meid igapäevaelus aidata.

. GPT-4võime teatud ülesannetes inimesi edestada tekitab küsimusi tuleviku kohta tehisintellekti ja selle võimalikku mõju tööturule. Samuti rõhutab see vajadust jätkata selles valdkonnas uurimis- ja arendustegevust, et tagada tehisintellekti eetiline ja vastutustundlik kasutamine.

Loe rohkem: 5+ 2023. aasta oodatuimat tekstist pildiks AI mudelit

GPT-4, näiteks sooritab simuleeritud advokaadieksami tulemusega 10% parimatest testi sooritajatest; GPT-3.5 skoor jäi 10% alla. See märkimisväärne paranemine GPT-4jõudlus on tingitud suurematest treeningandmetest ja täiustatud arhitektuurist. Eeldatakse, et sellel on lai valik rakendusi erinevates valdkondades, sealhulgas loomuliku keele töötlemine ja automatiseeritud kirjutamine.

GPT-4 näitab enamiku nende kutse- ja akadeemiliste eksamite sooritamist inimese tasemel. Märkimisväärne on see, et see läbis ühtse baarieksami simuleeritud versiooni, mille skoor oli testi sooritanute 10% hulgas. Näib, et mudeli võimalused eksamitel tulenevad peamiselt koolituseelsest protsessist ja RLHF ei mõjuta neid oluliselt. Valikvastustega küsimuste puhul on mõlemad aluseks GPT-4 mudel ja RLHF-mudel toimisid testitud eksami arendajate seas keskmiselt võrdselt.

Enamik nüüdisaegseid (SOTA) mudeleid, sealhulgas neid, mis võivad kasutada täiendavaid treeningprotokolle või etalonspetsiifilist disaini, samuti olemasolevaid suuri keelemudelid, edestavad oluliselt GPT-4.

GPT-4akadeemiliste standardite poolest. Arendajad kontrasteerivad GPT-4 parima SOTA-ga LM-i hinnanguga mõne kaadri jaoks, samuti parima SOTA-ga, millel on võrdlusuuringuspetsiifiline koolitus. Välja arvatud DROP, GPT-4 edestab kõiki praegusi LM-e kõigi võrdlusnäitajate osas ja SOTA-d võrdlusaluste spetsiifilise koolitusega.

Sisemiselt on arendajad seda kasutanud GPT-4, millel on olnud märkimisväärne mõju sellistele tegevustele nagu programmeerimine, müük, tugi ja sisu modereerimine. Meie joondusmeetodi teine etapp on praegu käimas, kuna arendajad kasutavad seda inimeste abistamiseks tehisintellekti tulemuste ülevaatamisel.

MMLU (Massive Multi-Task Language Understanding) andmestik sisaldab küsimusi väga paljudest teemadest keele mõistmise kohta erinevates ülesannetes (mis hõlmab 57 valdkonda, sealhulgas matemaatika, bioloogia, õigusteadus, sotsiaal- ja humanitaarteadused jne). Küsimusele on neli vastust, millest üks on õige. See tähendab, et juhuslik arvamine näitab 25% õigete vastuste tulemust. Allolevalt pildilt leiate näiteid küsimustest ja nende raskustest. Keskmine inimene-marker (see tähendab, et see pole teadlane ega professor – tavaline inimene, kes märgib kuuvalgust) vastab õigesti 35%-le küsimustest; eksperdid võivad aga saavutada tulemuse +/- 90%.

Esitus GPT-4 erinevates keeltes, võrreldes MMLU varasemate ingliskeelsete mudelitega. GPT-4 ületab olemasolevate keelemudelite inglise keele jõudlust enamiku uuritud keelte puhul, sealhulgas vähese ressursiga keeled, nagu läti, kõmri ja suahiili.

Loe rohkem: 5 põhjust, miks kasutada AI-toega Bingi Google'i kaudu

Algselt oli kogu andmestik inglise keeles. Aga mis siis, kui küsimused ja vastused tõlgitakse teistesse keeltesse, eriti vähem levinud keeltesse? Kas mudel töötab nende jaoks kuidagi? Selles testis kasutati tõlkimiseks teenust Microsoft Azure Translate. Tõlked pole täiuslikud; mõnel juhul läheb oluline teave kaotsi. Kuid isegi sel juhul GPT-4 toimib hästi ka teistes keeltes. MMLU tõlgitud versioonides GPT-4 ületab teiste suurte mudelite (sh Google'i) inglise keele taset 24 keele võrra 26 uuritud keelest.

Mis veel, GPT-4 toimib haruldastes keeltes paremini kui ChatGPT tegi inglise keeles (ChatGPT saavutas tulemuseks 70.1%, samal ajal kui uue mudeli tulemus Tai keeles oli 71.8%. Ingliskeelse testi tulemus oli kõrgeim, koos GPT-4 toimides 10% paremini kui teised mudelid, sealhulgas Google'i suurim PaLM. See saavutas tulemuseks 86.4%, samas kui ekspertide rühm 90%.

2023. aasta suveks võib tehisintellekt olla tänu sellele saavutanud uue võimsuse taseme ChatGPT, vestlusbot, mis kasutab GPT-4 algoritm ja edestab GPT-3 koefitsiendiga 570. Sellele aitavad kaasa mitmesugused elemendid ChatGPTettevõtte edu, sealhulgas selle kujundus, mis on rohkem "inimlik", ning tipptasemel andmekaevandamise ja loomuliku keele töötlemise kasutamine selle tõhususe ja täpsuse suurendamiseks.
Microsoft ja OpenAI teatasid oma koostöö uuendamisest ja plaanist Bingi otsingul võtta jaanuaris kasutusele tehisintellektiga täiustatud otsinguvõimalused. Väga kogenud GPT3.5 mudeli asendus, GPT4, on just käivitatud, ja see võib oluliselt suurendada Bingi otsingu suutlikkust mõista loomuliku keele päringuid ja pakkuda täpsemaid tulemusi. Hea mõte on omada head varuplaani juhuks, kui midagi läheb valesti.

Loe rohkem seotud uudiseid:

Sildid:

Kaebused

Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.

Umbes Autor

Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.

Veel artikleid

Damir Jalalov