Kovo 15, 2023

GPT-4 Pralenkia GPT-3.5 Įvairių studijų gairių vertinimas

Paskelbta: 15 m. kovo 2023 d., 7:15 val. Atnaujinta: 15 m. kovo 2023 d., 7:15

Trumpai

Šios GPT-4 pasiekė aukštesnę pažymių ribą nei GPT-3.5 pagal įvairius etalonus.

Tai didelis laimėjimas, nes parodo, kad mašinos ne tik geba į žmogų panašų intelektą, bet ir gali pranokti mus, o tai kelia klausimų apie AI ateitį ir galimą jos poveikį darbo rinkai.

GPT-4 yra žymiai pranašesnis už moderniausius (SOTA) modelius, įskaitant tuos, kuriuose naudojami papildomi mokymo protokolai arba etalonui būdingas dizainas, taip pat esami didelių kalbų modeliai.

Šios GPT-4 pasiekė aukštesnių balų nei GPT-3.5 pagal įvairius etalonus. Tai didelis laimėjimas mašinoms, nes įrodo, kad dabar jos gali ne tik išspręsti problemas, kurios iš pradžių buvo sukurtos, bet ir gali tai padaryti geriau nei universiteto studentai.

GPT-4 pranoksta GPT-3.5 visame pasaulyje pagal įvairius studijų lyginamuosius standartus

Vertinant šį rezultatą, reikia atsižvelgti į keletą dalykų. Pirma, GPT-4 nebuvo specialiai paruoštas šiems egzaminams. Jis buvo atliktas naudojant naujausius viešai prieinamus testus (olimpiadų ir AP nemokamų atsakymų klausimų atveju) arba perkant 2022–2023 m. praktikos egzaminus. Antra, svarbu pažymėti, kad GPT-4našumas nebūtinai gali atspindėti testuojančių žmonių gebėjimus, nes jis veikia pagal skirtingus principus ir algoritmus.

Tai didelis pasiekimas kaip tai rodo kad mašinos gali ne tik turėti į žmogų panašų intelektą, bet ir pranokti mus. Tai atveria kelią ateičiai, kurioje mašinos gali atlikti vis sudėtingesnes užduotis, o tai galiausiai veda į ateitį, kurioje jos gali mums padėti kasdieniame gyvenime.

Šios GPT-4gebėjimas pranokti žmones atliekant tam tikras užduotis kelia klausimų dėl ateities dirbtinis intelektas ir jos galimą poveikį darbo rinkai. Taip pat pabrėžiamas poreikis tęsti šios srities mokslinius tyrimus ir plėtrą, siekiant užtikrinti, kad dirbtinis intelektas būtų naudojamas etiškai ir atsakingai.

Plačiau paskaitykite čia: 5+ labiausiai laukiami 2023 m. teksto į vaizdą AI modeliai

GPT-4, pavyzdžiui, išlaiko imitacinį baro egzaminą, surinkęs 10 % geriausių testą laikiusiųjų; GPT-3.5 rezultatas buvo apatiniame 10 proc. Šis reikšmingas patobulinimas GPT-4našumą lemia didesni treniruočių duomenys ir patobulinta architektūra. Tikimasi, kad jis turės platų pritaikymo spektrą įvairiose srityse, įskaitant natūralios kalbos apdorojimą ir automatizuotą rašymą.

GPT-4 daugumą šių profesinių ir akademinių egzaminų demonstruoja žmogaus lygiu. Pažymėtina, kad jis išlaikė modeliuotą Uniform Bar Examination versiją ir surinko 10% geriausių testą laikiusiųjų. Atrodo, kad modelio galimybės egzaminų metu pirmiausia kyla iš išankstinio mokymo proceso ir RLHF jiems didelės įtakos neturi. Klausimuose su atsakymų variantais tiek pagrindas GPT-4 modelio ir RLHF modelio testo kūrėjai vidutiniškai veikė vienodai gerai.

Dauguma naujausių (SOTA) modelių, įskaitant tuos, kuriuose gali būti naudojami papildomi mokymo protokolai arba etalonui būdingas dizainas, taip pat esami dideli kalbos modeliai, gerokai lenkia GPT-4.

GPT-4rezultatai, atsižvelgiant į akademinius standartus. Kūrėjai kontrastuoja GPT-4 su geriausia SOTA, skirta LM įvertintam kelių kadrų, taip pat geriausia SOTA su etalonui skirtu mokymu. Išskyrus DROP, GPT-4 pranoksta visus dabartinius LM pagal visus etalonus ir SOTA su etalonui skirtu mokymu.

Viduje kūrėjai naudojo GPT-4, kuris turėjo didelės įtakos tokiai veiklai kaip programavimas, pardavimas, palaikymas ir turinio moderavimas. Šiuo metu vyksta antrasis mūsų derinimo metodo etapas, nes kūrėjai jį naudoja padėti žmonėms peržiūrėti AI rezultatus.

MMLU (Massive Multi-Task Language Understanding) duomenų rinkinyje yra klausimai iš labai įvairių temų apie kalbos supratimą atliekant skirtingas užduotis (apimanti 57 sritis, įskaitant matematiką, biologiją, teisę, socialinius ir humanitarinius mokslus ir kt.). Yra keturi galimi atsakymai į klausimą, iš kurių vienas yra teisingas. Tai yra, atsitiktinis spėjimas rodo 25% teisingų atsakymų rezultatą. Žemiau esančiame paveikslėlyje rasite klausimų ir jų sunkumų pavyzdžių. Vidutinis žmogus-žymeklis (tai yra, tai ne mokslininkas, ne profesorius – paprastas žmogus, kuris šviečia mėnulio šviesa) teisingai atsako į 35% klausimų; tačiau ekspertai gali pasiekti +/- 90 proc.

atlikimas GPT-4 įvairiomis kalbomis, palyginti su ankstesniais MMLU modeliais anglų kalba. GPT-4 viršija esamų kalbų modelių anglų kalbos našumą daugeliui tirtų kalbų, įskaitant mažai išteklių reikalaujančias kalbas, tokias kaip latvių, valų ir suahilių.

Plačiau paskaitykite čia: 5 priežastys, kodėl verta naudoti dirbtinio intelekto „Bing“ per „Google“.

Iš pradžių visas duomenų rinkinys buvo anglų kalba. Bet ką daryti, jei klausimai ir atsakymai verčiami į kitas kalbas, ypač rečiau? Ar modelis jiems kažkaip tiks? Šiame bandyme vertimui buvo naudojama „Microsoft Azure Translate“ paslauga. Vertimai nėra tobuli; kai kuriais atvejais prarandama svarbi informacija. Tačiau net ir šiuo atveju GPT-4 gerai veikia kitomis kalbomis. Išverstose MMLU versijose GPT-4 24 iš 26 tirtų kalbų lenkia kitų didelių modelių (įskaitant Google) anglų kalbos lygį.

Kas daugiau, GPT-4 veikia geriau retomis kalbomis nei ChatGPT padarė angliškai (ChatGPT pasiekė 70.1% balo, o naujojo modelio tajų balas buvo 71.8%. Testo anglų kalba balas buvo aukščiausias, su GPT-4 našumas 10 % geresnis nei kitų modelių, įskaitant didžiausią „Google“ PaLM. Jis surinko 86.4%, o ekspertų grupė – 90%.

Iki 2023 m. vasaros AI galėjo pasiekti naują galios lygį ChatGPT, pokalbių robotas, kuris naudoja GPT-4 algoritmas ir pranoksta GPT-3 koeficientu 570. Prie to prisideda įvairūs elementai ChatGPTsėkmę, įskaitant jos dizainą, kad jis būtų labiau „panašus į žmogų“, ir pažangiausių duomenų gavybos bei natūralios kalbos apdorojimo naudojimą, siekiant padidinti jo efektyvumą ir tikslumą.
Microsoft ir OpenAI sausio mėn. paskelbė apie savo bendradarbiavimo atnaujinimą ir planus, kad „Bing Search“ pritaikys dirbtinio intelekto patobulintas paieškos galimybes. Labai sudėtingas GPT3.5 modelio pakeitimas, GPT4, ką tik paleistas, ir ji gali labai padidinti „Bing“ paieškos gebėjimą suprasti natūralios kalbos užklausas ir pateikti tikslesnius rezultatus. Pravartu turėti gerą atsarginį planą, jei kas nors nutiktų.

Skaitykite daugiau susijusių naujienų:

Žymos:

Atsakomybės neigimas

Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.

Apie autorių

Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.

Daugiau straipsnių

Damiras Jalalovas