GPT-4 nadmašuje GPT-3.5 Sveukupno na raznim referentnim vrijednostima studija
Ukratko
Korištenje električnih romobila ističe GPT-4 je postigao viši prag ocjena od GPT-3.5 na raznim mjerilima.
Ovo je veliko postignuće jer pokazuje da strojevi ne samo da su sposobni za inteligenciju sličnu ljudskoj, već nas mogu i nadmašiti, što postavlja pitanja o budućnosti umjetne inteligencije i njezinom potencijalnom utjecaju na tržište rada.
GPT-4 je znatno bolji od najsuvremenijih (SOTA) modela, uključujući one koji koriste dodatne protokole obuke ili dizajn specifičan za referentne vrijednosti, kao i postojeće modele velikih jezika.
Korištenje električnih romobila ističe GPT-4 je postigao više rezultate od GPT-3.5 na raznim mjerilima. Ovo je veliki napredak za strojeve jer dokazuje da oni sada ne samo da mogu rješavati probleme za koje su izvorno dizajnirani, već to mogu činiti i bolje od studenata sveučilišta.
Postoji nekoliko stvari koje treba uzeti u obzir kada gledate ovaj rezultat. Prvo, GPT-4 nije dobio nikakvu posebnu obuku za te ispite. Nastavljeno je korištenjem najnovijih javno dostupnih testova (u slučaju olimpijada i AP pitanja s besplatnim odgovorom) ili kupnjom izdanja ispitnih rokova za 2022. – 2023. Drugo, važno je napomenuti da GPT-4Učinkovitost ne mora nužno odražavati sposobnosti ljudi koji polažu test, budući da radi na drugačijem skupu principa i algoritama.
Ovo je veliko postignuće kao to pokazuje da strojevi ne samo da su sposobni za inteligenciju sličnu ljudskoj, već nas mogu i nadmašiti. To otvara put budućnosti u kojoj strojevi mogu preuzimati sve složenije zadatke, što u konačnici vodi u budućnost u kojoj nam mogu pomoći u svakodnevnom životu.
| Pročitajte više: 5+ najočekivanijih AI modela teksta u sliku 2023 |
GPT-4, na primjer, položi simulirani pravosudni ispit s ocjenom među 10% najboljih ispitanika; GPT-3.5 rezultat je bio u najnižih 10%. Ovo značajno poboljšanje u GPT-4Učinkovitost je zahvaljujući većim podacima o obuci i poboljšanoj arhitekturi. Očekuje se da će imati širok raspon primjena u raznim područjima, uključujući obradu prirodnog jezika i automatizirano pisanje.
GPT-4 pokazuje performanse na ljudskoj razini na većini ovih stručnih i akademskih ispita. Naime, prošao je simuliranu verziju jedinstvenog pravosudnog ispita s ocjenom među 10% najboljih ispitanika. Čini se da mogućnosti modela na ispitima prvenstveno proizlaze iz procesa prije obuke i na njih RLHF ne utječe značajno. Na pitanja s višestrukim izborom, oba baza GPT-4 model i RLHF model imali su jednako dobre rezultate u prosjeku kod programera testiranog ispita.
Većina najsuvremenijih (SOTA) modela, uključujući one koji mogu koristiti dodatne protokole obuke ili dizajn specifičan za referentne vrijednosti, kao i postojeće velike jezični modeli, znatno su bolji od GPT-4.
Interno, programeri su koristili GPT-4, što je imalo značajan utjecaj na aktivnosti poput programiranja, prodaje, podrške i moderiranja sadržaja. Druga faza naše metode usklađivanja sada je u tijeku jer je programeri koriste kako bi pomogli ljudima u pregledu rezultata umjetne inteligencije.
Skup podataka MMLU (Massive Multi-Task Language Understanding) sadrži pitanja iz vrlo širokog raspona tema o razumijevanju jezika u različitim zadacima (pokrivajući 57 domena, uključujući matematiku, biologiju, pravo, društvene i humanističke znanosti, itd.). Na pitanje su moguća četiri odgovora od kojih je jedan točan. Odnosno, nasumično pogađanje pokazuje rezultat od 25% točnih odgovora. Pogledajte donju sliku za primjere pitanja i njihove poteškoće. Prosječna osoba marker (to jest, ovo nije znanstvenik, ne profesor - obična osoba koja radi kao markica) odgovara točno na 35% pitanja; međutim, stručnjaci mogu postići rezultat od +/- 90%.
| Pročitajte više: 5 razloga zašto koristiti AI-powered Bing umjesto Googlea |
Izvorno je cijeli skup podataka bio na engleskom jeziku. Ali što ako su pitanja i odgovori prevedeni na druge jezike, osobito manje uobičajene? Hoće li im model nekako uspjeti? U ovom testu za prijevod je korišten servis Microsoft Azure Translate. Prijevodi nisu savršeni; u nekim slučajevima, važne informacije su izgubljene. Međutim, čak iu ovom slučaju, GPT-4 dobro funkcionira na drugim jezicima. U prevedenim verzijama MMLU-a, GPT-4 nadmašuje razinu engleskog jezika drugih velikih modela (uključujući Google) za 24 od 26 ispitanih jezika.
Što je više, GPT-4 radi bolje u rijetkim jezicima nego ChatGPT učinio na engleskom (ChatGPT postigao rezultat od 70.1%, dok je rezultat novog modela za Thai bio 71.8%). Najvišu ocjenu dobio je test iz engleskog jezika, s GPT-4 s 10% boljom izvedbom od ostalih modela, uključujući najveći PaLM iz Googlea. Ostvarila je ocjenu od 86.4%, a skupina stručnjaka—90%.
- Do ljeta 2023. umjetna inteligencija bi mogla dosegnuti novu razinu moći zahvaljujući ChatGPT, chatbot koji koristi GPT-4 algoritam i nadmašuje GPT-3 za faktor 570. Razni elementi doprinose ChatGPTuspjeh, uključujući njegov dizajn koji je više "sličan čovjeku" i korištenje najsuvremenijeg rudarenja podataka i obrade prirodnog jezika za povećanje učinkovitosti i točnosti.
- Microsoft i OpenAI najavili su obnovu suradnje i planove za Bing pretraživanje da u siječnju usvoji mogućnosti pretraživanja poboljšane umjetnom inteligencijom. Vrlo sofisticirano GPT3.5 zamjena modela, GPT4, je upravo pokrenut, i ima potencijal uvelike poboljšati kapacitet Bing pretraživanja za razumijevanje upita na prirodnom jeziku i pružanje točnijih rezultata. Dobro je imati dobar pričuvni plan u slučaju da nešto pođe po zlu.
Pročitajte još povezanih vijesti:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
