ChatGPT Pobjeđuje kineskog chatbota Ernieja u svim AI mjerilima
Ukratko
Postalo je jasno u kojoj mjeri Kina zaostaje za Sjedinjenim Državama u AI.
Stručnjaci su uvjereni da je Ernie izgubio u svih 6 mjerila: semantičko razumijevanje, mogućnosti za kontinuirani dijalog, logičke mogućnosti, sposobnosti kodiranja, modeliranje osobnosti i matematičke sposobnosti.
Konačno, sada je jasno koliko Kina zaostaje za Sjedinjenim Državama u AI. U isto vrijeme, također je postalo očito da je Turingov test za moderne jezične modele samo dječji vrtić. Takve napredne modele treba ocjenjivati prema dubini i točnosti njihovih opravdanja.
Rezultati usporedbe intelektualne moći ChatGPT sa svojim glavnim Kineski natjecatelj Ernie Bot obavijeni su maglom. S jedne strane, stručnjaci su uvjereni da je Ernie izgubio u svih šest benchmarkova:
- Semantičko razumijevanje;
- Mogućnosti kontinuiranog dijaloga;
- Logičke mogućnosti;
- Mogućnosti kodiranja;
- Modeliranje osobnosti;
- Matematička sposobnost.
S druge strane, stručnjaci ne iznose detalje, a nije lako ni sami provjeriti jer je testiranje bilo na kineskom, pristup Ernieju je ograničen, a za Baidu API potreban je kineski telefonski broj.
Ali sada, zahvaljujući Jeffreyu Dingu, možete čitati detalje usporedbe of ChatGPT s Erniejem Botom, ne u nespretnom strojnom prijevodu s pogreškama u važnim detaljima, već na dobrom i točnom engleskom prevedenom od strane stručnjaka.
Počnimo s pojašnjenjem: modele treba ocjenjivati, poput analitičara CIA-e, prema dubini i točnosti njihovih opravdanja. Usporedno testiranje botova pokazalo je da semantičko razumijevanje postaje ključni faktor u testiranju kognitivnih sposobnosti modela. A budući da pitanje "Što je razumijevanje?" delikatan i višeznačan, teško je provjeriti stupanj razumijevanja semantike (a još više za neljudski intelekt, u kojem su svi kognitivni procesi raspoređeni vrlo neljudski). Zato se provjerava dubina i točnost obrazloženja koja daju botovi.
Evo pravog primjera. Pitanje: “Tata i mama se vjenčaju; smatra li se to srodstvom ili mješovitim brakom?"
- Odgovor Ernija Bota: Kineski zakon propisuje da je zabranjeno sklapanje braka u izravnom krvnom srodstvu i u krvnom srodstvu unutar tri generacije. Drugim riječima, brakovi između bliskih rođaka, kao što su rođaci, stričevi i sl., su zabranjeni. I s genetske točke gledišta, mješoviti brakovi povećavaju rizik od nekih uobičajenih genetskih bolesti, poput urođene demencije, albinizma, srčanih bolesti itd. Stoga se, radi zdravlja budućih generacija, ljudima savjetuje izbjegavanje mješovitih brakova.
- ChatGPT odgovor: Tata i mama su biološki roditelji. Nisu u krvnom srodstvu, pa njihova zajednica nije u krvnom srodstvu. Inbreeding je brak ljudi koji su u bliskom krvnom srodstvu.
Rezultat vrednovanja odgovora je očit: ChatGPT pobijedio u smislu točnosti opravdanja izbjegavajući dubinu kopanja po kineskom zakonodavstvu koje ovdje nije potrebno.
Unatoč činjenici da je Ernie Bot izgubio u svim kategorijama, ne pokazujući se na najbolji način, čak ni u simulaciji osobnosti, općenito je dobro obavio posao, čak se pretvarao da nije samo osoba, već i mačić.
Međutim, njegovo razumijevanje nije njegova jača strana. A to znači da Kina zaostaje za SAD-om u umjetnoj inteligenciji u malom, ali ključnom pitanju. I to postavlja Kina se vratila iz SAD-a u utrci za AGI punim krugom.
- Baidu razvija uslugu AI chatbota pod nazivom Ernie Bot, koji će s vremenom biti integriran u svoju tražilicu. To će omogućiti tražilici Baidu da generira ljudske odgovore na upite korisnika, slično Googleov Bard i Microsoftov Bing.
- Grupa Secoo, luksuzna platforma za e-trgovinu u Kini, planira koristiti sadržaj generiran umjetnom inteligencijom i ChatGPT tehnologije za poticanje svog inteligentnog marketinga. Platforma je podnijela zahtjev za pristup OpenAI'S GPT-4 API i jedan je od prvih ekoloških partnera Baiduovog ERNIE Bota.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
