ChatGPT Porazí čínskeho Chatbota Ernieho vo všetkých AI Benchmarkoch
Stručne
Jasne sa ukázalo, do akej miery Čína zaostáva v AI za Spojenými štátmi.
Odborníci sú presvedčení, že Ernie prehral vo všetkých 6 benchmarkoch: sémantické porozumenie, príležitosti na nepretržitý dialóg, logické možnosti, schopnosti kódovania, modelovanie osobnosti a matematické schopnosti.
Konečne je teraz jasné, ako veľmi Čína zaostáva za Spojenými štátmi v AI. Zároveň sa ukázalo, že Turingov test pre moderné jazykové modely je len materská škola. Takéto pokročilé modely by sa mali posudzovať podľa hĺbky a presnosti ich odôvodnení.
Výsledky porovnávania intelektuálnej sily o ChatGPT s jeho hlavným Čínsky konkurent Ernie Bot sú zahalené v hmle. Na jednej strane sú odborníci presvedčení, že Ernie prehral vo všetkých šiestich benchmarkoch:
- Sémantické chápanie;
- Príležitosti na nepretržitý dialóg;
- Logické možnosti;
- schopnosti kódovania;
- Modelovanie osobnosti;
- Matematická schopnosť.
Na druhej strane odborníci neuvádzajú podrobnosti a nie je ľahké si to sami skontrolovať, pretože testovanie bolo v čínštine, prístup k Erniemu je obmedzený a Baidu API vyžaduje čínske telefónne číslo.
Teraz však vďaka Jeffreymu Dingovi môžete čítať podrobnosti o porovnaní of ChatGPT s Erniem Botom, nie v nemotornom strojovom preklade s chybami v dôležitých detailoch, ale v dobrej a presnej angličtine preloženej špecialistom.
Začnime s objasnením: Modely by sa mali posudzovať, podobne ako analytici CIA, podľa hĺbky a presnosti ich odôvodnení. Porovnávacie testovanie botov ukázalo, že sémantické porozumenie sa stáva kľúčovým faktorom pri testovaní kognitívnych schopností modelu. A keďže otázka „Čo je porozumenie?“ je delikátna a nejednoznačná, je ťažké skontrolovať mieru pochopenia sémantiky (a ešte viac pre intelekt mimo človeka, v ktorom sú všetky kognitívne procesy usporiadané veľmi neľudsky). Preto sa kontroluje hĺbka a presnosť odôvodnení poskytnutých robotmi.
Tu je skutočný príklad. Otázka: „Otec a mama sa vydávajú; považuje sa to za príbuzenskú plemenitbu alebo zmiešané manželstvo?"
- Odpoveď Ernieho Bota: Čínsky zákon stanovuje, že priami pokrvní príbuzní a pokrvní príbuzní do troch generácií majú zakázané uzatvárať manželstvá. Inými slovami, sobáše medzi blízkymi príbuznými, ako sú bratranci, strýkovia atď., sú zakázané. A z genetického hľadiska zmiešané manželstvá zvyšujú riziko niektorých bežných genetických chorôb, ako sú vrodená demencia, albinizmus, srdcové choroby atď. Preto sa pre zdravie budúcich generácií ľuďom odporúča vyhýbať sa zmiešaným manželstvám.
- ChatGPT odpoveď: Otec a mama sú biologickí rodičia. Nie sú pokrvne príbuzní, takže ich spojenie nie je príbuzenské. Príbuzenské kríženie je manželstvo ľudí, ktorí sú pokrvne príbuzní.
Výsledok hodnotenia odpovedí je zrejmý: ChatGPT vyhrala z hľadiska presnosti odôvodnenia a zároveň sa vyhla hĺbkovému prehrabávaniu sa v čínskej legislatíve, ktorá tu nie je potrebná.
Napriek tomu, že Ernie Bot prehral vo všetkých kategóriách a neukázal sa tým najlepším spôsobom, dokonca ani v simulácii osobnosti, vo všeobecnosti odviedol dobrú prácu, dokonca predstieral, že nie je len človek, ale aj mačiatko.
Jeho porozumenie však nie je jeho silnou stránkou. A to znamená, že Čína zaostáva za USA v AI v malej, ale zásadnej otázke. A to sa nastavuje Čína sa vrátila z USA v pretekoch o AGI o celé kolo.
- Baidu vyvíja službu AI chatbot s názvom Ernie Bot, ktorý bude časom integrovaný do jeho vyhľadávača. To umožní vyhľadávaciemu nástroju Baidu generovať ľudské odpovede na otázky používateľov, podobne ako Bard spoločnosti Google a Bing od Microsoftu.
- Skupina Secoo, luxusná platforma elektronického obchodu v Číne, plánuje používať obsah generovaný AI ChatGPT technológie na podporu inteligentného marketingu. Platforma odoslala žiadosť o prístup k OpenAI'S GPT-4 API a je jedným z prvých ekologických partnerov Baidu ERNIE Bot.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
