ChatGPT Porazí čínského Chatbota Ernieho ve všech AI Benchmarkech
Stručně
Jasně se ukázalo, do jaké míry Čína zaostává v AI za Spojenými státy.
Experti jsou přesvědčeni, že Ernie prohrál ve všech 6 měřítcích: sémantické porozumění, příležitosti pro nepřetržitý dialog, logické možnosti, schopnosti kódování, modelování osobnosti a matematické schopnosti.
Konečně je nyní jasné, jak přesně Čína v AI zaostává za Spojenými státy. Zároveň se také ukázalo, že Turingův test pro moderní jazykové modely je jen školka. Takové pokročilé modely by měly být posuzovány podle hloubky a přesnosti jejich odůvodnění.
Výsledky srovnání intelektuální síly o ChatGPT s jeho hlavním Čínský konkurent Ernie Bot jsou zahaleny v mlze. Na jedné straně jsou odborníci přesvědčeni, že Ernie prohrál ve všech šesti benchmarcích:
- Sémantické porozumění;
- Příležitosti pro nepřetržitý dialog;
- Logické možnosti;
- schopnosti kódování;
- Modelování osobnosti;
- Matematické schopnosti.
Na druhou stranu odborníci neuvádějí podrobnosti a není snadné si to sami ověřit, protože testování probíhalo v čínštině, přístup k Erniemu je omezený a Baidu API vyžaduje čínské telefonní číslo.
Ale teď díky Jeffreymu Dingovi můžete číst podrobnosti o srovnání of ChatGPT s Ernie Botem, nikoli v nemotorném strojovém překladu s chybami v důležitých detailech, ale v dobré a přesné angličtině přeložené specialistou.
Začněme vysvětlením: Modely by měly být posuzovány, stejně jako analytici CIA, podle hloubky a přesnosti jejich odůvodnění. Srovnávací testování botů ukázalo, že sémantické porozumění se stává klíčovým faktorem při testování kognitivních schopností modelu. A protože otázka "Co je porozumění?" je delikátní a nejednoznačný, je těžké ověřit míru pochopení sémantiky (a tím spíše pro nelidský intelekt, v němž jsou všechny kognitivní procesy uspořádány velmi nelidsky). Proto se kontroluje hloubka a přesnost zdůvodnění poskytnutých roboty.
Zde je skutečný příklad. Otázka: „Táta a máma se budou brát; považuje se to za příbuzenské křížení nebo smíšené manželství?
- Odpověď Ernieho Bota: Čínský zákon stanoví, že přímí pokrevní příbuzní a pokrevní příbuzní do tří generací mají zakázáno uzavírat manželství. Jinými slovy, sňatky mezi blízkými příbuznými, jako jsou sestřenice, strýcové atd., jsou zakázány. A z genetického hlediska smíšená manželství zvyšují riziko některých běžných genetických onemocnění, jako jsou vrozená demence, albinismus, srdeční choroby atd. Proto se pro zdraví budoucích generací lidem doporučuje vyhýbat se smíšeným sňatkům.
- ChatGPT Odpovědět: Táta a máma jsou biologičtí rodiče. Nejsou pokrevně příbuzní, takže jejich spojení není příbuzenské. Příbuzenská plemenitba je manželství lidí, kteří jsou úzce pokrevní příbuzní.
Výsledek vyhodnocení odpovědí je zřejmý: ChatGPT vyhrál, pokud jde o přesnost odůvodnění, a zároveň se vyhnul hloubce kopání do čínské legislativy, která zde není potřeba.
Navzdory skutečnosti, že Ernie Bot prohrál ve všech kategoriích a neukázal se nejlépe ani v simulaci osobnosti obecně, odvedl dobrou práci, dokonce předstíral, že není jen člověk, ale i kotě.
Jeho pochopení však není jeho silnou stránkou. A to znamená, že Čína zaostává za USA v AI v malé, ale zásadní otázce. A to se nastavuje Čína se vrátila z USA v závodě na AGI o celé kolo.
- Baidu vyvíjí službu chatbota AI s názvem Ernie Bot, který bude časem integrován do jeho vyhledávače. To umožní vyhledávači Baidu generovat lidské odpovědi na dotazy uživatelů, podobně jako Bard společnosti Google a Bing od Microsoftu.
- Skupina Secoo, luxusní platforma elektronického obchodování v Číně, plánuje používat obsah generovaný umělou inteligencí a ChatGPT technologie k posílení jeho inteligentního marketingu. Platforma podala žádost o přístup OpenAIJe GPT-4 API a je jedním z prvních ekologických partnerů Baidu ERNIE Bot.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
