ChatGPT Побеждава китайския чатбот Ernie във всички тестове за AI
Накратко
Степента, в която Китай изостава от Съединените щати в ИИ, стана ясна.
Експертите са убедени, че Ърни е загубил във всички 6 бенчмарка: семантично разбиране, възможности за непрекъснат диалог, логически възможности, способности за кодиране, моделиране на личността и математически способности.
И накрая, сега е ясно точно колко много Китай изостава от Съединените щати в ИИ. В същото време също стана ясно, че тестът на Тюринг за съвременни езикови модели е просто детска градина. Такива напреднали модели трябва да се оценяват по дълбочината и точността на техните обосновки.
Резултатите от сравняването на интелектуалната мощ на ChatGPT с основния си Китайски състезател Ърни Бот са обвити в мъгла. От една страна, експертите са убедени, че Ърни е загубил във всичките шест бенчмарка:
- Семантично разбиране;
- Възможности за непрекъснат диалог;
- Логически възможности;
- Възможности за кодиране;
- Моделиране на личността;
- Математически способности.
От друга страна, експертите не дават подробности и не е лесно да проверите сами, защото тестването беше на китайски, достъпът до Ernie е ограничен, а Baidu API изисква китайски телефонен номер.
Но сега, благодарение на Джефри Динг, можете да четете подробности за сравнението of ChatGPT с Ърни Бот, не в нескопосан машинен превод с грешки във важни детайли, а на добър и точен английски, преведен от специалист.
Нека започнем с едно уточнение: моделите трябва да се оценяват, подобно на анализаторите на ЦРУ, по дълбочината и точността на техните обосновки. Сравнителното тестване на ботове показа, че семантичното разбиране се превръща в ключов фактор при тестването на когнитивните способности на модела. И тъй като въпросът „Какво е разбиране?“ е деликатен и двусмислен, трудно е да се провери степента на разбиране на семантиката (и още повече за нечовешкия интелект, в който всички когнитивни процеси са подредени много нечовешки). Затова се проверява дълбочината и точността на обосновките, дадени от ботовете.
Ето един реален пример. Въпрос: „Татко и мама се женят; това за инбридинг ли се счита или за смесен брак?“
- Отговорът на Ърни Бот: Законът на Китай постановява, че на преки кръвни роднини и кръвни роднини в рамките на три поколения е забранено да се женят. С други думи, браковете между близки роднини, като братовчеди, чичовци и т.н., са забранени. А от генетична гледна точка смесените бракове повишават риска от някои често срещани генетични заболявания, като вродена деменция, албинизъм, сърдечни заболявания и т.н. Затова за здравето на бъдещите поколения хората се съветват да избягват смесените бракове.
- ChatGPT отговор: Татко и мама са биологични родители. Те нямат кръвна връзка, така че съюзът им не е кръвно-родствен. Инбридингът е брак между хора, които са в тясна кръвна връзка.
Резултатът от оценката на отговорите е очевиден: ChatGPT спечели по отношение на точността на обосновката, като същевременно избягва дълбочината на задълбочаване на китайското законодателство, което не е необходимо тук.
Въпреки факта, че Ърни Бот загуби във всички категории, не се показва по най-добрия начин, дори в симулация на личността, като цяло той свърши добра работа, дори се преструваше не само на човек, но и на коте.
Неговото разбиране обаче не е силната му страна. А това означава, че Китай изостава от САЩ в ИИ по малък, но важен въпрос. И това определя Китай се завръща от САЩ в надпреварата за AGI с пълна обиколка.
- Baidu разработва AI chatbot услуга, наречена Ърни Бот, който в крайна сметка ще бъде интегриран в неговата търсачка. Това ще позволи на търсачката на Baidu да генерира човешки отговори на потребителски запитвания, подобно на Бардът на Google и Bing на Microsoft.
- Secoo Group, луксозна платформа за електронна търговия в Китай, планира да използва генерирано от AI съдържание и ChatGPT технологии за стимулиране на неговия интелигентен маркетинг. Платформата е подала заявление за достъп до OpenAIЕ GPT-4 API и е един от първите екологични партньори на ERNIE Bot на Baidu.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
