ChatGPT Перемагає китайського чат-бота Ерні в усіх тестах ШІ
Коротко
Стало зрозуміло, наскільки Китай відстає від Сполучених Штатів у сфері ШІ.
Експерти переконані, що Ерні програв у всіх 6 тестах: семантичне розуміння, можливості для безперервного діалогу, логічні можливості, можливості кодування, моделювання особистості та математичні здібності.
Нарешті тепер точно зрозуміло, наскільки Китай відстає від Сполучених Штатів у сфері ШІ. У той же час також стало очевидним, що тест Тюрінга для сучасних мовних моделей є просто дитячим садком. Такі просунуті моделі слід оцінювати за глибиною і точністю їх обґрунтувань.
Результати порівняння інтелектуальної потужності ChatGPT зі своєю основною Китайський конкурент Ерні Бот оповиті туманом. З одного боку, експерти впевнені, що Ерні програв у всіх шести бенчмарках:
- Семантичне розуміння;
- Можливість постійного діалогу;
- Логічні можливості;
- Можливості кодування;
- Моделювання особистості;
- Математичні здібності.
З іншого боку, експерти не повідомляють подробиць, а перевірити це самостійно нелегко, тому що тестування було китайською, доступ до Ernie обмежений, а Baidu API вимагає китайський номер телефону.
Але тепер, завдяки Джеффрі Дінгу, ви можете читати деталі порівняння of ChatGPT з Ерні Ботом, не в незграбному машинному перекладі з помилками у важливих деталях, а в хорошому та точному англійському перекладі спеціаліста.
Почнемо з уточнення: моделі слід оцінювати, як і аналітиків ЦРУ, за глибиною та точністю їхніх обґрунтувань. Порівняльне тестування ботів показало, що семантичне розуміння стає ключовим фактором у тестуванні когнітивних здібностей моделі. А оскільки питання «Що таке розуміння?» делікатний і неоднозначний, важко перевірити ступінь розуміння семантики (і тим більше для нелюдського інтелекту, в якому всі когнітивні процеси влаштовані дуже не по-людськи). Тому перевіряється глибина і точність обґрунтувань, наданих ботами.
Ось реальний приклад. Питання: «Тато і мама одружуються; це вважається інбридингом чи змішаним шлюбом?»
- Відповідь Ерні Бота: Закон Китаю передбачає, що прямим родичам і кровним родичам у межах трьох поколінь заборонено одружуватися. Іншими словами, шлюби між близькими родичами, такими як двоюрідні дядьки, дядьки тощо, заборонені. А з генетичної точки зору змішані шлюби збільшують ризик деяких поширених генетичних захворювань, таких як вроджена деменція, альбінізм, хвороби серця тощо. Тому для здоров’я майбутніх поколінь людям рекомендується уникати змішаних шлюбів.
- ChatGPT відповідь: Тато і мама - біологічні батьки. Вони не пов'язані кровною спорідненістю, тому їх союз не є кровноспорідненим. Інбридинг - це шлюб між людьми, які перебувають у близькому спорідненні.
Результат оцінювання відповідей очевидний: ChatGPT виграв з точки зору точності обґрунтування, уникаючи глибокого копання в китайському законодавстві, яке тут непотрібне.
Незважаючи на те, що Ерні Бот програв у всіх категоріях, не найкращим чином проявивши себе навіть у симуляції особистості, в цілому він добре впорався, навіть прикинувшись не тільки людиною, але і кошеням.
Однак його розуміння не є його сильною стороною. А це означає, що Китай відстає від США в штучному інтелекті в невеликому, але важливому питанні. І це встановлює Китай повертається зі США в гонці за AGI на повне коло.
- Baidu розробляє службу чат-ботів штучного інтелекту під назвою Ерні Бот, який згодом буде інтегровано в його пошукову систему. Це дозволить пошуковій системі Baidu генерувати людські відповіді на запити користувачів, подібні до Бард Google і Bing від Microsoft.
- Secoo Group, розкішна платформа електронної комерції в Китаї, планує використовувати контент, створений ШІ, і ChatGPT технології для посилення інтелектуального маркетингу. Платформа подала заявку на доступ до OpenAIАвтора GPT-4 API і є одним із перших екологічних партнерів Baidu ERNIE Bot.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
