ChatGPT Vaincre le chatbot chinois Ernie dans tous les benchmarks AI
En bref
Le degré de retard de la Chine par rapport aux États-Unis en matière d'IA est devenu clair.
Les experts sont convaincus qu'Ernie a perdu dans les 6 points de repère : compréhension sémantique, opportunités de dialogue continu, possibilités logiques, capacités de codage, modélisation de la personnalité et capacité mathématique.
Enfin, il est maintenant clair à quel point la Chine est à la traîne des États-Unis en matière d'IA. Dans le même temps, il est également devenu évident que le test de Turing pour les modèles de langage moderne n'est que la maternelle. Ces modèles avancés doivent être jugés par la profondeur et la précision de leurs justifications.
Les résultats de la comparaison de la puissance intellectuelle de ChatGPT avec son principal Concurrent chinois Ernie Bot sont enveloppés de brouillard. D'un côté, les experts sont convaincus qu'Ernie a perdu dans les six benchmarks :
- Compréhension sémantique;
- Opportunités de dialogue continu ;
- Possibilités logiques ;
- Capacités de codage ;
- modélisation de la personnalité ;
- Capacité mathématique.
En revanche, les experts ne fournissent pas de détails, et il n'est pas facile de le vérifier soi-même car le test était en chinois, l'accès à Ernie est limité, et l'API Baidu nécessite un numéro de téléphone chinois.
Mais maintenant, grâce à Jeffrey Ding, vous pouvez lire les détails de la comparaison of ChatGPT avec Ernie Bot, non pas dans une traduction automatique maladroite avec des erreurs dans des détails importants, mais dans un anglais bon et précis traduit par un spécialiste.
Commençons par une clarification : les modèles doivent être jugés, comme les analystes de la CIA, par la profondeur et la précision de leurs justifications. Des tests comparatifs de robots ont montré que la compréhension sémantique devient un facteur clé pour tester les capacités cognitives du modèle. Et puisque la question « Qu'est-ce que comprendre ? est délicate et ambiguë, il est difficile de vérifier le degré de compréhension de la sémantique (et encore plus pour un intellect non humain, dans lequel tous les processus cognitifs sont agencés de manière très non humaine). C'est pourquoi ce qui est vérifié, c'est la profondeur et l'exactitude des justifications données par les bots.
Voici un exemple réel. Question : « Papa et maman vont se marier ; est-ce considéré comme de la consanguinité ou un mariage mixte ? »
- La réponse d'Ernie Bot : La loi chinoise stipule que les parents de sang direct et les parents de sang sur trois générations ne peuvent pas se marier. En d'autres termes, les mariages entre parents proches, tels que cousins, oncles, etc., sont interdits. Et d'un point de vue génétique, les mariages mixtes augmentent le risque de certaines maladies génétiques courantes, telles que la démence congénitale, l'albinisme, les maladies cardiaques, etc. Par conséquent, pour la santé des générations futures, il est conseillé d'éviter les mariages mixtes.
- ChatGPT répondre: Papa et maman sont des parents biologiques. Ils ne sont pas liés par le sang, leur union n'est donc pas consanguine. La consanguinité est le mariage de personnes étroitement liées par le sang.
Le résultat de l’évaluation des réponses est évident : ChatGPT a gagné en termes d’exactitude de la justification tout en évitant d’approfondir la législation chinoise qui n’est pas nécessaire ici.
Malgré le fait qu'Ernie Bot a perdu dans toutes les catégories, ne se montrant pas de la meilleure façon, même dans la simulation de personnalité, en général, il a fait du bon travail, prétendant même être non seulement une personne mais aussi un chaton.
Cependant, sa compréhension n’est pas son point fort. Et cela signifie que la Chine est à la traîne des États-Unis en matière d’IA sur un problème mineur mais crucial. Et cela définit La Chine revient face aux États-Unis dans la course à l’AGI par un tour complet.
- Baidu développe un service de chatbot IA appelé Ernie Bot, qui sera à terme intégré à son moteur de recherche. Cela permettra au moteur de recherche de Baidu de générer des réponses de type humain aux requêtes des utilisateurs, similaires à Barde de Google et Bing de Microsoft.
- Groupe Secoo, une plateforme de commerce électronique de luxe en Chine, prévoit d'utiliser le contenu généré par l'IA et ChatGPT technologies pour dynamiser son marketing intelligent. La plateforme a déposé une demande d'accès à OpenAI's GPT-4 API et est l'un des premiers partenaires écologiques du Bot ERNIE de Baidu.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
