ChatGPT Derrota al chatbot chino Ernie en todos los puntos de referencia de IA
En Resumen
El grado en que China se está quedando atrás de Estados Unidos en IA ha quedado claro.
Los expertos están convencidos de que Ernie perdió en los 6 puntos de referencia: comprensión semántica, oportunidades para un diálogo continuo, posibilidades lógicas, capacidades de codificación, modelado de personalidad y habilidad matemática.
Finalmente, ahora está claro exactamente cuán rezagado está China con respecto a Estados Unidos en IA. Al mismo tiempo, también se ha hecho evidente que la prueba de Turing para los modelos de lenguaje moderno es solo un jardín de infantes. Estos modelos avanzados deben juzgarse por la profundidad y precisión de sus justificaciones.
Los resultados de comparar el poder intelectual de ChatGPT con su principal El competidor chino Ernie Bot están envueltos en niebla. Por un lado, los expertos están convencidos de que Ernie perdió en los seis puntos de referencia:
- comprensión semántica;
- Oportunidades para el diálogo continuo;
- posibilidades lógicas;
- capacidades de codificación;
- Modelado de personalidad;
- Habilidad matemática.
Por otro lado, los expertos no brindan detalles y no es fácil verificarlo usted mismo porque la prueba se realizó en chino, el acceso a Ernie es limitado y la API de Baidu requiere un número de teléfono chino.
Pero ahora, gracias a Jeffrey Ding, puedes leer los detalles de la comparación of ChatGPT con Ernie Bot, no en una torpe traducción automática con errores en detalles importantes, sino en un inglés bueno y preciso traducido por un especialista.
Comencemos con una aclaración: los modelos deben ser juzgados, como los analistas de la CIA, por la profundidad y precisión de sus justificaciones. Las pruebas comparativas de bots han demostrado que la comprensión semántica se convierte en un factor clave para probar las capacidades cognitivas del modelo. Y dado que la pregunta “¿Qué es entender?” es delicado y ambiguo, es difícil comprobar el grado de comprensión de la semántica (y más aún para un intelecto no humano, en el que todos los procesos cognitivos se organizan de forma muy no humana). Por eso lo que se comprueba es la profundidad y precisión de las justificaciones que dan los bots.
Aquí hay un ejemplo real. Pregunta: “Papá y mamá se van a casar; ¿Esto se considera endogamia o un matrimonio mixto?
- La respuesta de Ernie Bot: La ley de China estipula que los parientes consanguíneos directos y los parientes consanguíneos dentro de tres generaciones tienen prohibido casarse. En otras palabras, se prohíben los matrimonios entre parientes cercanos, como primos, tíos, etc. Y desde un punto de vista genético, los matrimonios mixtos aumentan el riesgo de algunas enfermedades genéticas comunes, como la demencia congénita, el albinismo, las enfermedades cardíacas, etc. Por lo tanto, por la salud de las generaciones futuras, se recomienda evitar los matrimonios mixtos.
- ChatGPT responder: Papá y mamá son padres biológicos. No están emparentados por sangre, por lo que su unión no es consanguínea. La consanguinidad es el matrimonio de personas que están estrechamente relacionadas por sangre.
El resultado de evaluar las respuestas es obvio: ChatGPT ganado en términos de precisión de la justificación, evitando al mismo tiempo profundizar en la legislación china que no es necesario aquí.
A pesar de que Ernie Bot perdió en todas las categorías, no mostrándose de la mejor manera, ni siquiera en simulación de personalidad, en general hizo un buen trabajo, incluso fingiendo ser no solo una persona sino también un gatito.
Sin embargo, su comprensión no es su fuerte. Y esto significa que China está por detrás de Estados Unidos en IA en un tema pequeño pero crucial. Y eso establece China regresa de EE. UU. en la carrera hacia AGI por una vuelta completa.
- Baidu está desarrollando un servicio de chatbot de IA llamado erniebot, que eventualmente se integrará en su motor de búsqueda. Esto permitirá que el motor de búsqueda de Baidu genere respuestas similares a las humanas a las consultas de los usuarios, similares a Bardo de Google y Bing de Microsoft.
- Grupo Secoo, una plataforma de comercio electrónico de lujo en China, planea utilizar contenido generado por IA y ChatGPT tecnologías para potenciar su marketing inteligente. La plataforma ha presentado una solicitud de acceso a OpenAI, GPT-4 API y es uno de los primeros socios ecológicos de ERNIE Bot de Baidu.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
