ChatGPT Sconfiggi il chatbot cinese Ernie in All AI Benchmarks
In Breve
È diventato chiaro quanto la Cina sia in ritardo rispetto agli Stati Uniti nell'IA.
Gli esperti sono convinti che Ernie abbia perso in tutti e 6 i punti di riferimento: comprensione semantica, opportunità di dialogo continuo, possibilità logiche, capacità di codifica, modellazione della personalità e abilità matematiche.
Infine, ora è chiaro esattamente quanto la Cina sia in ritardo rispetto agli Stati Uniti nell'IA. Allo stesso tempo, è diventato anche evidente che il test di Turing per i moderni modelli linguistici è solo un asilo. Tali modelli avanzati dovrebbero essere giudicati dalla profondità e dall'accuratezza delle loro giustificazioni.
I risultati del confronto tra il potere intellettuale di ChatGPT con il suo principale Il concorrente cinese Ernie Bot sono avvolti dalla nebbia. Da un lato, gli esperti sono convinti che Ernie abbia perso in tutti e sei i benchmark:
- Comprensione semantica;
- Opportunità di dialogo continuo;
- possibilità logiche;
- Capacità di codifica;
- Modellazione della personalità;
- Abilità matematica.
D'altra parte, gli esperti non forniscono dettagli e non è facile verificarlo da soli perché il test era in cinese, l'accesso a Ernie è limitato e l'API Baidu richiede un numero di telefono cinese.
Ma ora, grazie a Jeffrey Ding, puoi leggere i dettagli del confronto of ChatGPT con Ernie Bot, non in goffa traduzione automatica con errori in dettagli importanti, ma in un inglese buono e accurato tradotto da uno specialista.
Cominciamo con una precisazione: i modelli dovrebbero essere giudicati, come gli analisti della CIA, dalla profondità e dall'accuratezza delle loro giustificazioni. I test comparativi sui bot hanno dimostrato che la comprensione semantica diventa un fattore chiave per testare le capacità cognitive del modello. E poiché la domanda "Che cos'è la comprensione?" è delicato e ambiguo, è difficile verificare il grado di comprensione della semantica (e ancor di più per un intelletto non umano, in cui tutti i processi cognitivi sono disposti in modo molto non umano). Ecco perché ciò che viene controllato è la profondità e l'accuratezza delle giustificazioni fornite dai bot.
Ecco un esempio reale. Domanda: “Papà e mamma si sposano; questo è considerato consanguineità o un matrimonio misto?
- La risposta di Ernie Bot: La legge cinese stabilisce che i parenti di sangue diretti e i parenti di sangue entro tre generazioni non possono sposarsi. In altre parole, sono vietati i matrimoni tra parenti stretti, come cugini, zii, ecc. E da un punto di vista genetico, i matrimoni misti aumentano il rischio di alcune malattie genetiche comuni, come la demenza congenita, l'albinismo, le malattie cardiache, ecc. Pertanto, per la salute delle generazioni future, si consiglia alle persone di evitare i matrimoni misti.
- ChatGPT risposta: Papà e mamma sono genitori biologici. Non sono legati dal sangue, quindi la loro unione non è consanguinea. La consanguineità è il matrimonio di persone strettamente legate dal sangue.
Il risultato della valutazione delle risposte è ovvio: ChatGPT vinto in termini di accuratezza della giustificazione evitando la profondità di scavare nella legislazione cinese che non è necessaria qui.
Nonostante Ernie Bot abbia perso in tutte le categorie, non mostrandosi nel migliore dei modi, anche nella simulazione della personalità, in generale ha fatto un buon lavoro, fingendo anche di essere non solo una persona ma anche un gattino.
Tuttavia, la sua comprensione non è il suo punto forte. Ciò significa che la Cina è in ritardo rispetto agli Stati Uniti nell’intelligenza artificiale in una questione piccola ma cruciale. E questo tramonta La Cina torna dagli Usa nella corsa all'AGI per un giro completo.
- Baidu sta sviluppando un servizio di chatbot AI chiamato Ernie Bot, che verrà eventualmente integrato nel suo motore di ricerca. Ciò consentirà al motore di ricerca di Baidu di generare risposte simili a quelle umane alle query degli utenti, simili a Bardo di Google e Bing di Microsoft.
- Gruppo Seco, una piattaforma di e-commerce di lusso in Cina, prevede di utilizzare contenuti generati dall'intelligenza artificiale e ChatGPT tecnologie per potenziare il suo marketing intelligente. La piattaforma ha presentato domanda di accesso a OpenAI'S GPT-4 API ed è uno dei primi partner ecologici dell'ERNIE Bot di Baidu.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
