ChatGPT Verslaat de Chinese chatbot Ernie in alle AI-benchmarks
In het kort
Duidelijk is geworden in welke mate China achterloopt op de Verenigde Staten op het gebied van AI.
Experts zijn ervan overtuigd dat Ernie verloor in alle 6 benchmarks: semantisch begrip, mogelijkheden voor continue dialoog, logische mogelijkheden, coderingsmogelijkheden, persoonlijkheidsmodellering en wiskundige vaardigheid.
Eindelijk is nu precies duidelijk hoe erg China achterloopt op de Verenigde Staten op het gebied van AI. Tegelijkertijd is ook duidelijk geworden dat de Turing-test voor moderne taalmodellen nog maar een kleuterschool is. Dergelijke geavanceerde modellen moeten worden beoordeeld op basis van de diepgang en nauwkeurigheid van hun rechtvaardigingen.
De resultaten van het vergelijken van de intellectuele kracht van ChatGPT met zijn belangrijkste Chinese concurrent Ernie Bot zijn in mist gehuld. Aan de ene kant zijn experts ervan overtuigd dat Ernie verloor in alle zes de benchmarks:
- Semantisch begrip;
- Mogelijkheden voor continue dialoog;
- Logische mogelijkheden;
- Codeermogelijkheden;
- Persoonlijkheidsmodellering;
- Wiskundig vermogen.
Aan de andere kant geven experts geen details en is het niet eenvoudig om het zelf te controleren omdat de tests in het Chinees waren, de toegang tot Ernie beperkt is en de Baidu API een Chinees telefoonnummer vereist.
Maar nu, dankzij Jeffrey Ding, kun je lezen de details van de vergelijking of ChatGPT met Ernie Bot, niet in onhandige machinevertaling met fouten in belangrijke details, maar in goed en accuraat Engels vertaald door een specialist.
Laten we beginnen met een verduidelijking: modellen moeten, net als CIA-analisten, worden beoordeeld op de diepgang en nauwkeurigheid van hun rechtvaardigingen. Vergelijkende tests van bots hebben aangetoond dat semantisch begrip een sleutelfactor wordt bij het testen van de cognitieve vaardigheden van het model. En aangezien de vraag "Wat is begrijpen?" is delicaat en dubbelzinnig, het is moeilijk om de mate van begrip van semantiek te controleren (en nog meer voor een niet-menselijk intellect, waarin alle cognitieve processen zeer niet-menselijk zijn gerangschikt). Daarom wordt gecontroleerd op de diepte en nauwkeurigheid van de rechtvaardigingen die door bots worden gegeven.
Hier is een echt voorbeeld. Vraag: “Papa en mama gaan trouwen; wordt dit beschouwd als inteelt of een gemengd huwelijk?”
- Het antwoord van Ernie Bot: De Chinese wet bepaalt dat directe bloedverwanten en bloedverwanten binnen drie generaties niet mogen trouwen. Met andere woorden, huwelijken tussen naaste verwanten, zoals neven, nichten, ooms enz., zijn verboden. En vanuit genetisch oogpunt verhogen gemengde huwelijken het risico op een aantal veel voorkomende genetische ziekten, zoals aangeboren dementie, albinisme, hartaandoeningen, enz. Daarom wordt mensen voor de gezondheid van toekomstige generaties geadviseerd gemengde huwelijken te vermijden.
- ChatGPT antwoord: Papa en mama zijn biologische ouders. Ze zijn niet bloedverwant, dus hun verbintenis is niet bloedverwant. Inteelt is het huwelijk van mensen die nauw bloedverwant zijn.
Het resultaat van het evalueren van de antwoorden ligt voor de hand: ChatGPT gewonnen in termen van nauwkeurigheid van rechtvaardiging, terwijl de diepte van het graven in Chinese wetgeving wordt vermeden die hier niet nodig is.
Ondanks het feit dat Ernie Bot in alle categorieën verloor en zichzelf niet op de beste manier liet zien, zelfs niet in persoonlijkheidssimulatie, deed hij het over het algemeen goed, zelfs door te doen alsof hij niet alleen een persoon was, maar ook een kitten.
Zijn inzicht is echter niet zijn sterkste kant. En dit betekent dat China op het gebied van AI op een klein maar cruciaal punt achterloopt op de VS. En dat zet China terug van de VS in de race naar AGI met een volledige ronde.
- Baidu ontwikkelt een AI-chatbotservice genaamd Ernie Bot, dat uiteindelijk in de zoekmachine zal worden geïntegreerd. Hierdoor kan de zoekmachine van Baidu mensachtige antwoorden genereren op vragen van gebruikers, vergelijkbaar met De bard van Google en Microsofts Bing.
- Secoo Groep, een luxe e-commerceplatform in China, is van plan om door AI gegenereerde inhoud te gebruiken en ChatGPT technologieën om zijn intelligente marketing een boost te geven. Het platform heeft een aanvraag ingediend voor toegang tot OpenAI's GPT-4 API en is een van de eerste ecologische partners van Baidu's ERNIE Bot.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
