ChatGPT Besejrer den kinesiske chatbot Ernie i alle AI-benchmarks
Kort sagt
I hvor høj grad Kina halter bagefter USA inden for kunstig intelligens er blevet tydeligt.
Eksperter er overbevist om, at Ernie tabte i alle 6 benchmarks: Semantisk forståelse, Muligheder for kontinuerlig dialog, Logiske muligheder, Kodningsevner, Personlighedsmodellering og matematiske evner.
Endelig er det nu klart, præcis hvor dårligt Kina halter bagefter USA i AI. Samtidig er det også blevet tydeligt, at Turing-testen for moderne sprogmodeller blot er børnehave. Sådanne avancerede modeller bør bedømmes ud fra dybden og nøjagtigheden af deres begrundelser.
Resultaterne af at sammenligne den intellektuelle magt af ChatGPT med dets hoved Den kinesiske konkurrent Ernie Bot er indhyllet i tåge. På den ene side er eksperter overbevist om, at Ernie tabte i alle seks benchmarks:
- Semantisk forståelse;
- Muligheder for løbende dialog;
- Logiske muligheder;
- Kodningsmuligheder;
- Personlighedsmodellering;
- Matematisk evne.
På den anden side giver eksperter ikke detaljer, og det er ikke nemt at tjekke det selv, fordi testen var på kinesisk, adgangen til Ernie er begrænset, og Baidu API kræver et kinesisk telefonnummer.
Men nu, takket være Jeffrey Ding, kan du læse detaljerne i sammenligningen of ChatGPT med Ernie Bot, ikke i klodset maskinoversættelse med fejl i vigtige detaljer, men på godt og præcist engelsk oversat af en specialist.
Lad os starte med en præcisering: Modeller bør bedømmes, ligesom CIA-analytikere, ud fra dybden og nøjagtigheden af deres begrundelser. Sammenlignende test af bots har vist, at semantisk forståelse bliver en nøglefaktor i at teste modellens kognitive evner. Og siden spørgsmålet "Hvad er forståelse?" er delikat og tvetydig, er det svært at kontrollere graden af forståelse af semantik (og endnu mere for et ikke-menneskeligt intellekt, hvor alle kognitive processer er arrangeret meget ikke-menneskeligt). Det er derfor, hvad der kontrolleres, er dybden og nøjagtigheden af begrundelserne givet af bots.
Her er et rigtigt eksempel. Spørgsmål: ”Far og mor skal giftes; betragtes dette som indavl eller et blandet ægteskab?”
- Ernie Bots svar: Kinas lov foreskriver, at direkte slægtninge og slægtninge inden for tre generationer er forbudt at gifte sig. Med andre ord er ægteskaber mellem nære slægtninge, såsom fætre, onkler osv., forbudt. Og fra et genetisk synspunkt øger blandede ægteskaber risikoen for nogle almindelige genetiske sygdomme, såsom medfødt demens, albinisme, hjertesygdomme osv. Derfor rådes folk til at undgå blandet ægteskab af hensyn til fremtidige generationers sundhed.
- ChatGPT svar: Far og mor er biologiske forældre. De er ikke beslægtet af blod, så deres forening er ikke slægtninge. Indavl er ægteskab mellem mennesker, der er nært beslægtede af blod.
Resultatet af at vurdere svarene er indlysende: ChatGPT vandt med hensyn til nøjagtigheden af begrundelsen, mens man undgår dybden af at grave i kinesisk lovgivning, som ikke er nødvendig her.
På trods af at Ernie Bot tabte i alle kategorier og ikke viste sig selv på den bedste måde, selv i personlighedssimulering, gjorde han generelt et godt stykke arbejde, og foregav endda at være ikke kun en person, men også en killing.
Men hans forståelse er ikke dens stærke side. Og det betyder, at Kina halter bagefter USA inden for kunstig intelligens i et lille, men afgørende spørgsmål. Og det sætter Kina tilbage fra USA i kapløbet til AGI med en hel omgang.
- Baidu er ved at udvikle en AI chatbot-tjeneste kaldet Ernie Bot, som på sigt vil blive integreret i sin søgemaskine. Dette vil gøre det muligt for Baidus søgemaskine at generere menneskelignende svar på brugerforespørgsler, svarende til Googles Bard og Microsofts Bing.
- Secoo Group, en luksus e-handelsplatform i Kina, planlægger at bruge AI-genereret indhold og ChatGPT teknologier til at øge sin intelligente markedsføring. Platformen har indsendt en ansøgning om adgang til OpenAI's GPT-4 API og er en af de første økologiske partnere til Baidu's ERNIE Bot.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
