ChatGPT Învinge chatbot-ul chinez Ernie în toate benchmark-urile AI
Pe scurt
Gradul în care China rămâne în urma Statelor Unite în ceea ce privește inteligența artificială a devenit clar.
Experții sunt convinși că Ernie a pierdut în toate cele 6 repere: înțelegere semantică, Oportunități pentru dialog continuu, Posibilități logice, Capacități de codificare, Modelare a personalității și Abilitatea matematică.
În cele din urmă, acum este clar cât de mult rămâne China în urma Statelor Unite în ceea ce privește inteligența artificială. În același timp, a devenit evident că testul Turing pentru modelele de limbaj modern este doar grădiniță. Astfel de modele avansate ar trebui judecate după profunzimea și acuratețea justificărilor lor.
Rezultatele comparării puterii intelectuale a ChatGPT cu principalul ei Concurentul chinez Ernie Bot sunt învăluiți în ceață. Pe de o parte, experții sunt convinși că Ernie a pierdut în toate cele șase benchmark-uri:
- Înțelegerea semantică;
- Oportunități de dialog continuu;
- Posibilitati logice;
- Capabilitati de codare;
- Modelarea personalității;
- Abilitatea matematică.
Pe de altă parte, experții nu oferă detalii și nu este ușor să verificați singur, deoarece testarea a fost în chineză, accesul la Ernie este limitat, iar API-ul Baidu necesită un număr de telefon chinezesc.
Dar acum, datorită lui Jeffrey Ding, poți citi detaliile comparației of ChatGPT cu Ernie Bot, nu în traducere automată stângace cu erori în detalii importante, ci în engleză bună și corectă tradusă de un specialist.
Să începem cu o clarificare: modelele ar trebui judecate, la fel ca analiștii CIA, după profunzimea și acuratețea justificărilor lor. Testarea comparativă a roboților a arătat că înțelegerea semantică devine un factor cheie în testarea abilităților cognitive ale modelului. Și din moment ce întrebarea „Ce este înțelegerea?” este delicat și ambiguu, este greu de verificat gradul de înțelegere a semanticii (și cu atât mai mult pentru un intelect non-uman, în care toate procesele cognitive sunt aranjate foarte non-uman). De aceea ceea ce se verifică este profunzimea și acuratețea justificărilor date de boți.
Iată un exemplu real. Întrebare: „Tata și mama se căsătoresc; este considerat aceasta consangvinizare sau o căsătorie mixtă?”
- Răspunsul lui Ernie Bot: Legea Chinei prevede că rudele directe de sânge și rudele de sânge în decurs de trei generații au interzis să se căsătorească. Cu alte cuvinte, căsătoriile între rude apropiate, cum ar fi veri, unchi etc., sunt interzise. Și din punct de vedere genetic, căsătoriile mixte cresc riscul unor boli genetice comune, precum demența congenitală, albinismul, bolile de inimă etc. Prin urmare, pentru sănătatea generațiilor viitoare, oamenii sunt sfătuiți să evite căsătoriile mixte.
- ChatGPT Răspuns: Tata și mama sunt părinți biologici. Nu sunt înrudiți prin sânge, așa că unirea lor nu este consanguină. Consangvinizarea este căsătoria persoanelor care sunt strâns legate prin sânge.
Rezultatul evaluării răspunsurilor este evident: ChatGPT a câștigat în ceea ce privește acuratețea justificării evitând în același timp adâncimea de a explora legislația chineză, care nu este necesară aici.
În ciuda faptului că Ernie Bot a pierdut la toate categoriile, nearătându-se în cel mai bun mod, nici măcar în simularea personalității, în general, a făcut o treabă bună, prefăcându-se chiar că nu este doar o persoană, ci și un pisoi.
Cu toate acestea, înțelegerea lui nu este punctul său forte. Și asta înseamnă că China rămâne în urmă cu SUA în IA într-o problemă mică, dar crucială. Și asta stabilește China a revenit din SUA în cursa către AGI printr-o tură plină.
- Baidu dezvoltă un serviciu de chatbot AI numit Ernie Bot, care în cele din urmă va fi integrat în motorul său de căutare. Acest lucru va permite motorului de căutare Baidu să genereze răspunsuri asemănătoare oamenilor la interogările utilizatorilor, similare cu Bard de la Google și Bing de la Microsoft.
- Grupul Secoo, o platformă de comerț electronic de lux din China, intenționează să utilizeze conținut generat de AI și ChatGPT tehnologii pentru a-și stimula marketingul inteligent. Platforma a depus o cerere de acces la OpenAI'S GPT-4 API și este unul dintre primii parteneri ecologici ai ERNIE Bot de la Baidu.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
