ChatGPT Tinalo ang Chinese Chatbot na si Ernie sa Lahat ng AI Benchmarks
Sa madaling sabi
Ang antas kung saan ang China ay nahuhuli sa Estados Unidos sa AI ay naging malinaw.
Kumbinsido ang mga eksperto na natalo si Ernie sa lahat ng 6 na benchmark: Pag-unawa sa semantiko, Mga Oportunidad para sa tuluy-tuloy na pag-uusap, Mga posibilidad sa lohika, Mga kakayahan sa pag-coding, Pagmomodelo ng personalidad, at kakayahan sa Matematika.
Sa wakas, malinaw na ngayon kung gaano kalubha ang pagkahuli ng China sa Estados Unidos sa AI. Kasabay nito, naging maliwanag din na ang Turing test para sa mga modernong modelo ng wika ay kindergarten pa lamang. Ang ganitong mga advanced na modelo ay dapat hatulan sa pamamagitan ng lalim at katumpakan ng kanilang mga katwiran.
Ang mga resulta ng paghahambing ng intelektwal na kapangyarihan ng ChatGPT kasama ang pangunahing nito Intsik na katunggali na si Ernie Bot ay nababalot ng hamog. Sa isang banda, kumbinsido ang mga eksperto na natalo si Ernie sa lahat ng anim na benchmark:
- Pag-unawa sa semantiko;
- Mga pagkakataon para sa patuloy na pag-uusap;
- Mga posibilidad ng lohika;
- Mga kakayahan sa coding;
- Pagmomodelo ng personalidad;
- Kakayahang matematika.
Sa kabilang banda, hindi nagbibigay ng mga detalye ang mga eksperto, at hindi madaling suriin ito nang mag-isa dahil nasa Chinese ang pagsubok, limitado ang access sa Ernie, at nangangailangan ang Baidu API ng numero ng teleponong Chinese.
Pero ngayon, salamat kay Jeffrey Ding, mababasa mo na ang mga detalye ng paghahambing of ChatGPT kasama si Ernie Bot, hindi sa clumsy machine translation na may mga error sa mahahalagang detalye, ngunit sa mahusay at tumpak na English na isinalin ng isang espesyalista.
Magsimula tayo sa isang paglilinaw: Ang mga modelo ay dapat hatulan, tulad ng mga analyst ng CIA, sa lalim at katumpakan ng kanilang mga katwiran. Ipinakita ng paghahambing na pagsubok ng mga bot na ang pag-unawa sa semantiko ay nagiging pangunahing salik sa pagsubok sa mga kakayahan sa pag-iisip ng modelo. At dahil sa tanong na "Ano ang pag-unawa?" ay maselan at malabo, mahirap suriin ang antas ng pag-unawa sa mga semantika (at higit pa para sa isang di-pantaong talino, kung saan ang lahat ng mga prosesong nagbibigay-malay ay nakaayos nang hindi makatao). Kaya naman ang sinusuri ay ang lalim at katumpakan ng mga katwiran na ibinigay ng mga bot.
Narito ang isang tunay na halimbawa. Tanong: “Ikakasal sina Tatay at Nanay; ito ba ay itinuturing na inbreeding o mixed marriage?”
- Sagot ni Ernie Bot: Ang batas ng China ay nagsasaad na ang mga direktang kadugo at kadugo sa loob ng tatlong henerasyon ay ipinagbabawal na magpakasal. Sa madaling salita, ipinagbabawal ang pagpapakasal sa pagitan ng malalapit na kamag-anak, tulad ng mga pinsan, tiyuhin, atbp. At mula sa genetic point of view, ang magkahalong pag-aasawa ay nagpapataas ng panganib ng ilang karaniwang genetic na sakit, tulad ng congenital dementia, albinism, sakit sa puso, atbp. Samakatuwid, para sa kalusugan ng mga susunod na henerasyon, pinapayuhan ang mga tao na iwasan ang intermarriage.
- ChatGPT sagot: Ang tatay at nanay ay mga biyolohikal na magulang. Hindi sila magkakadugo, kaya hindi magkakaugnay ang kanilang pagsasama. Ang inbreeding ay ang pagpapakasal ng mga taong malapit na magkadugo.
Ang resulta ng pagsusuri ng mga sagot ay halata: ChatGPT nanalo sa mga tuntunin ng katumpakan ng pagbibigay-katwiran habang iniiwasan ang lalim ng paghuhukay sa batas ng Tsina na hindi kailangan dito.
Sa kabila ng katotohanan na si Ernie Bot ay natalo sa lahat ng mga kategorya, hindi nagpapakita ng kanyang sarili sa pinakamahusay na paraan, kahit na sa personality simulation, sa pangkalahatan, siya ay gumawa ng isang mahusay na trabaho, kahit na nagpapanggap na hindi lamang isang tao kundi pati na rin isang kuting.
Gayunpaman, ang kanyang pag-unawa ay hindi nito malakas na suit. At nangangahulugan ito na ang China ay nahuhuli sa US sa AI sa isang maliit ngunit mahalagang isyu. At nagtatakda iyon Bumalik ang China mula sa US sa karera sa AGI sa pamamagitan ng isang buong lap.
- Bumubuo ang Baidu ng serbisyo ng AI chatbot na tinatawag Ernie Bot, na sa kalaunan ay isasama sa search engine nito. Ito ay magbibigay-daan sa search engine ng Baidu na makabuo ng mga tugon ng tao sa mga query ng user, katulad ng Bard ng Google at Bing ng Microsoft.
- Grupo ng Secoo, isang marangyang platform ng e-commerce sa China, ay nagpaplanong gumamit ng nilalamang binuo ng AI at ChatGPT teknolohiya upang mapalakas ang matalinong marketing nito. Ang platform ay nagsumite ng isang aplikasyon para sa pag-access sa OpenAINi GPT-4 API at isa sa mga unang ekolohikal na kasosyo ng ERNIE Bot ng Baidu.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
