ChatGPT Побеђује кинеског четбота Ернија у свим АИ бенцхмарковима
Укратко
Степен у коме Кина заостаје за Сједињеним Државама у АИ је постао јасан.
Стручњаци су уверени да је Ерни изгубио у свих 6 мерила: семантичко разумевање, могућности за континуирани дијалог, логичке могућности, способности кодирања, моделирање личности и математичке способности.
Коначно, сада је јасно колико Кина заостаје за Сједињеним Државама у вештачкој интелигенцији. Истовремено, такође је постало очигледно да је Тјурингов тест за савремене језичке моделе само вртић. О таквим напредним моделима треба проценити дубину и тачност њихових оправдања.
Резултати поређења интелектуалне моћи на ChatGPT са својим главним Кинески такмичар Ерни Бот обавијени су маглом. С једне стране, стручњаци су уверени да је Ерни изгубио у свих шест мерила:
- Семантичко разумевање;
- Могућности за континуирани дијалог;
- Логичке могућности;
- Могућности кодирања;
- Моделирање личности;
- Математичка способност.
С друге стране, стручњаци не дају детаље, а није лако то сами проверити јер је тестирање било на кинеском, приступ Ернију је ограничен, а Баиду АПИ захтева кинески број телефона.
Али сада, захваљујући Џефрију Дингу, можете да читате детаљи поређења of ChatGPT са Ернијем Ботом, не у незграпном машинском преводу са грешкама у важним детаљима, већ на добром и тачном енглеском преведеном од стране стручњака.
Почнимо са појашњењем: моделе треба судити, попут аналитичара ЦИА-е, по дубини и тачности њихових оправдања. Упоредно тестирање ботова показало је да семантичко разумевање постаје кључни фактор у тестирању когнитивних способности модела. А пошто питање „Шта је разумевање?“ је деликатан и двосмислен, тешко је проверити степен разумевања семантике (а још више за нељудски интелект, у коме су сви когнитивни процеси распоређени веома нељудски). Зато се проверава дубина и тачност оправдања које дају ботови.
Ево правог примера. Питање: „Тата и мама се венчавају; да ли се ово сматра инбридингом или мешовитим браком?"
- Одговор Ернија Бота: Кинески закон предвиђа да је забрањено склапање брака директним крвним сродницима и крвним сродницима унутар три генерације. Другим речима, забрањени су бракови између блиских рођака, као што су рођаци, ујаци итд. А са генетске тачке гледишта, мешовити бракови повећавају ризик од неких уобичајених генетских болести, као што су урођена деменција, албинизам, срчана обољења, итд. Због тога се, за здравље будућих генерација, људима саветује да избегавају мешовите бракове.
- ChatGPT одговор: Тата и мама су биолошки родитељи. Нису у крвном сродству, тако да њихова заједница није крвно сродна. Инбридинг је брак људи који су у блиском крвном сродству.
Резултат процене одговора је очигледан: ChatGPT победио у погледу тачности оправдања уз избегавање дубине копања по кинеском законодавству које овде није потребно.
Упркос чињеници да је Ерни Бот изгубио у свим категоријама, не показујући се на најбољи начин, чак ни у симулацији личности, генерално је добро урадио посао, чак се претварајући да није само особа већ и маче.
Међутим, његово разумевање није његова јача страна. А то значи да Кина заостаје за САД у АИ у малом, али кључном питању. И то поставља Кина се вратила из САД у трци за АГИ по пуном кругу.
- Баиду развија АИ цхатбот услугу под називом Ерние Бот, који ће на крају бити интегрисан у његов претраживач. Ово ће омогућити Баиду-овом претраживачу да генерише људске одговоре на упите корисника, слично као Гооглеов Бард и Мицрософт-ов Бинг.
- Сецоо Гроуп, луксузна платформа за е-трговину у Кини, планира да користи садржај генерисан од вештачке интелигенције и ChatGPT технологије за унапређење свог интелигентног маркетинга. Платформа је поднела захтев за приступ OpenAI'С GPT-4 АПИ и један је од првих еколошких партнера Баидуовог ЕРНИЕ Бота.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
