ChatGPT Mengalahkan Ernie Chatbot China di Semua Tolok Ukur AI
Singkatnya
Sejauh mana China tertinggal dari Amerika Serikat dalam AI telah menjadi jelas.
Para ahli yakin bahwa Ernie kalah dalam semua 6 tolok ukur: Pemahaman semantik, Peluang untuk dialog berkelanjutan, Kemungkinan logika, Kemampuan pengkodean, Pemodelan kepribadian, dan Kemampuan matematika.
Akhirnya, sekarang jelas betapa parahnya China tertinggal dari Amerika Serikat dalam hal AI. Pada saat yang sama, ternyata tes Turing untuk model bahasa modern hanyalah taman kanak-kanak. Model canggih seperti itu harus dinilai dari kedalaman dan keakuratan pembenarannya.
Hasil perbandingan kekuatan intelektual ChatGPT dengan utamanya Pesaing Cina Ernie Bot diselimuti kabut. Di satu sisi, para ahli yakin bahwa Ernie kalah dalam enam tolok ukur:
- pemahaman semantik;
- Peluang untuk dialog berkelanjutan;
- Kemungkinan logika;
- Kemampuan pengkodean;
- Pemodelan kepribadian;
- Kemampuan matematika.
Di sisi lain, para ahli tidak memberikan detailnya, dan tidak mudah untuk memeriksanya sendiri karena pengujiannya dalam bahasa China, akses ke Ernie terbatas, dan API Baidu memerlukan nomor telepon China.
Tapi sekarang, berkat Jeffrey Ding, Anda bisa membaca rincian perbandingannya of ChatGPT dengan Ernie Bot, bukan dalam terjemahan mesin yang kikuk dengan kesalahan dalam detail penting, tetapi dalam bahasa Inggris yang baik dan akurat yang diterjemahkan oleh seorang spesialis.
Mari kita mulai dengan klarifikasi: Model harus dinilai, seperti analis CIA, berdasarkan kedalaman dan keakuratan pembenarannya. Pengujian komparatif bot telah menunjukkan bahwa pemahaman semantik menjadi faktor kunci dalam menguji kemampuan kognitif model. Dan karena pertanyaan "Apa itu pemahaman?" rumit dan ambigu, sulit untuk memeriksa tingkat pemahaman semantik (dan terlebih lagi untuk kecerdasan non-manusia, di mana semua proses kognitif diatur dengan sangat tidak manusiawi). Makanya yang diperiksa adalah kedalaman dan akurasi justifikasi yang diberikan oleh bot.
Ini adalah contoh nyata. Pertanyaan: “Ayah dan ibu akan menikah; apakah ini dianggap perkawinan sedarah atau perkawinan campuran?”
- Jawaban Ernie Bot: Hukum China menetapkan bahwa kerabat langsung dan kerabat darah dalam tiga generasi dilarang menikah. Dengan kata lain, perkawinan antara kerabat dekat, seperti sepupu, paman, dll, dilarang. Dan dari segi genetik, perkawinan campuran meningkatkan risiko beberapa penyakit genetik umum, seperti demensia bawaan, albinisme, penyakit jantung, dll. Oleh karena itu, demi kesehatan generasi mendatang, masyarakat disarankan untuk menghindari perkawinan campuran.
- ChatGPT menjawab: Ayah dan ibu adalah orang tua biologis. Mereka tidak memiliki hubungan darah, jadi persatuan mereka tidak konsekuen. Perkawinan sedarah adalah perkawinan orang-orang yang memiliki hubungan darah yang dekat.
Hasil evaluasi jawaban sudah jelas: ChatGPT menang dalam hal keakuratan pembenaran sambil menghindari menggali lebih dalam undang-undang Tiongkok yang tidak diperlukan di sini.
Terlepas dari kenyataan bahwa Ernie Bot kalah di semua kategori, tidak menunjukkan dirinya dengan cara terbaik, bahkan dalam simulasi kepribadian, secara umum, dia melakukan pekerjaan dengan baik, bahkan berpura-pura tidak hanya menjadi manusia tetapi juga anak kucing.
Namun, pemahamannya bukanlah hal yang kuat. Hal ini berarti Tiongkok tertinggal dari AS dalam bidang AI dalam sebuah masalah kecil namun krusial. Dan itu menentukan Tiongkok kembali dari AS dalam perlombaan menuju AGI dengan satu putaran penuh.
- Baidu sedang mengembangkan layanan chatbot AI yang disebut Erni Bot, yang pada akhirnya akan diintegrasikan ke dalam mesin pencarinya. Ini akan memungkinkan mesin pencari Baidu menghasilkan respons mirip manusia terhadap pertanyaan pengguna, serupa dengan Penyair Google dan Bing Microsoft.
- Grup Seco, platform e-commerce mewah di Tiongkok, berencana menggunakan konten yang dihasilkan AI dan ChatGPT teknologi untuk meningkatkan pemasaran cerdasnya. Platform telah mengajukan permohonan untuk akses OpenAI'S GPT-4 API dan merupakan salah satu mitra ekologi pertama dari ERNIE Bot Baidu.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
