Vitalik Buterin dan Direktur MIRI Nate Soares Menyelidiki Bahaya AI: Mungkinkah Kecerdasan Buatan Menyebabkan Kepunahan Manusia?
Singkatnya
Pendiri Ethereum Vitalik Buterin dan direktur Machine Intelligence Research Institute Nate Soares membahas risiko AI di Zuzalu hari ini.
Zuzalu adalah komunitas kota pop-up di Montenegro yang diprakarsai oleh Buterin dan rekan-rekannya di komunitas crypto.
Dalam diskusi tersebut, Soares membagikan pandangannya tentang mengapa AI sangat mungkin mengakhiri semua kehidupan di Bumi.
Pendiri Ethereum Vitalik Buterin dan direktur Machine Intelligence Research Institute (MIRI) Nate Soares membahas risiko AI di Zuzalu hari ini.
Zuzalu adalah “komunitas kota pop-up” di Montenegro yang diprakarsai oleh Buterin dan rekan-rekannya di komunitas crypto yang berlangsung dari 25 Maret hingga 25 Mei. Acara ini menyatukan 200 penduduk inti dengan keinginan bersama untuk belajar, berkreasi, hidup lebih lama dan lebih sehat hidup, dan membangun komunitas mandiri. Selama dua bulan, komunitas ini juga menyelenggarakan sejumlah acara dengan berbagai topik seperti biologi sintetik, teknologi untuk privasi, barang publik, umur panjang, tata kelola, dan banyak lagi.
Grafik diskusi dibuka dengan Soares memperkenalkan karyanya di MIRI, sebuah organisasi nirlaba yang berbasis di Berkeley yang telah berdiri lebih lama dari saat dia menjalankannya. Selama 20 tahun terakhir, MIRI telah mencoba meletakkan dasar untuk memastikan pengembangan AI berjalan dengan baik. Dengan diskusi tersebut, Vitalik berharap dapat membahas apa yang membuat AI berisiko secara unik dibandingkan dengan teknologi lain yang dirilis dalam sejarah manusia.
Kemungkinan AI menyebabkan kepunahan manusia
Vitalik mengatakan bahwa dia telah tertarik dengan topik risiko AI sejak lama dan mengingat pernah diyakinkan bahwa ada kemungkinan 0.5%-1% bahwa semua kehidupan di Bumi akan musnah jika AI salah—risiko eksistensial yang akan menyebabkan kepunahan ras manusia atau keruntuhan peradaban manusia yang tidak dapat diubah.
Dari sudut pandang Soares, kepunahan manusia terlihat seperti hasil default dari pengembangan teknologi AI yang tidak aman. Membandingkannya dengan evolusi, dia mengatakan bahwa perkembangan umat manusia tampaknya terjadi lebih cepat daripada sekadar perubahan evolusi. Baik dalam proses AI maupun evolusi manusia, pengoptimalan yang dominan – proses menemukan solusi terbaik untuk suatu masalah ketika ada banyak tujuan untuk dipertimbangkan – sedang berubah. Manusia telah mencapai titik di mana mereka dapat menyampaikan pengetahuan melalui mulut ke mulut alih-alih memiliki informasi yang tertanam dalam gen melalui seleksi alam.
“AI pada akhirnya adalah kasus di mana Anda dapat mengganti proses pengoptimalan makroskopik lagi. Saya pikir Anda bisa melakukan optimasi yang jauh lebih baik daripada manusia. Saya pikir kita masih sangat bodoh dalam hal mengoptimalkan lingkungan kita. Dengan AI, kita sedang melalui semacam transisi fase di mana pengoptimalan otomatis adalah kekuatan yang menentukan fitur makroskopis alam semesta, ”jelas Soares.
Dia menambahkan bahwa masa depan seperti apa yang dioptimalkan oleh proses pengoptimalan, dan kemungkinan besar akan berhenti bermanfaat bagi umat manusia karena sebagian besar target pengoptimalan tidak memiliki ruang untuk manusia.
Bisakah manusia melatih AI untuk berbuat baik?
Buterin menunjukkan bahwa manusialah yang melatih AI dan memberi tahu cara mengoptimalkannya. Jika perlu, mereka dapat mengubah cara mesin dioptimalkan. Untuk itu, Soares mengatakan bahwa pada prinsipnya mungkin melatih AI untuk berbuat baik, tetapi hanya melatih AI untuk mencapai suatu tujuan tidak berarti akan atau ingin melakukan itu, bermuara pada keinginan.
Menjelaskan tentang pembelajaran penguatan dalam model bahasa besar yang mendapatkan data dalam jumlah besar tentang preferensi manusia, Buterin bertanya mengapa itu tidak berhasil, karena kecerdasan yang ada semakin baik dalam memahami preferensi kita.
“Ada kesenjangan besar antara memahami motivasi kita dan peduli,”
Soares menanggapi.
“Klaim saya bukanlah bahwa model bahasa besar atau AI tidak akan memahami hal-hal kecil dari preferensi manusia. Klaim saya adalah bahwa memahami hal-hal kecil dari preferensi manusia sangat berbeda dengan mengoptimalkan kebaikan,” tambahnya.
Seorang penonton membuat perbandingan antara AI dan manusia, mengatakan bahwa, seperti kecerdasan buatan, manusia cenderung tidak memahami apa yang mereka lakukan atau prediksi, yang juga bisa berbahaya. Dia kemudian meminta Soares untuk berpura-pura menjadi alien dan menjelaskan mengapa tidak boleh ada manusia.
“Saya tidak akan senang memberikan kekuatan seperti dewa dan kendali atas masa depan kepada satu individu manusia. Secara terpisah, saya akan jauh lebih senang memberikan kekuatan kepada satu individu manusia daripada AI yang berperan secara acak. Saya dengan tegas tidak mengatakan bahwa kita seharusnya tidak memiliki AI. Saya katakan kita harus melakukannya dengan benar. Kita perlu membuat mereka peduli tentang masa depan yang penuh kesenangan dan kebahagiaan dan peradaban yang berkembang di mana transhuman terlibat dalam perdagangan jumlah positif dengan alien dan sebagainya, ”Soares mengklarifikasi. “Jika Anda membangun proses pengoptimalan yang kuat yang memperhatikan berbagai hal, hal itu berpotensi menghancurkan semua nilai alam semesta.”
Dia menambahkan bahwa hal-hal yang dihargai manusia tidak secara universal menarik dan bahwa moralitas bukanlah sesuatu yang akan dikejar oleh pikiran mana pun yang mempelajarinya. Sebaliknya, itu adalah hasil dari dorongan yang dibangun pada manusia yang, di lingkungan leluhur, menyebabkan kita menjadi pandai bereproduksi dan khusus untuk manusia.
Pada akhirnya, Soares percaya bahwa kita seharusnya tidak membangun sesuatu yang sama cerdasnya atau bahkan lebih cerdas yang tidak konsisten dengan kesenangan, kebahagiaan, dan masa depan yang berkembang. Di sisi lain, dia juga mengatakan bahwa umat manusia seharusnya tidak membangun superintelijen ramah yang mengoptimalkan masa depan yang menyenangkan pada percobaan pertamanya selama perlombaan senjata. Dalam jangka pendek, AI harus didedikasikan untuk membantu umat manusia membeli waktu dan ruang untuk mencari tahu apa yang sebenarnya mereka inginkan.
ChatGPT tidak akan mengkonsumsi seluruh biosfer
Karena AI saat ini sedang dibangun untuk mencapai tujuan tertentu, termasuk prediksi, Buterin bertanya, bagaimana jika AI tidak digerakkan oleh tujuan? Soares mengatakan mudah untuk membangun AI yang aman dan tidak mampu, dan kita akan segera memiliki AI yang mampu tetapi mengejar hal yang berbeda. Dia tidak berpikir ChatGPT akan mengkonsumsi seluruh biosfer karena tidak pada tingkat kemampuan itu.
Soares mencatat bahwa sebagian besar aplikasi AI yang menarik, seperti mengotomatiskan pengembangan dan penelitian ilmiah dan teknologi, tampaknya memerlukan pengejaran tujuan tertentu.
“Tidak ada kesalahan yang bisa Anda dapatkan GPT untuk menulis haiku yang rapi, tetapi Anda tidak bisa menulis novel. Keterbatasan sistem yang ada saat ini terkait dengan fakta bahwa mereka tidak mencapai tujuan yang lebih dalam, setidaknya bagi saya.”
Baca lebih lanjut:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Cindy adalah seorang jurnalis di Metaverse Post, mencakup topik yang terkait dengan web3, NFT, metaverse dan AI, dengan fokus pada wawancara dengan Web3 pelaku industri. Dia telah berbicara dengan lebih dari 30 eksekutif tingkat C dan terus bertambah, menyampaikan wawasan berharga mereka kepada pembaca. Berasal dari Singapura, Cindy kini tinggal di Tbilisi, Georgia. Beliau meraih gelar Sarjana Komunikasi & Studi Media dari University of South Australia dan memiliki pengalaman satu dekade di bidang jurnalisme dan penulisan. Hubungi dia melalui [email dilindungi] dengan pitches pers, pengumuman dan peluang wawancara.
lebih artikel
Cindy adalah seorang jurnalis di Metaverse Post, mencakup topik yang terkait dengan web3, NFT, metaverse dan AI, dengan fokus pada wawancara dengan Web3 pelaku industri. Dia telah berbicara dengan lebih dari 30 eksekutif tingkat C dan terus bertambah, menyampaikan wawasan berharga mereka kepada pembaca. Berasal dari Singapura, Cindy kini tinggal di Tbilisi, Georgia. Beliau meraih gelar Sarjana Komunikasi & Studi Media dari University of South Australia dan memiliki pengalaman satu dekade di bidang jurnalisme dan penulisan. Hubungi dia melalui [email dilindungi] dengan pitches pers, pengumuman dan peluang wawancara.
