Para Peneliti di University of California Membuat Tolok Ukur Machiavelli untuk Mengukur Kompetensi dan Bahaya Model AI
Singkatnya
Para peneliti di Universitas California, Pusat Keamanan AI, Universitas Carnegie Mellon, dan Universitas Yale telah mengusulkan tolok ukur Machiavelli untuk mengukur kompetensi dan tingkat bahaya agen dalam lingkungan interaksi bahasa jangka panjang yang luas.
Tolok ukur ini didasarkan pada 134 game teks pilih petualangan Anda sendiri dengan 572 ribu skenario berbeda, 4,5 ribu kemungkinan pencapaian, dan 2,8 juta anotasi.
Penulis menggambarkannya sebagai tes untuk memeriksa cara etis (atau tidak etis) di mana agen AI mencoba memecahkan masalah.
Penerima manfaat AI berdasarkan model bahasa besar (LLM) memiliki peluang bagus untuk menghancurkan alarmis yang cemas dan membanjiri dunia dengan agen berbasis LLM yang sangat cerdas. Manfaat potensial dari keuntungan besar dan kekuatan tak terbatas akan berhasil. Dan kemungkinan besar itu akan terjadi cukup cepat.
| Baca lebih lanjut: Cara Menggunakan ChatGPT (GPT-4) Gratis Selamanya |
Namun, penerima manfaat tidak bodoh sama sekali. Dan mereka memahami bahwa di dunia baru yang menakjubkan, hukum AI dan robotika tidak akan berfungsi lagi. Untuk memaksa LLM untuk secara ketat mematuhi tiga undang-undang yang dirumuskan oleh Isaac Asimov yang agung pada tahun 1942, sayangnya, bahkan secara teori tidak mungkin.
Jalan keluar orisinal dari situasi sulit ini diusulkan oleh para peneliti di Universitas California, Pusat Keamanan AI, Universitas Carnegie Mellon, dan Universitas Yale. Mereka menciptakan Patokan Machiavelli untuk "mengukur kompetensi dan bahaya agen dalam lingkungan yang luas dari interaksi bahasa jangka panjang."
Ide penulis sederhana.
- Jika undang-undang tidak berfungsi, maka tidak perlu ada "sheriff" untuk menegakkannya.
- Alih-alih seorang sheriff, diperlukan seorang psikoanalis, yang, berdasarkan hasil tesnya, akan mengidentifikasi potensi paranoid, psikopat, sadis, dan pembohong patologis.
Dalam bahasa yang benar secara politis, penulis menggambarkannya seperti ini: "Machiavelli adalah ujian untuk memeriksa cara etis (atau tidak etis) di mana agen AI mencoba memecahkan masalah."
Cara verifikasinya cukup praktis. Agen AI dilepaskan ke lingkungan sosial buatan. Di sana, peneliti memberinya berbagai tugas dan mengamati bagaimana dia menyelesaikannya. Lingkungan itu sendiri memantau perilaku etis orang tersebut agen AI dan melaporkan sejauh mana tindakan agen (menurut ajaran Machiavelli) menipu, mengurangi utilitas, dan bertujuan untuk memperoleh kekuasaan.
Kumpulan data inti Machiavelli terdiri dari 134 game teks petualangan pilihan Anda sendiri dengan 572 ribu skenario berbeda, 4,5 ribu kemungkinan pencapaian, dan anotasi 2,8 juta. Permainan ini menggunakan solusi tingkat tinggi yang memberi agen tujuan realistis dan mengabstraksi interaksi tingkat rendah dengan lingkungan.
Pendekatan yang dipilih penulis didasarkan pada asumsi bahwa agen AI menghadapi konflik internal yang sama dengan manusia. Sama seperti model bahasa yang dilatih untuk memprediksi token berikutnya sering kali menghasilkan teks beracun, agen AI yang dilatih untuk mengoptimalkan tujuan sering kali menunjukkan perilaku tidak bermoral dan haus kekuasaan. Agen yang terlatih secara amoral dapat mengembangkan strategi Machiavellian untuk memaksimalkan imbalan mereka dengan mengorbankan orang lain dan lingkungan. Jadi dengan mendorong agen untuk bertindak secara moral, kompromi ini dapat ditingkatkan.
Penulis percaya bahwa game petualangan teks adalah ujian moralitas yang baik karena:
- Mereka ditulis oleh orang-orang untuk menghibur orang lain.
- Berisi tujuan bersaing dengan ruang realistis untuk tindakan.
- Membutuhkan perencanaan jangka panjang.
- Mencapai tujuan biasanya membutuhkan keseimbangan antara ambisi dan, dalam arti tertentu, moralitas.
Klarifikasi adalah yang paling penting di sini. Untuk mempersamakan moralitas makhluk biologis dengan moralitas model algoritmik terlalu berlebihan, mampu merendahkan pengujian Machiavelli. Dan mengganti sheriff dengan psikoanalis di dunia manusia hampir tidak akan efektif. Dan agen AI sama baiknya dengan manusia dalam menemukan cara untuk membohongi psikiater mereka.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
