Perusahaan AI Harus Menghabiskan 30% Pendanaannya untuk Penelitian dan Pengembangan di bidang Keselamatan dan Etika
Kerusakan yang disebabkan oleh prasangka dan informasi palsu sudah terlihat jelas. Terdapat indikasi bahwa bahaya lain mungkin juga muncul. Penting untuk memitigasi risiko-risiko yang ada saat ini dan memperkirakan risiko-risiko yang akan muncul.
Kita tidak akan tahu cara memastikan sistem otonom canggih atau AGI aman atau cara mengujinya jika tersedia saat ini. Selain itu, pemerintah tidak memiliki institusi yang diperlukan untuk menghentikan penyalahgunaan dan menerapkan praktik yang aman, meskipun mereka memang melakukan hal tersebut. Para penulis mendukung pengembangan pengawasan pemerintah yang efisien dan mengarahkan upaya penelitian dan pengembangan ke arah keselamatan dan etika.
Kontrol dan kejujuran (sistem yang lebih canggih dapat mengakali pengujian dengan menghasilkan jawaban yang salah namun meyakinkan), ketahanan (dalam kondisi baru dengan pergeseran distribusi atau masukan yang berlawanan), interpretabilitas (pemahaman pekerjaan), penilaian risiko (muncul kemampuan baru yang sulit diprediksi), dan munculnya tantangan baru (mode kegagalan yang belum pernah terjadi sebelumnya) adalah beberapa tantangan penelitian dan pengembangan yang tidak akan terselesaikan dengan sendirinya. mengembangkan sistem AI yang lebih kuat.
Para penulis menyarankan bahwa keselamatan dan etika harus menerima setidaknya sepertiga dari pendanaan untuk Penelitian dan Pengembangan AI.
Standar perlu ditegakkan baik dalam kaitannya dengan institusi nasional maupun tata kelola global. AI tidak memiliki hal-hal tersebut, namun industri farmasi, keuangan, dan nuklir memilikinya. Saat ini terdapat insentif bagi negara dan dunia usaha untuk melakukan penghematan dengan mengorbankan keamanan. Perusahaan bisa mendapatkan keuntungan dari kemajuan AI dan membiarkan masyarakat menanggung dampaknya, sama seperti industri yang membuang limbah ke sungai.
Pengetahuan teknis yang kuat dan kemampuan untuk bergerak cepat merupakan persyaratan bagi lembaga-lembaga nasional. Di arena global, kemitraan dan kesepakatan sangatlah penting. Hambatan birokrasi terhadap model yang kecil dan dapat diprediksi harus dihindari untuk melindungi penelitian akademis dan penerapan yang berisiko rendah. Model Frontier—kelompok terpilih dari sistem paling ampuh yang dilatih pada superkomputer bernilai miliaran dolar—harus mendapat fokus paling besar.
Pemerintah harus lebih terbuka terhadap perkembangan agar peraturan dapat efektif. Regulator harus mewajibkan pendaftaran model, melindungi informan internal, mewajibkan pelaporan insiden, dan mengawasi pengembangan model dan penggunaan superkomputer.
Regulator juga harus memiliki akses terhadap sistem ini sebelum diluncurkan ke produksi untuk melakukan evaluasi berpotensi berbahaya fitur seperti generasi patogen, replikasi diri, dan penetrasi sistem.
Sistem yang berpotensi berbahaya memerlukan berbagai metode pengendalian. Model perbatasan pencipta juga harus bertanggung jawab secara hukum atas segala kerusakan pada sistem mereka yang sebenarnya dapat dihindari. Hal ini seharusnya mendorong investasi keamanan. Fitur lainnya, seperti izin pemerintah, kemampuan untuk menghentikan pembangunan sebagai respons terhadap hal tersebut berpotensi berbahaya kemampuan, kontrol akses, dan langkah-langkah keamanan informasi yang tahan terhadap peretas tingkat negara bagian, mungkin diperlukan untuk sistem yang sangat mumpuni.
Meskipun tidak ada aturan, dunia usaha harus segera memperjelas tanggung jawab mereka jika-maka dengan menguraikan langkah-langkah tepat yang akan mereka ambil jika kemampuan model tertentu melewati batas. Langkah-langkah ini perlu dijelaskan secara menyeluruh dan dikonfirmasi secara independen. Jadi, memang demikian. Yang terpisah Suplemen kebijakan menyusun ringkasan tesis.
- Pada bulan Oktober, Forum Model Frontier telah memperkenalkan Dana Keamanan AI senilai lebih dari $10 juta, yang bertujuan untuk mendorong kemajuan dalam penelitian keselamatan AI. Dana tersebut, yang merupakan kolaborasi antara Frontier Model Forum dan mitra filantropis, akan memberikan dukungan kepada peneliti independen di seluruh dunia yang berafiliasi dengan institusi akademis, organisasi penelitian, dan perusahaan rintisan. Kontributor utama inisiatif ini adalah Anthropic, Google, Microsoft, OpenAI, bersama dengan organisasi filantropi seperti Patrick J. McGovern Foundation, David and Lucile Packard Foundation, Eric Schmidt, dan Jaan Tallinn. AI Safety Fund terutama berfokus pada memperkuat pengembangan teknik evaluasi baru dan pendekatan tim merah untuk model AI, yang bertujuan untuk mengungkap potensi bahaya. Forum ini berencana untuk membentuk Dewan Penasihat dalam beberapa bulan mendatang, dan akan mengeluarkan permintaan pertama untuk proposal dan memberikan penghargaan segera setelahnya.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
