Para Ahli Berhati-hati Terhadap 'Sisipan Berbahaya' ke dalam Kumpulan Data AI di ChatGPT
Singkatnya
ChatGPT berpotensi rentan karena data pelatihan.
Menurut para peneliti, hanya dengan $60 di AS, kami dapat meracuni 0.01% dari kumpulan data LAION-400 atau COYO-700 pada tahun 2022.
ChatGPT teknologi menjadi semakin populer, tetapi baru-baru ini penelitian menunjukkan bahwa teknologi ini mungkin rentan karena data pelatihan yang digunakannya. Ketika model menjadi lebih kompleks dan kumpulan data menjadi lebih besar dan lebih kompleks, aktor jahat dapat mengeksploitasi kerentanan ini untuk memanipulasi kumpulan data dan menyebabkan model pembelajaran mesin menghasilkan hasil yang tidak akurat.
| Rekomendasi: 10 Saham Paling Menjanjikan yang Diprediksi oleh ChatGPT (AI) untuk Mengungguli Dana Dunia Terkemuka pada tahun 2023 |
Perhatian utama adalah bahwa basis data chatbot seringkali merupakan kumpulan data yang "diverifikasi secara kondisional", yang berarti bahwa ada tingkat kepercayaan tertentu yang dimasukkan ke dalam data tanpa verifikasi ekstensif. Dengan kata lain, kumpulan data ini seringkali memiliki masalah mendasar yang belum dipertimbangkan. Meskipun validasi kumpulan data sering tidak dilakukan karena ukurannya yang besar, ada potensi pelaku jahat untuk memanipulasi data ini.
Faktanya, para peneliti telah menyarankan bahwa pada tahun 2022, penyerang dapat menghabiskan sekitar $60 untuk meracuni 0.01% dari kumpulan data LAION-400 atau COYO-700. Meskipun kedengarannya tidak banyak, pelaku jahat dapat menggunakan data yang diracuni ini untuk keuntungan mereka sendiri jika dibiarkan. Data berbahaya akhirnya bisa bocor menjadi kumpulan data yang lebih besar, merusak kualitas data dan mengarah ke model pembelajaran mesin yang tidak dapat diandalkan.
Penting untuk mengambil langkah-langkah untuk melindungi basis data dari data berbahaya. Menggabungkan beberapa sumber data harus menjadi standar untuk chatbot set data pelatihan untuk memastikan data dapat dipercaya dan akurat. Selain itu, perusahaan harus bereksperimen dengan kumpulan data untuk memastikan mereka tidak rentan terhadap pelaku jahat.
AI Chatbots dengan Kode Berbahaya Bisa Rentan terhadap Peretasan
Ancaman kode berbahaya di chatbot bisa sangat serius; kode berbahaya dapat digunakan untuk mencuri data pengguna, mengaktifkan akses berbahaya ke server, dan mengaktifkan aktivitas berbahaya seperti pencucian uang atau eksfiltrasi data. Jika AI chatbot dilatih pada data dengan sisipan berbahaya, tanpa sadar dapat menyuntikkan kode berbahaya ke dalam responsnya dan tanpa sadar digunakan sebagai alat untuk keuntungan jahat.
Ada kemungkinan pelaku jahat memanfaatkan kerentanan ini dengan sengaja atau tidak sengaja memasukkan kode jahat ke dalam data pelatihan. Selain itu, karena chatbot AI belajar dari data yang disajikan, hal ini juga berpotensi membuat mereka mempelajari respons yang salah atau bahkan perilaku jahat.
Bahaya lain yang mungkin dihadapi chatbot AI adalah "overfitting". Ini adalah saat model prediksi dilatih terlalu dekat dengan data yang diberikan, sehingga menyebabkan prediksi yang buruk saat disajikan dengan data baru. Ini bisa menjadi masalah khusus seperti Obrolan AI dilatih tentang kode berbahaya berpotensi menjadi lebih efektif dalam menyuntikkan kode berbahaya ke respons mereka saat mereka menjadi lebih akrab dengan data.
Penting untuk menyadari risiko dan mengambil tindakan pencegahan untuk menjamin data pelatihan yang digunakan untuk mengajar ChatGPT aman dan andal untuk mencegah potensi kelemahan ini. Data awal yang digunakan untuk pelatihan juga harus disimpan terpisah dan unik; promosi "sisipan berbahaya" tidak boleh bertentangan dengan atau tumpang tindih dengan sumber lain. Itu harus diperiksa dan dibandingkan dengan domain lain jika "menangkap" beberapa domain yang dikonfirmasi layak dilakukan untuk memvalidasi data.
Teknologi chatbot berjanji untuk mengubah cara orang melakukan diskusi manusia. Tetapi sebelum dapat mewujudkan potensi penuhnya, perlu ditingkatkan dan dijaga. Kumpulan data untuk chatbot perlu diperiksa dengan baik dan disiapkan untuk menangkis aktor jahat. Dengan melakukan ini, kami dapat memastikan bahwa kami sepenuhnya memanfaatkan potensi teknologi dan terus mendorong batas dari kecerdasan buatan.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
