Pakar Berhati-hati Terhadap 'Sisipan Berniat Hasad' ke dalam Set Data AI dalam ChatGPT
Secara ringkas
ChatGPT berpotensi terdedah disebabkan oleh data latihan.
Menurut penyelidik, dengan hanya $60 di AS, kami boleh meracuni 0.01% daripada set data LAION-400 atau COYO-700 pada tahun 2022.
ChatGPT teknologi menjadi semakin popular, tetapi baru-baru ini penyelidikan mencadangkan bahawa teknologi ini mungkin terdedah disebabkan oleh data latihan yang digunakannya. Apabila model menjadi lebih kompleks dan set data menjadi lebih besar dan lebih kompleks, pelaku berniat jahat boleh mengeksploitasi kelemahan ini untuk memanipulasi set data dan menyebabkan model pembelajaran mesin menghasilkan hasil yang tidak tepat.
Kebimbangan utama ialah pangkalan data chatbot selalunya merupakan set data "disahkan secara bersyarat", bermakna terdapat tahap kepercayaan tertentu yang dimasukkan ke dalam data tanpa pengesahan yang meluas. Dalam erti kata lain, set data ini selalunya boleh mempunyai isu asas yang belum dipertimbangkan. Walaupun pengesahan set data selalunya tidak dilakukan kerana saiznya yang besar, terdapat potensi untuk pelakon berniat jahat untuk memanipulasi data ini.
Malah, penyelidik telah mencadangkan bahawa menjelang 2022, penyerang boleh membelanjakan anggaran $60 untuk meracuni 0.01% daripada set data LAION-400 atau COYO-700. Walaupun ini tidak kelihatan seperti banyak, pelakon berniat jahat boleh menggunakan data beracun ini untuk keuntungan mereka sendiri jika dibiarkan. Data berniat jahat akhirnya boleh bocor ke dalam set data yang lebih besar, merosakkan kualiti data dan membawa kepada model pembelajaran mesin yang tidak boleh dipercayai.
Adalah perlu untuk mengambil langkah untuk melindungi pangkalan data daripada data berniat jahat. Mengagregatkan beberapa sumber data harus menjadi standard untuk chatbot set data latihan untuk memastikan data boleh dipercayai dan tepat. Selain itu, syarikat harus bereksperimen dengan set data untuk memastikan mereka tidak terdedah kepada pelakon yang berniat jahat.
AI Chatbots dengan Kod Hasad Boleh Terdedah kepada Penggodaman
Ancaman kod berniat jahat dalam chatbots boleh menjadi agak serius; kod berniat jahat boleh digunakan untuk mencuri data pengguna, membolehkan akses berniat jahat kepada pelayan, dan membolehkan aktiviti berniat jahat seperti pengubahan wang haram atau exfiltration data. Jika chatbot AI dilatih mengenai data dengan sisipan berniat jahat, ia secara tidak sedar boleh menyuntik kod hasad ke dalam responsnya dan tanpa disedari digunakan sebagai alat untuk keuntungan hasad.
Pelakon yang berniat jahat boleh mengambil kesempatan daripada kelemahan ini dengan sama ada secara sengaja atau tidak sengaja memperkenalkan kod berniat jahat ke dalam data latihan. Di samping itu, kerana chatbots AI belajar daripada data yang dipersembahkan, ini juga berpotensi menyebabkan mereka mempelajari respons yang salah atau malah tingkah laku berniat jahat.
Bahaya lain yang mungkin dihadapi oleh chatbot AI ialah "overfitting." Ini adalah apabila model ramalan dilatih terlalu rapat pada data yang diberikan, sekali gus membawa kepada ramalan yang lemah apabila dibentangkan dengan data baharu. Ini boleh menjadi masalah tertentu seperti Bot sembang AI terlatih mengenai kod hasad berpotensi menjadi lebih berkesan untuk menyuntik kod hasad ke dalam respons mereka apabila mereka menjadi lebih biasa dengan data.
Adalah penting untuk mengetahui risiko dan mengambil langkah berjaga-jaga untuk menjamin data latihan yang digunakan untuk mengajar ChatGPT adalah selamat dan boleh dipercayai untuk mengelakkan potensi kelemahan ini. Data awal yang digunakan untuk latihan juga mesti disimpan berasingan dan unik; promosi "sisipan berniat jahat" tidak boleh bercanggah atau bertindih dengan sumber lain. Ia harus diperiksa dan dibandingkan dengan domain lain jika "menangkap" berbilang domain yang disahkan boleh dilaksanakan untuk mengesahkan data.
Teknologi Chatbot berjanji untuk mengubah cara orang menjalankan perbincangan manusia. Tetapi sebelum ia dapat merealisasikan potensi sepenuhnya, ia perlu diperbaiki dan dilindungi. Set data untuk chatbots perlu disemak dengan baik dan bersedia untuk menangkis pelakon yang berniat jahat. Dengan melakukan ini, kami boleh memastikan bahawa kami menggunakan sepenuhnya potensi teknologi dan terus mendorong had kecerdasan buatan.
Baca lebih lanjut mengenai AI:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
