Microsoft Memaksa LLM untuk Melupakan Tentang Harry Potter
Microsoft telah mengungkapkan sebuah metode untuk menginstruksikan Model Bahasa Besar (LLM) untuk melupakan informasi spesifik dalam kumpulan datanya tanpa memerlukan rekonstruksi data pelatihan secara penuh. Metode ini membuka kemungkinan baru untuk meningkatkan LLM dan berpotensi menyelesaikan masalah hukum yang melibatkan konten berhak cipta.
Tim Microsoft baru-baru ini mendemonstrasikan bagaimana mereka mampu membuat Llama-2 model melupakan detail buku Harry Potter tanpa memengaruhi data lain dalam data pelatihan model atau performa model secara keseluruhan dalam studi yang dijelaskan di halaman proyek penelitian mereka.
Prosesnya dimulai dengan identifikasi informasi spesifik dalam kumpulan data model yang perlu dilupakan. Dalam hal ini, detail terkait serial ikonik JK Rowling, termasuk plot spesifik, nama karakter, dan kutipan terkenal. Kalimat-kalimat ini kemudian secara sistematis diganti dengan frasa-frasa umum yang tidak berkaitan.
Para peneliti kemudian menggunakan model bahasa untuk menghasilkan informasi baru berdasarkan data umum ini. Data baru ini kemudian digunakan untuk melatih kembali data asli Llama-Model 2 secara bertahap. Dengan setiap langkahnya, model tersebut menjauhkan diri dari buku-buku Harry Potter hingga mulai menghasilkan tanggapan halusinasi ketika ditanya tentang buku tersebut.
Salah satu fitur yang mencolok dari pendekatan ini adalah bahwa pendekatan ini tidak mengganggu performa model secara umum. Artinya, meskipun LLM semakin melupakan data tertentu, kemampuan bahasanya secara keseluruhan tetap utuh.
Meskipun pendekatan ini masih dalam tahap penyempurnaan, dampaknya sangat luas. Khususnya dalam situasi yang melibatkan klaim hukum dan masalah hak cipta, hal ini dapat memberikan bantuan bagi mereka yang membuat LLM dan model AI lainnya.
Inovasi ini hadir pada saat perselisihan hukum mengenai penggunaan konten berhak cipta dalam model AI sedang meningkat. Contohnya, The New York Times baru-baru ini menuntut penghapusan tersebut publikasinya dari GPT-4 Himpunan data. Jika berhasil Tantangan hukum, pengembang biasanya perlu merekonstruksi kumpulan data model mereka, sebuah proses yang memakan waktu dan sumber daya yang intensif. Metode Microsoft, jika disempurnakan dan diadopsi lebih lanjut, dapat memberikan solusi yang efisien terhadap tantangan tersebut.
Metode Microsoft untuk secara selektif melupakan informasi spesifik dalam Model Bahasa Besar (LLM) merupakan terobosan signifikan dalam pengembangan AI, yang berpotensi mengatasi masalah konten berhak cipta dan menyederhanakan penyempurnaan. Pendekatan ini dapat diterapkan pada berbagai domain, menunjukkan pengembangan dan penerapan AI yang bertanggung jawab.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
