Microsoft Memaksa LLM Lupakan Mengenai Harry Potter
Microsoft telah mendedahkan kaedah untuk mengarahkan Model Bahasa Besar (LLM) untuk melupakan maklumat khusus dalam set data mereka tanpa memerlukan pembinaan semula penuh data latihan. Kaedah ini membuka kemungkinan baharu untuk menambah baik LLM dan berpotensi menyelesaikan isu undang-undang yang melibatkan kandungan berhak cipta.
Pasukan Microsoft baru-baru ini menunjukkan bagaimana mereka dapat membuat Llama-2 model melupakan butiran buku Harry Potter tanpa menjejaskan data lain dalam data latihan model atau prestasi keseluruhan model dalam kajian yang diterangkan pada halaman projek penyelidikan mereka.
Proses ini bermula dengan pengenalpastian maklumat khusus dalam set data model yang perlu dilupakan. Dalam kes ini, ia adalah butiran yang berkaitan dengan siri ikonik JK Rowling, termasuk plot khusus, nama watak dan petikan terkenal. Ini kemudiannya digantikan secara sistematik dengan frasa generik yang tidak berkaitan.
Para penyelidik kemudian menggunakan model bahasa untuk menjana maklumat baharu berdasarkan data generik ini. Data baharu ini kemudiannya digunakan untuk melatih semula yang asal Llama-Model 2 secara berperingkat. Dengan setiap langkah, model itu menjauhkan diri daripada buku Harry Potter sehingga ia mula menghasilkan tindak balas halusinasi apabila disoal mengenainya.
Satu ciri yang menarik bagi pendekatan ini ialah ia tidak menjejaskan prestasi umum model. Ini bermakna walaupun LLM menjadi semakin lupa tentang data tertentu, keupayaan bahasa keseluruhannya kekal utuh.
Walaupun pendekatan ini masih diperhalusi, implikasinya adalah meluas. Dalam situasi yang melibatkan tuntutan undang-undang dan isu hak cipta, khususnya, ia mungkin memberikan talian hayat kepada mereka yang mencipta LLM dan model AI yang lain.
Inovasi ini datang pada masa pertikaian undang-undang mengenai penggunaan kandungan berhak cipta dalam model AI semakin meningkat. Sebagai contoh, New York Times baru-baru ini menuntut penyingkiran itu daripada penerbitannya daripada GPT-4 set data. Sekiranya berjaya cabaran undang-undang, pembangun biasanya perlu membina semula set data model mereka, proses yang memakan masa dan intensif sumber. Kaedah Microsoft, jika diperhalusi dan diterima pakai, boleh memberikan penyelesaian yang cekap kepada cabaran tersebut.
Kaedah Microsoft untuk melupakan maklumat khusus secara selektif dalam Model Bahasa Besar (LLM) ialah satu kejayaan penting dalam pembangunan AI, yang berpotensi menangani isu kandungan berhak cipta dan memperkemas pemurnian. Pendekatan ini boleh digunakan untuk pelbagai domain, menunjukkan pembangunan dan aplikasi AI yang bertanggungjawab.
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
