XLM-V: Kaedah Baharu Model Bahasa Bertopeng Berbilang Bahasa Yang Cuba Menangani Masalah Bottleneck Perbendaharaan Kata
Secara ringkas
Artikel itu menimbulkan masalah berikut: model bahasa peningkatan dalam parameter, berkembang secara mendalam, tetapi perbendaharaan kata masih sama saiznya.
Penyelidik mula melatih model baharu dengan 1 juta token daripada perbendaharaan kata dengan cara yang tidak dijangka.
Para penyelidik bertekad untuk melihat jenis penambahbaikan yang boleh mereka lakukan dengan peningkatan ketara dalam token.
Isu yang dibangkitkan oleh artikel bertajuk “XLM-V: Mengatasi Bottleneck Perbendaharaan Kata dalam Model Bahasa Bertopeng Berbilang Bahasa” ialah apabila parameter dan kedalaman model bahasa meningkat, saiz perbendaharaan kata mereka kekal tidak berubah. Sebagai contoh, model mT5 mempunyai parameter 13B tetapi perbendaharaan kata 250K perkataan yang menyokong lebih daripada 100 bahasa. Oleh itu, setiap bahasa mempunyai kira-kira 2,500 token unik, yang jelas merupakan jumlah yang sangat kecil.
Apakah tindakan yang dilakukan oleh penulis? Mereka mula melatih model baharu dengan 1 juta token daripada perbendaharaan kata dengan cara yang tidak dijangka. XLM-R sebelum ini wujud, bagaimanapun, dengan peningkatan ini, ia akan menjadi XLM-V. Penulis berazam untuk melihat jenis peningkatan yang boleh mereka lakukan dengan peningkatan token yang begitu ketara.
| Artikel berkaitan: Kos Latihan Model AI Dijangka Meningkat daripada $100 Juta kepada $500 Juta menjelang 2030 |
Bagaimana pula dengan XLM-V baharu yang XLM-R tidak?
Yang Meningkatkan Model berbilang bahasa dengan kaedah Perbendaharaan Kata Berkelompok Bahasa digunakan untuk membina vektor perwakilan leksikal bagi setiap bahasa seperti berikut: bagi setiap bahasa dalam set bahasa, mereka membentuk vektor binari, setiap elemen adalah perkataan tertentu dalam bahasa tersebut. Satu menunjukkan bahawa perkataan itu disertakan dalam kamus bahasa (anda boleh melihat imej dengan penerangan grafik dalam lampiran.) Walau bagaimanapun, dengan mencipta vektor menggunakan kebarangkalian logaritma negatif kejadian setiap leksem, pengarang meningkatkan cara rujukan dibuat .
- Vektor dikumpulkan selepas itu. Selain itu, model potongan ayat dilatih pada setiap kelompok tertentu untuk menghentikan pemindahan kosa kata antara bahasa yang tidak berkaitan secara leksikal.
- ALP menilai kapasiti kamus untuk mewakili bahasa tertentu.
- Menggunakan algoritma untuk mencipta Ultralight kamus adalah langkah berikut. yang bermula dengan kamus permulaan yang besar dan mengurangkannya secara berperingkat sehingga bilangan token berada di bawah ambang tertentu untuk saiz kamus.
Baca lebih lanjut mengenai AI:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
