XLM-V: Metode Baru Model Bahasa Bertopeng Multibahasa yang Mencoba Mengatasi Masalah Kemacetan Kosakata
Singkatnya
Artikel tersebut mengangkat permasalahan sebagai berikut: model bahasa peningkatan parameter, bertambah mendalam, tetapi kosakatanya masih sama besarnya.
Peneliti mulai melatih model baru dengan 1 juta token dari kosakata dengan cara yang tidak terduga.
Para peneliti bertekad untuk melihat peningkatan seperti apa yang dapat mereka lakukan dengan peningkatan token yang begitu signifikan.
Isu yang diangkat oleh artikel berjudul “XLM-V: Mengatasi Kemacetan Kosakata dalam Model Bahasa Bertopeng Multibahasa” adalah bahwa ketika parameter dan kedalaman model bahasa meningkat, ukuran kosa kata mereka tetap tidak berubah. Misalnya, model mT5 memiliki parameter 13B tetapi kosakata 250K kata yang mendukung lebih dari 100 bahasa. Jadi, setiap bahasa memiliki sekitar 2,500 token unik, yang jelas merupakan jumlah yang sangat kecil.
Tindakan apa yang dilakukan penulis? Mereka mulai melatih model baru dengan 1 juta token dari kosa kata dengan cara yang tidak terduga. XLM-R sebelumnya sudah ada, namun dengan upgrade ini menjadi XLM-V. Para penulis bertekad untuk melihat peningkatan seperti apa yang dapat mereka lakukan dengan peningkatan token yang begitu signifikan.
| Artikel terkait: Biaya Pelatihan Model AI Diperkirakan Meningkat dari $100 Juta menjadi $500 Juta pada tahun 2030 |
Bagaimana dengan XLM-V yang baru yang tidak dimiliki XLM-R?
Peningkatan Model Multibahasa dengan metode Language-Clustered Vocabularies digunakan untuk membangun vektor representasi leksikal untuk setiap bahasa sebagai berikut: untuk setiap bahasa dalam himpunan bahasa, mereka membentuk vektor biner, yang setiap elemennya adalah kata tertentu dalam bahasa tersebut. Satu menunjukkan bahwa kata tersebut termasuk dalam kamus bahasa (Anda dapat melihat gambar dengan deskripsi grafik dalam lampiran.) Namun, dengan membuat vektor menggunakan probabilitas logaritmik negatif dari setiap leksem, penulis meningkatkan bagaimana referensi dibuat .
- Vektor dikelompokkan setelah itu. Selain itu, model kalimat dilatih pada setiap kluster tertentu untuk menghentikan transfer kosa kata antara bahasa yang tidak terkait secara leksikal.
- ALP menilai kapasitas kamus untuk mewakili bahasa tertentu.
- Memanfaatkan algoritma untuk membuat ULM kamus adalah langkah berikut. yang dimulai dengan kamus awal yang besar dan secara bertahap memangkasnya hingga jumlah token berada di bawah ambang tertentu untuk ukuran kamus.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
