XLM-V: Kelime Darboğazı Sorununu Ele Almaya Çalışan Yeni Bir Çok Dilli Maskelenmiş Dil Modelleri Yöntemi
Kısaca
Makale aşağıdaki sorunu gündeme getiriyor: dil modelleri parametreler artıyor, derinlik artıyor ama kelime dağarcığı hala aynı boyutta.
Araştırmacılar beklenmedik bir şekilde sözlükten 1 milyon jetonla yeni bir model eğitmeye başlarlar.
Araştırmacılar, jetonlarda bu kadar önemli bir artışla ne tür bir gelişme sağlayabileceklerini görmeye kararlıydı.
tarafından dile getirilen konu göre “XLM-V: Çok Dilli Maskeli Dil Modellerinde Kelime Darboğazının Üstesinden Gelmek” başlıklı makale, dil modellerinin parametreleri ve derinliği arttığında, kelime dağarcığının değişmeden kaldığıdır. Örneğin, mT5 modeli 13B parametreye sahiptir ancak 250'den fazla dili destekleyen 100 kelimelik bir kelime dağarcığına sahiptir. Bu nedenle, her dilin yaklaşık 2,500 benzersiz belirteci vardır ki bu açıkça çok küçük bir sayıdır.
Yazarlar ne gibi önlemler alıyor? Beklenmedik bir şekilde sözlükten 1 milyon jetonla yeni bir model eğitmeye başlarlar. XLM-R daha önce vardı, ancak bu yükseltme ile XLM-V olacak. Yazarlar, jetonlarda bu kadar önemli bir artışla ne tür bir gelişme sağlayabileceklerini görmeye kararlıydılar.
| İlgili makale: Yapay Zeka Modeli Eğitim Maliyetlerinin 100'a Kadar 500 Milyon Dolardan 2030 Milyon Dolara Çıkması Bekleniyor |
Peki ya XLM-V, XLM-R'nin olmadığı kadar yeni?
İyileştirme Çok Dilli Modeller Dil-Kümelenmiş Sözcükler yöntemi ile her bir dil için sözcüksel temsil vektörleri şu şekilde oluşturulur: diller kümesindeki her dil için, her bir öğesi dilde belirli bir sözcük olan ikili bir vektör oluştururlar. Biri, kelimenin dilin sözlüğünde yer aldığını gösterir (eklerde grafik açıklamalı bir resim görebilirsiniz). Ancak, yazarlar her bir sözlüğün negatif logaritmik oluşum olasılığını kullanan bir vektör oluşturarak, referansların nasıl yapıldığını geliştirir. .
- Bundan sonra vektörler gruplandırılır. Ek olarak, sözcüksel olarak ilgisiz diller arasındaki sözcük dağarcığının transferini durdurmak için her belirli kümede bir tümce parçası modeli eğitilir.
- ALP, bir sözlüğün belirli bir dili temsil etme kapasitesini değerlendirir.
- Oluşturmak için algoritmayı kullanma ULM sözlükler sonraki adımdır. Bu, büyük bir başlangıç sözlüğüyle başlar ve belirteç sayısı, sözlük boyutu için belirli bir eşiğin altına düşene kadar kademeli olarak kırpar.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
