FLM-101B: 101B miqyosidagi o'ta tejamkor til modeli yetakchi sun'iy intellekt modellari bilan raqobatlashadi
Qisqacha
Xitoy LLM, LM-101B, 100 ming dollarlik byudjetda o'qitilishi mumkin, bu kabi taniqli modellar bilan taqqoslanadigan ishlashga erishadi. GPT-3 va GLM-130B.
Xitoylik tadqiqotchilar yangi LLM ni taqdim etishdi FLM-101B, ajoyib 101 milliard parametr bilan faxrlanadigan faqat dekoderga ega LLM. Ushbu ishlanma tadqiqot va amaliy qo'llanmalar uchun tejamkor alternativani taqdim etadi.
FLM-101B-ni ajratib turadigan narsa uning nisbatan kam byudjetga erishilgan ajoyib ishlashidir. Maʼlumki, LLMlarni noldan oʻqitish astronomik sarmoyalarni talab qilishi mumkin, FLM-101B yaratuvchilari atigi 101 ming dollarlik byudjetdan foydalanib, 100 milliard parametrli modelni oʻqitish mumkinligini koʻrsatdi.
Eksperimental natijalar ta'sirchan emas. FLM-101B o'rnatilgan va resurs talab qiladigan bilan taqqoslanadigan ishlash darajalarini namoyish etdi kabi modellar GPT-3 va GLM-130B. Ushbu taqqoslash ushbu tejamkor modelning ulkan salohiyatini ta'kidlaydi, ayniqsa o'quv ma'lumotlarida mavjud bo'lmagan murakkab kontekstli IQ mezonlari bo'yicha.
FLM-101B yaratuvchilari sun'iy intellekt bo'yicha tadqiqotlar va ishlanmalarni rivojlantirishga sodiqligini ta'kidlaydigan harakatda ushbu modelni ochiq manbaga aylantirdilar. Dunyo bo'ylab tadqiqotchilar va ishlab chiquvchilar endi xitoy va ingliz tillarini qamrab olgan turli xil ilovalar uchun ushbu 101B miqyosli LLMga kirishlari va undan foydalanishlari mumkin.
FLM-101B modeli noyob o'qitish usulini qo'llaydi. U o'qitishning dastlabki bosqichlarida kichikroq 16 milliard parametrli modeldan bilimlarni tezda to'playdi va bosqichma-bosqich 101 milliard parametrgacha kengaytiradi. Ushbu bosqichma-bosqich yondashuv ta'lim xarajatlarini sezilarli darajada kamaytiradi va uni kengroq loyihalar uchun moliyaviy jihatdan maqsadga muvofiq qiladi.
FLM-101B ning o'ziga xos xususiyatlaridan biri bu xulosa chiqarish jarayonida oyna hajmini samarali kengaytirishni qo'llab-quvvatlashdir. Bunga modelga kengroq kontekstda ishlash imkonini beruvchi, uning moslashuvchanligi va qulayligini oshirish imkonini beruvchi xPos aylanma pozitsiyasini joylashtirish orqali erishiladi.
FLM-101B 24 kundan kamroq vaqt ichida 800 ta DGX-A26 GPU serverlari klasterida o'qitildi. Ushbu ta'sirchan muvaffaqiyat modelning kengaytirilishi va resurslardan samarali foydalanishini ta'kidlaydi. Megatron-LM’dan moslashtirilgan modelning o‘quv kodlari bazasi tez orada ochiq manba sifatida sotuvga chiqariladi va sun’iy intellekt hamjamiyati uchun qimmatli tushunchalar beradi.
FLM-101B yaratuvchilari potentsial cheklovlarni, jumladan, ma'lumotlar to'plamining ochiq tabiati tufayli modelning o'quv korpusidagi xavfli misollarga duchor bo'lishini tan oladilar. Ushbu ogohlantirish AIdan mas'uliyatli foydalanish muhimligini eslatib turadi va kontent moderatsiyasi.
FLM-101B ajoyib natijalarga erishgan bo'lsa-da, yaratuvchilar yaxshilash uchun joylarni tan olishadi. Modelning xulosa chiqarish jarayoni kuchli bo'lsa-da, hali to'liq optimallashtirilmagan, bu esa resurslardan ko'proq foydalanishga va tezlikni kamaytirishga olib keladi. Biroq, ushbu cheklovni hisobga olgan holda xulosa chiqarishda Flash Diqqatni joriy qilish rejalari amalga oshirilmoqda.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
