ФЛМ-101Б: Супер-исплатив језички модел у скали 101Б такмичи се са водећим АИ моделима
Укратко
Кинески ЛЛМ, ЛМ-101Б, може се обучити са буџетом од 100 долара, постижући перформансе упоредиве са добро познатим моделима као што су GPT-3 и ГЛМ-130Б.
Кинески истраживачи су представили нови ЛЛМ, ФЛМ-101Б, ЛЛМ само за декодер који се може похвалити изузетним 101 милијардом параметара. Овај развој пружа исплативу алтернативу за истраживање и практичну примену.
Оно по чему се ФЛМ-101Б истиче су његове изузетне перформансе постигнуте уз релативно скроман буџет. Иако је добро познато да обука ЛЛМ-а од нуле може захтевати астрономска улагања, креатори ФЛМ-101Б су показали да је могуће тренирати модел са 101 милијардом параметара користећи само 100 долара буџета.
Експериментални резултати нису ништа друго до импресивни. ФЛМ-101Б је показао нивое перформанси који су упоредиви са утврђеним и захтевају велике ресурсе модели попут GPT-3 и ГЛМ-130Б. Ово поређење наглашава огроман потенцијал овог економичног модела, посебно на показатељима ИК-а са сложеним контекстима који нису присутни у подацима о обуци.
У потезу који наглашава њихову посвећеност унапређењу истраживања и развоја вештачке интелигенције, креатори ФЛМ-101Б су овај модел учинили отвореним кодом. Истраживачи и програмери широм света сада могу да приступе и искористе овај ЛЛМ на скали 101Б за различите апликације, које обухватају кинески и енглески језик.
Модел ФЛМ-101Б користи јединствен приступ тренингу. Брзо акумулира знање из мањег модела са 16 милијарди параметара у почетним фазама обуке и прогресивно скалира до 101 милијарде параметара. Овај инкрементални приступ значајно смањује трошкове обуке, чинећи га финансијски изводљивим за шири спектар пројеката.
Једна изузетна карактеристика ФЛМ-101Б је његова подршка за ефикасно проширење величине прозора током закључивања. Ово се постиже употребом кПос уградње ротирајуће позиције, омогућавајући моделу да рукује ширим контекстом, побољшавајући његову прилагодљивост и употребљивост.
ФЛМ-101Б је обучен на кластеру од 24 ДГКС-А800 ГПУ сервера за мање од 26 дана. Овај импресиван подвиг наглашава скалабилност модела и ефикасно коришћење ресурса. База кодова за обуку модела, прилагођена од Мегатрон-ЛМ-а, ускоро ће бити доступна као опен-соурце, пружајући драгоцене увиде за АИ заједницу.
Креатори ФЛМ-101Б признају потенцијална ограничења, укључујући изложеност модела небезбедним примерима у корпусу обуке због отворене природе скупа података. Ово упозорење служи као подсетник на важност одговорне употребе вештачке интелигенције и модерирање садржаја.
Док је ФЛМ-101Б постигао запажене резултате, креатори признају области за побољшање. Процес закључивања модела, иако моћан, још увек није у потпуности оптимизован, што доводи до веће употребе ресурса и смањене брзине. Међутим, у току су планови за увођење Фласх Аттентион-а у закључивање, решавајући ово ограничење.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
