Фацебоок развија нову методу за удвостручавање перформанси АИ трансформатора
Укратко
Фацебоок је развио нови метод за удвостручавање перформанси АИ трансформатора на основу архитектуре трансформатора.
Нова метода проналази најсличније закрпе у празнинама између обраде различитих блокова и комбинује их како би смањила сложеност рачунара.
Фејсбук је развио а нова метода за удвостручење перформанси АИ трансформатора. Метод је заснован на архитектури трансформатора и посебно је дизајниран за дуге текстове као што су књиге, чланци и блогови. Циљ новог АИ трансформатора је да побољша перформансе модели засновани на трансформаторима на дугом тексту тако што их чини ефикаснијим и ефикаснијим у руковању дугим секвенцама. Резултати АИ трансформатора су веома обећавајући, а овај нови метод има шансу да помогне у побољшању перформанси модела заснованих на трансформаторима на различитим задацима.
Очекује се да ће овај нови метод имати значајан утицај на задатке обраде природног језика, као што су превођење језика, сумирање и системи за одговоре на питања. Такође се очекује да ће довести до развоја софистициранијих АИ модела који могу да обрађују дуже и сложеније текстове.
Да би обрадили слику, савремени трансформатори је исеку на закрпе (обично квадрате: погледајте гиф испод) и затим раде на репрезентацијама ових честица, од којих је свака представљена „жетоном“. Трансформатори, као што знамо, раде спорије што је више ових симбола (ово се односи и на текстове и слике), а најчешћи трансформатор има квадратни однос. То јест, што се више токена додаје, то је обрада спорија. Да би се позабавили овим проблемом, истраживачи су предложили различите технике за смањење броја токена потребних за обраду слике, као што је хијерархијско и адаптивно удруживање. Ове методе имају за циљ одржавање квалитета излаза уз минимизирање трошкова рачунања.
Нови метод проналази најсличније закрпе у празнинама између обраде различитих блокова и комбинује их да би се смањила сложеност рачунара. Удео спојених токена је хиперпараметар; што је већа, то је нижи квалитет али и веће убрзање. Експерименти показују да је могуће спојити приближно 40% токена са губитком квалитета од 0.1-0.4% и добити двоструко убрзање (на тај начин заузимајући мање меморије). Овај нови метод је обећавајуће решење за смањење рачунарске сложености обраде слике и могао би да омогући бржу и ефикаснију обраду без угрожавања квалитета финалног излаза.
Такви инжењерски приступи засновани на генијалности и разумевању како нешто функционише изгледају веома привлачно. Такође, Мета програмери обећавају да ће донети више у СтаблеДиффусион како би и тамо убрзали ствари. Сјајно је да, пошто су трансформатори свуда, такви трикови се могу брзо применити у широком спектру модела. Ово показује потенцијал да инжењерска решења имају широк утицај на различите индустрије. Биће занимљиво видети како се ова напредовања модели трансформатора наставиће да се развија и побољшава током времена.
- Мета АИ и Паперсвитхцоде објавили су први 120Б модел Галацтица обучен на научним текстовима, омогућавајући прецизнија и бржа предвиђања. Циљ Галактике је да помогне истраживачима да одвоје важно од небитног.
Прочитајте још повезаних вести:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
