LLaMa са 7 милијарди параметара постиже муњевито закључивање на Аппле М2 Мак чипу
Укратко
LLaMa модел ради са 40 токена у секунди на М2 Мак чипу, демонстрирајући 0% искоришћености ЦПУ-а, разбуктавајући машту ентузијаста и корисника вештачке интелигенције.
АИ модели се могу прилагодити индивидуалним потребама и радити локално на личним уређајима, пружајући персонализовану помоћ и поједностављујући рутинске задатке.
Револуционарно достигнуће у области вештачке интелигенције је представљено као LLaMa модел са запањујућих 7 милијарди параметара сада ради импресивном брзином од 40 токена у секунди на МацБоок-у опремљеном најсавременијим М2 Мак чипом. Овај изузетан подвиг је омогућен захваљујући недавном ажурирању ГИТ репозиторија од стране Греганов, који је успешно имплементирао закључивање модела на Метални ГПУ, специјализовани акцелератор који се налази у најновијим Апплеовим чиповима.
Имплементација закључивања модела на Метал ГПУ-у је дала изванредне резултате. Користећи овај специјални хардвер, LLaMa модел показује запањујућу искоришћеност ЦПУ-а од 0%, ефикасно искориштавајући процесорску снагу свих 38 металних језгара. Ово достигнуће не само да показује могућности модела, већ и наглашава изузетну вештину и стручност Греганова као изузетног инжењера.
Импликације овог развоја су далекосежне, разбуктавајући машту ентузијаста АИ и корисника подједнако. Са персонализованим LLaMa модели који раде локално, рутинским задацима појединци могу без напора да управљају, уводећи нову еру модуларизација. Концепт се врти око а масивни модел обучен централно, које затим сваки корисник фино подешава и прилагођава својим личним подацима, што резултира високо персонализованим и ефикасним АИ асистентом.
Визија персонализованог LLaMa модел пружања помоћи појединцима у свакодневним стварима има огроман потенцијал. Локализацијом модела на личним уређајима, корисници могу да искусе предности моћне вештачке интелигенције одржавање контроле над њиховим подацима. Ова локализација такође обезбеђује брзо време одзива, омогућавајући брзу и беспрекорну интеракцију са АИ асистентом.
Комбинација огромних величина модела и ефикасног закључивања на специјализованом хардверу утире пут за будућност у којој АИ постаје саставни део живота људи, пружајући персонализовану помоћ и поједностављујући рутинске задатке.
Оваква достигнућа нас приближавају остварењу света у коме АИ модели могу бити прилагођени индивидуалним потребама и покренути локално на личним уређајима. Са сваким корисником који има могућност да прецизира и оптимизује своје LLaMa модел заснован на њиховим јединственим подацима, потенцијал за ефикасност и продуктивност вођену вештачком интелигенцијом је неограничен.
Достигнућа која су сведочила у LLaMa перформансе модела на Аппле М2 Мак чипу служе као сведочанство о томе брз напредак се прави у истраживању и развоју вештачке интелигенције. Са посвећеним инжењерима попут Греганова који померају границе могућег, будућност обећава персонализоване, ефикасне и локално вођене АИ модели који ће трансформисати пут ми комуницирамо са технологијом.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
