LLaMa s 7 milijardami parametrov dosega bliskovito hitro sklepanje na čipu Apple M2 Max
Na kratko
LLaMa model deluje s hitrostjo 40 žetonov na sekundo na čipu M2 Max, kar dokazuje 0-odstotno izkoriščenost procesorja, kar podžiga domišljijo navdušencev in uporabnikov AI.
Modele umetne inteligence je mogoče prilagoditi individualnim potrebam in izvajati lokalno na osebnih napravah ter zagotavljati prilagojeno pomoč in racionalizirati rutinska opravila.
Prelomen dosežek na področju umetne inteligence je bil predstavljen kot LLaMa model z osupljivimi 7 milijardami parametrov zdaj deluje z impresivno hitrostjo 40 žetonov na sekundo na MacBooku, opremljenem z vrhunskim čipom M2 Max. Ta izjemen podvig je z nedavno posodobitvijo repozitorija GIT omogočil Greganov, ki je uspešno implementiral modelno sklepanje na Kovinski grafični procesor, specializiran pospeševalnik, ki ga najdemo v najnovejših Applovih čipih.
Implementacija modelnega sklepanja na Metal GPE je prinesla izjemne rezultate. Z uporabo te posebne strojne opreme, LLaMa model dokazuje osupljivo 0-odstotno izkoriščenost procesorja, kar učinkovito izkorišča procesorsko moč vseh 38 kovinskih jeder. Ta dosežek ne prikazuje samo zmogljivosti modela, temveč poudarja tudi izjemno spretnost in strokovnost Greganova kot izjemnega inženirja.
Posledice tega razvoja so daljnosežne in burijo domišljijo tako navdušencev kot uporabnikov AI. S personaliziranim LLaMa modeli, ki delujejo lokalno, lahko rutinske naloge brez težav upravljajo posamezniki, s čimer se začne novo obdobje modularizacija. Koncept se vrti okoli a ogromen model usposobljen centralno, ki ga nato vsak uporabnik natančno nastavi in prilagodi svojim osebnim podatkom, rezultat pa je visoko personaliziran in učinkovit pomočnik AI.
Vizija personaliziranega LLaMa model, ki pomaga posameznikom pri vsakdanjih zadevah, ima ogromen potencial. Z lokalizacijo modela na osebnih napravah lahko uporabniki medtem izkusijo prednosti zmogljive umetne inteligence ohranjanje nadzora nad njihovimi podatki. Ta lokalizacija zagotavlja tudi hitre odzivne čase, kar omogoča hitro in brezhibno interakcijo s pomočnikom za umetno inteligenco.
Kombinacija ogromnih velikosti modelov in učinkovitega sklepanja na specializirani strojni opremi utira pot v prihodnost, kjer umetna inteligenca postane sestavni del življenj ljudi, zagotavlja prilagojeno pomoč in racionalizira rutinska opravila.
Takšen napredek nas približuje spoznanju sveta, v katerem je mogoče modele AI prilagoditi individualnim potrebam in izvajati lokalno na osebnih napravah. Vsak uporabnik ima možnost izboljšati in optimizirati svoje LLaMa modela, ki temelji na njihovih edinstvenih podatkih, je potencial učinkovitosti in produktivnosti, ki ga poganja AI, neomejen.
Dosežki, ki so bili priča v LLaMa Zmogljivost modela na čipu Apple M2 Max služi kot dokaz za hiter napredek nastaja v raziskavah in razvoju AI. S predanimi inženirji, kot je Greganov, ki premikajo meje možnega, se prihodnost obeta za prilagojeno, učinkovito in lokalno vodeno Modeli AI, ki bodo spremenili pot sodelujemo s tehnologijo.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
