Novinová správa Technológia
Júna 05, 2023

LLaMa so 7 miliardami parametrov dosahuje bleskové závery na čipe Apple M2 Max

Stručne

LLaMa model beží rýchlosťou 40 tokenov za sekundu na čipe M2 Max, čo demonštruje 0% využitie CPU a podnecuje predstavivosť nadšencov a používateľov AI.

Modely AI môžu byť prispôsobené individuálnym potrebám a spúšťané lokálne na osobných zariadeniach, pričom poskytujú personalizovanú pomoc a zefektívňujú rutinné úlohy.

Prelomový úspech v oblasti AI bol odhalený ako LLaMa model s úžasnými 7 miliardami parametrov teraz beží pôsobivou rýchlosťou 40 tokenov za sekundu na MacBooku vybavenom špičkovým čipom M2 Max. Tento pozoruhodný výkon bol možný vďaka nedávnej aktualizácii úložiska GIT od Greganov, ktorý úspešne implementoval modelovú inferenciu na Kovový GPU, špecializovaný urýchľovač nachádzajúci sa v najnovších čipoch Apple.

LLaMa so 7 miliardami parametrov dosahuje bleskové závery na čipe Apple M2 Max
kredit: Metaverse Post (mpost.io)
Odporúčaná: Guanaco sa ukazuje ako potenciálny otvorený zdroj ChatGPT Konkurent

Implementácia modelovej inferencie na GPU Metal priniesla mimoriadne výsledky. Pomocou tohto špeciálneho hardvéru, LLaMa model demonštruje ohromujúce 0% využitie CPU, efektívne využíva výpočtový výkon všetkých 38 kovových jadier. Tento úspech nielenže ukazuje schopnosti modelu, ale tiež zdôrazňuje výnimočnú zručnosť a odbornosť Greganova ako pozoruhodného inžiniera.

Dôsledky tohto vývoja sú ďalekosiahle a podnecujú predstavivosť nadšencov AI aj používateľov. S personalizovanými LLaMa modely fungujúce lokálne, rutinné úlohy by mohli bez námahy zvládať jednotlivci, čím sa začína nová éra modularizácia. Koncept sa točí okolo a trénovaný masívny model centrálne, ktoré potom každý používateľ dolaďuje a prispôsobuje svojim osobným údajom, výsledkom čoho je vysoko personalizovaný a efektívny asistent AI.

Vízia mať personalizovaný LLaMa model pomoci jednotlivcom s každodennými záležitosťami má obrovský potenciál. Lokalizáciou modelu na osobné zariadenia môžu používatelia využívať výhody výkonnej AI udržiavanie kontroly nad svojimi údajmi. Táto lokalizácia tiež zaisťuje rýchle časy odozvy, čo umožňuje rýchlu a bezproblémovú interakciu s asistentom AI.

Kombinácia obrovských veľkostí modelov a efektívneho odvodzovania od špecializovaného hardvéru dláždi cestu pre budúcnosť, kde sa AI stane neoddeliteľnou súčasťou života ľudí, poskytuje personalizovanú pomoc a zefektívňuje rutinné úlohy.

Pokroky, ako sú tieto, nás približujú k realizácii sveta, v ktorom možno modely AI prispôsobiť individuálnym potrebám a spustiť lokálne na osobných zariadeniach. Každý používateľ má možnosť spresniť a optimalizovať svoje LLaMa model založený na ich jedinečných údajoch, potenciál efektívnosti a produktivity riadenej AI je neobmedzený.

Úspechy zaznamenané v LLaMa Výkon modelu na čipe Apple M2 Max slúži ako dôkaz rýchly pokrok vo výskume a vývoji AI. S oddanými inžiniermi ako Greganov, ktorí posúvajú hranice toho, čo je možné, je budúcnosť prísľubom personalizovaných, efektívnych a lokálne riadených Modely AI, ktoré zmenia cestu komunikujeme s technológiou.

Prečítajte si viac o AI:

Vylúčenie zodpovednosti

V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.

O autorovi

Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu. 

Ďalšie články
Damir Yalalov
Damir Yalalov

Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu. 

Inštitucionálny apetít rastie smerom k bitcoinovým ETF uprostred volatility

Zverejnenia prostredníctvom podaní 13F odhaľujú pozoruhodných inštitucionálnych investorov, ktorí sa venujú bitcoinovým ETF, čo podčiarkuje rastúcu akceptáciu ...

vedieť viac

Prichádza deň odsúdenia: Osud CZ visí v rovnováhe, pretože americký súd zvažuje žalobu ministerstva spravodlivosti

Changpeng Zhao dnes čaká na americkom súde v Seattli odsúdenie.

vedieť viac
Pripojte sa k našej komunite inovatívnych technológií
Čítaj viac
Čítaj viac
Injective spája svoje sily s AltLayer, aby priniesla bezpečnosť pri prestavbe inEVM
firmy Novinová správa Technológia
Injective spája svoje sily s AltLayer, aby priniesla bezpečnosť pri prestavbe inEVM
Môže 3, 2024
Masa sa spojila so spoločnosťou Teller, aby predstavila fond pôžičiek MASA a umožnila požičiavanie USDC na základni
trhy Novinová správa Technológia
Masa sa spojila so spoločnosťou Teller, aby predstavila fond pôžičiek MASA a umožnila požičiavanie USDC na základni
Môže 3, 2024
Velodrome uvádza na trh beta verziu Superchain v najbližších týždňoch a rozširuje sa o blockchainy OP Stack Layer 2
trhy Novinová správa Technológia
Velodrome uvádza na trh beta verziu Superchain v najbližších týždňoch a rozširuje sa o blockchainy OP Stack Layer 2
Môže 3, 2024
CARV oznamuje partnerstvo so spoločnosťou Aethir s cieľom decentralizovať svoju dátovú vrstvu a distribuovať odmeny
firmy Novinová správa Technológia
CARV oznamuje partnerstvo so spoločnosťou Aethir s cieľom decentralizovať svoju dátovú vrstvu a distribuovať odmeny
Môže 3, 2024
CRYPTOMERIA LABS PTE. LTD.