LLaMa med 7 miljarder parametrar uppnår blixtsnabb slutledning på Apple M2 Max Chip
I korthet
LLaMa Modellen körs med 40 tokens per sekund på M2 Max-chipet, vilket visar 0% CPU-användning, tänder fantasin hos AI-entusiaster och användare.
AI-modeller kan skräddarsys efter individuella behov och köras lokalt på personliga enheter, vilket ger personlig assistans och effektiviserar rutinuppgifter.
En banbrytande prestation inom AI-området har avslöjats som LLaMa modell med häpnadsväckande 7 miljarder parametrar körs nu med en imponerande hastighet på 40 tokens per sekund på en MacBook utrustad med det banbrytande M2 Max-chippet. Denna anmärkningsvärda bedrift möjliggjordes genom en nyligen genomförd uppdatering av GIT-förvaret av Greganov, som framgångsrikt implementerade modellinferens på Metall GPU, en specialiserad accelerator som finns i Apples senaste chips.
Implementeringen av modellinferens på Metal GPU har gett extraordinära resultat. Genom att använda denna speciella hårdvara, LLaMa Modellen visar ett häpnadsväckande 0% CPU-utnyttjande, som effektivt utnyttjar processorkraften hos alla 38 metallkärnor. Denna prestation visar inte bara upp modellens kapacitet utan lyfter också fram Greganovs exceptionella skicklighet och expertis som en anmärkningsvärd ingenjör.
Implikationerna av denna utveckling är långtgående och väcker fantasin hos både AI-entusiaster och användare. Med personliga LLaMa modeller som körs lokalt, kan rutinuppgifter hanteras enkelt av individer, vilket inleder en ny era av modularisering. Konceptet kretsar kring en massiv modell utbildad centralt, vilket sedan finjusteras och anpassas av varje användare på deras personliga data, vilket resulterar i en mycket personlig och effektiv AI-assistent.
Visionen om att ha en personlig LLaMa modell som hjälper individer med vardagliga angelägenheter har en enorm potential. Genom att lokalisera modellen på personliga enheter kan användare uppleva fördelarna med kraftfull AI samtidigt behålla kontrollen över sina uppgifter. Denna lokalisering säkerställer också snabba svarstider, vilket möjliggör snabba och sömlösa interaktioner med AI-assistenten.
Kombinationen av enorma modellstorlekar och effektiva slutsatser om specialiserad hårdvara banar väg för en framtid där AI blir en integrerad del av människors liv, ger personlig assistans och effektiviserar rutinuppgifter.
Framsteg som dessa för oss närmare att förverkliga en värld där AI-modeller kan skräddarsys för individuella behov och köras lokalt på personliga enheter. Med varje användare har förmågan att förfina och optimera sina LLaMa modell baserad på deras unika data, är potentialen för AI-driven effektivitet och produktivitet obegränsad.
De framgångar som bevittnas i LLaMa modellens prestanda på Apple M2 Max-chippet fungerar som ett bevis på snabba framsteg som görs inom AI forskning och utveckling. Med engagerade ingenjörer som Greganov tänjer på gränserna för vad som är möjligt, framtiden lovar personliga, effektiva och lokalt styrda AI-modeller som kommer att förändra vägen vi interagerar med teknik.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
