Nieuwsverslag Technologie
05 June 2023

LLaMa met 7 miljard parameters zorgt voor bliksemsnelle inferentie op de Apple M2 Max-chip

In het kort

LLaMa Het model draait op 40 tokens per seconde op de M2 ​​Max-chip, wat een CPU-gebruik van 0% aantoont, wat de verbeeldingskracht van AI-enthousiastelingen en gebruikers aanwakkert.

AI-modellen kunnen worden aangepast aan individuele behoeften en lokaal worden uitgevoerd op persoonlijke apparaten, waardoor persoonlijke assistentie wordt geboden en routinetaken worden gestroomlijnd.

Een baanbrekende prestatie op het gebied van AI is onthuld als de LLaMa model met maar liefst 7 miljard parameters draait nu met een indrukwekkende snelheid van 40 tokens per seconde op een MacBook die is uitgerust met de allernieuwste M2 Max-chip. Deze opmerkelijke prestatie is mogelijk gemaakt door een recente update van de GIT-repository door Gregorov, die met succes modelinferentie implementeerde op de Metalen GPU, een gespecialiseerde versneller die te vinden is in de nieuwste chips van Apple.

LLaMa met 7 miljard parameters zorgt voor bliksemsnelle inferentie op de Apple M2 Max-chip
credit: Metaverse Post (mpost.io)
Aanbevolen: Guanaco komt naar voren als een potentiële open source ChatGPT Concurrent

De implementatie van modelinferentie op de Metal GPU heeft buitengewone resultaten opgeleverd. Door gebruik te maken van deze speciale hardware, kan de LLaMa Het model demonstreert een verbazingwekkend CPU-gebruik van 0%, waardoor de verwerkingskracht van alle 38 metalen kernen effectief wordt benut. Deze prestatie toont niet alleen de mogelijkheden van het model, maar benadrukt ook de uitzonderlijke vaardigheden en expertise van Greganov als opmerkelijke ingenieur.

De implicaties van deze ontwikkeling zijn verstrekkend en prikkelen de verbeelding van zowel AI-enthousiastelingen als gebruikers. Met gepersonaliseerd LLaMa modellen die lokaal draaien, routinetaken kunnen moeiteloos door individuen worden beheerd, wat een nieuw tijdperk inluidt modularisatie. Het concept draait om een enorm model getraind centraal, die vervolgens door elke gebruiker wordt verfijnd en aangepast op basis van zijn persoonlijke gegevens, wat resulteert in een zeer persoonlijke en efficiënte AI-assistent.

De visie van een gepersonaliseerde LLaMa Het model dat individuen helpt met alledaagse zaken heeft een enorm potentieel. Door het model op persoonlijke apparaten te lokaliseren, kunnen gebruikers tegelijkertijd de voordelen van krachtige AI ervaren controle houden over hun gegevens. Deze lokalisatie zorgt ook voor snelle reactietijden, waardoor snelle en naadloze interacties met de AI-assistent mogelijk zijn.

De combinatie van enorme modelgroottes en efficiënte gevolgtrekkingen op gespecialiseerde hardware maakt de weg vrij voor een toekomst waarin AI een integraal onderdeel wordt van het leven van mensen, persoonlijke hulp biedt en routinetaken stroomlijnt.

Dergelijke ontwikkelingen brengen ons dichter bij het realiseren van een wereld waarin AI-modellen kunnen worden afgestemd op individuele behoeften en lokaal op persoonlijke apparaten kunnen worden uitgevoerd. Waarbij elke gebruiker de mogelijkheid heeft om zijn/haar profiel te verfijnen en te optimaliseren LLaMa model gebaseerd op hun unieke gegevens, is het potentieel voor AI-gestuurde efficiëntie en productiviteit grenzeloos.

De prestaties die in de LLaMa De prestaties van het model op de Apple M2 Max-chip zijn een bewijs van de snelle vooruitgang wordt gemaakt in onderzoek en ontwikkeling op het gebied van AI. Met toegewijde ingenieurs zoals Greganov die de grenzen verleggen van wat mogelijk is, belooft de toekomst voor gepersonaliseerde, efficiënte en lokaal beheerde AI-modellen die de weg zullen veranderen we hebben interactie met technologie.

Lees meer over AI:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
StakeStone gaat 1M STONE-tokens distribueren aan BNB Eco Wave-deelnemers als onderdeel van de BNB-keten Airdrop Alliantie-programma
Lifestyle Markten Nieuwsverslag
StakeStone gaat 1M STONE-tokens distribueren aan BNB Eco Wave-deelnemers als onderdeel van de BNB-keten Airdrop Alliantie-programma
17 mei 2024
De beste deals van deze week, grote investeringen in AI, IT, Web3, en Crypto (13-17.05)
Verteren Business Onderwijs Markten Software Technologie
De beste deals van deze week, grote investeringen in AI, IT, Web3, en Crypto (13-17.05)
17 mei 2024
Synthetix gaat in juni over op Synthetix V3 en introduceert een nieuwe basis en architectuur voor zijn protocol
Nieuwsverslag Technologie
Synthetix gaat in juni over op Synthetix V3 en introduceert een nieuwe basis en architectuur voor zijn protocol
17 mei 2024
KuCoin's hoofd Business Development licht strategieën toe voor projectspotlighting en gemeenschapsbetrokkenheid
Interview Business Markten Software Technologie
KuCoin's hoofd Business Development licht strategieën toe voor projectspotlighting en gemeenschapsbetrokkenheid
17 mei 2024