LLaMa amb 7 mil milions de paràmetres aconsegueix una inferència ràpida com a llamp al xip Apple M2 Max
En breu
LLaMa El model funciona a 40 fitxes per segon al xip M2 Max, demostrant un 0% d'utilització de la CPU, despertant la imaginació dels entusiastes i usuaris de la IA.
Els models d'IA es poden adaptar a les necessitats individuals i s'executen localment en dispositius personals, proporcionant assistència personalitzada i racionalitzant les tasques rutinàries.
S'ha presentat un assoliment innovador en el camp de la IA LLaMa model amb 7 mil milions de paràmetres sorprenents ara funciona a una velocitat impressionant de 40 fitxes per segon en un MacBook equipat amb el xip M2 Max d'avantguarda. Aquesta proesa notable va ser possible gràcies a una recent actualització del repositori GIT per Greganov, que va implementar amb èxit la inferència del model sobre el GPU metàl·lica, un accelerador especialitzat que es troba als últims xips d'Apple.
La implementació de la inferència de models a la GPU de metall ha donat resultats extraordinaris. Utilitzant aquest maquinari especial, el LLaMa El model demostra una utilització sorprenent de la CPU del 0%, aprofitant eficaçment la potència de processament dels 38 nuclis metàl·lics. Aquest assoliment no només mostra les capacitats del model, sinó que també destaca l'habilitat i l'experiència excepcionals de Greganov com a enginyer notable.
Les implicacions d'aquest desenvolupament són de gran abast, despertant la imaginació tant dels entusiastes de la IA com dels usuaris. Amb personalitzat LLaMa models que s'executen localment, les tasques rutinàries podrien ser gestionades sense esforç per persones, marcant el començament d'una nova era de modularització. El concepte gira al voltant d'a model massiu entrenat de manera centralitzada, que després cada usuari ajusta i personalitza les seves dades personals, donant com a resultat un assistent d'IA altament personalitzat i eficient.
La visió de tenir un personalitzat LLaMa El model d'ajudar les persones amb assumptes quotidians té un potencial immens. En localitzar el model en dispositius personals, els usuaris poden experimentar els avantatges d'una potent IA mantenint el control sobre les seves dades. Aquesta localització també garanteix temps de resposta ràpids, permetent interaccions ràpides i fluides amb l'assistent d'IA.
La combinació de mides massives de models i inferència eficient sobre maquinari especialitzat obre el camí cap a un futur on la IA esdevingui una part integral de la vida de les persones, proporcionant assistència personalitzada i racionalitzant les tasques rutinàries.
Avenços com aquests ens apropen a un món on els models d'IA es poden adaptar a les necessitats individuals i s'executen localment en dispositius personals. Cada usuari té la possibilitat de perfeccionar i optimitzar el seu LLaMa model basat en les seves dades úniques, el potencial d'eficiència i productivitat impulsada per IA és il·limitat.
Els assoliments constatats a la LLaMa El rendiment del model al xip Apple M2 Max serveix com a testimoni progrés ràpid s'estan realitzant en recerca i desenvolupament d'IA. Amb enginyers dedicats com Greganov que superen els límits del que és possible, el futur és prometedor per a personalitzat, eficient i de gestió local. Models d'IA que transformaran el camí interactuem amb la tecnologia.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
