LLaMa na may 7 Bilyong Parameter ay Nakakamit ng Lightning-Fast Inference sa Apple M2 Max Chip
Sa madaling sabi
LLaMa tumatakbo ang modelo sa 40 token bawat segundo sa M2 Max chip, na nagpapakita ng 0% na paggamit ng CPU, na nagpapasiklab sa imahinasyon ng mga mahilig sa AI at user.
Ang mga modelo ng AI ay maaaring iayon sa mga indibidwal na pangangailangan at gumana nang lokal sa mga personal na device, na nagbibigay ng personalized na tulong at pag-streamline ng mga nakagawiang gawain.
Isang groundbreaking na tagumpay sa larangan ng AI ang inihayag bilang ang LLaMa modelo na may kahanga-hangang 7 bilyong mga parameter tumatakbo na ngayon sa kahanga-hangang bilis na 40 token bawat segundo sa isang MacBook na nilagyan ng cutting-edge M2 Max chip. Ang kahanga-hangang gawa na ito ay naging posible sa pamamagitan ng isang kamakailang pag-update sa GIT repository ni Greganov, na matagumpay na nagpatupad ng modelong hinuha sa Metal GPU, isang espesyal na accelerator na matatagpuan sa mga pinakabagong chip ng Apple.
Ang pagpapatupad ng inference ng modelo sa Metal GPU ay nagbunga ng mga hindi pangkaraniwang resulta. Gamit ang espesyal na hardware na ito, ang LLaMa modelo ay nagpapakita ng kamangha-manghang 0% na paggamit ng CPU, na epektibong ginagamit ang kapangyarihan sa pagproseso ng lahat ng 38 Metal core. Ang tagumpay na ito ay hindi lamang nagpapakita ng mga kakayahan ng modelo ngunit nagtatampok din ng pambihirang kasanayan at kadalubhasaan ni Greganov bilang isang kahanga-hangang inhinyero.
Ang mga implikasyon ng pag-unlad na ito ay napakalawak, na nag-aapoy sa imahinasyon ng mga mahilig sa AI at mga user. Na may personalized LLaMa mga modelong tumatakbo nang lokal, ang mga nakagawiang gawain ay maaaring mapangasiwaan nang walang kahirap-hirap ng mga indibidwal, na magsisimula sa isang bagong panahon ng modularisasyon. Ang konsepto ay umiikot sa a napakalaking modelo na sinanay sa gitna, na pagkatapos ay pino-pino at na-customize ng bawat user sa kanilang personal na data, na nagreresulta sa isang napaka-personalize at mahusay na AI assistant.
Ang pananaw ng pagkakaroon ng personalized LLaMa Ang modelong tumutulong sa mga indibidwal sa pang-araw-araw na mga bagay ay may malaking potensyal. Sa pamamagitan ng pag-localize ng modelo sa mga personal na device, mararanasan ng mga user ang mga benepisyo ng malakas na AI habang pagpapanatili ng kontrol sa kanilang data. Tinitiyak din ng localization na ito ang mabilis na mga oras ng pagtugon, na nagbibigay-daan sa mabilis at tuluy-tuloy na pakikipag-ugnayan sa AI assistant.
Ang kumbinasyon ng napakalaking laki ng modelo at mahusay na inference sa espesyal na hardware ay nagbibigay daan para sa hinaharap kung saan ang AI ay nagiging mahalagang bahagi ng buhay ng mga tao, na nagbibigay ng personalized na tulong at nag-streamline ng mga nakagawiang gawain.
Ang mga pag-unlad na tulad nito ay naglalapit sa atin sa pagsasakatuparan ng isang mundo kung saan ang mga modelo ng AI ay maaaring maiangkop sa mga indibidwal na pangangailangan at gumana nang lokal sa mga personal na device. Sa bawat user na may kakayahang pinuhin at i-optimize ang kanilang LLaMa modelo batay sa kanilang natatanging data, ang potensyal para sa kahusayan at produktibidad na hinimok ng AI ay walang limitasyon.
Ang mga tagumpay na nasaksihan sa LLaMa ang pagganap ng modelo sa Apple M2 Max chip ay nagsisilbing testamento sa mabilis na pag-unlad ginagawa sa pananaliksik at pagpapaunlad ng AI. Sa mga dedikadong inhinyero tulad ni Greganov na nagtutulak sa mga hangganan ng kung ano ang posible, ang hinaharap ay nangangako para sa personalized, mahusay, at lokal na pinapatakbo. Mga modelo ng AI na magbabago ng paraan nakikipag-ugnayan tayo sa teknolohiya.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
