LLaMa із 7 мільярдами параметрів забезпечує блискавичне визначення на чіпі Apple M2 Max
Коротко
LLaMa модель працює зі швидкістю 40 токенів на секунду на чіпі M2 Max, демонструючи 0% використання ЦП, запалюючи уяву ентузіастів і користувачів ШІ.
Моделі штучного інтелекту можна адаптувати до індивідуальних потреб і запускати локально на персональних пристроях, надаючи персоналізовану допомогу та оптимізуючи рутинні завдання.
Було оприлюднено новаторське досягнення в галузі ШІ LLaMa модель із вражаючими 7 мільярдами параметрів тепер працює з вражаючою швидкістю 40 жетонів за секунду на MacBook, оснащеному передовим чіпом M2 Max. Це чудове досягнення стало можливим завдяки нещодавньому оновленню репозиторію GIT Греганов, який успішно впровадив модельний висновок на Металевий графічний процесор, спеціалізований прискорювач, який міститься в останніх чіпах Apple.
Реалізація модельного висновку на графічному процесорі Metal дала надзвичайні результати. Використовуючи це спеціальне обладнання, LLaMa модель демонструє вражаюче 0% використання ЦП, ефективно використовуючи обчислювальну потужність усіх 38 металевих ядер. Це досягнення не тільки демонструє можливості моделі, але й підкреслює виняткову майстерність і досвід Греганова як видатного інженера.
Наслідки цієї розробки є далекосяжними, вони розпалюють уяву як ентузіастів ШІ, так і користувачів. З персоналізованим LLaMa моделі, що працюють локально, рутинні завдання можуть легко виконуватися окремими особами, відкриваючи нову еру модульність. Концепція обертається навколо a масивна модель натренована централізовано, який потім точно налаштовується та налаштовується кожним користувачем на основі його особистих даних, у результаті чого створюється персоналізований та ефективний помічник ШІ.
Бачення персоналізації LLaMa Модель допомоги людям у повсякденних справах має величезний потенціал. Локалізувавши модель на особистих пристроях, користувачі можуть відчути переваги потужного ШІ зберігаючи контроль над своїми даними. Ця локалізація також забезпечує швидкий час відгуку, забезпечуючи швидку та безперебійну взаємодію з помічником ШІ.
Поєднання великих розмірів моделі та ефективного висновку на спеціалізованому апаратному забезпеченні прокладає шлях до майбутнього, де штучний інтелект стане невід’ємною частиною життя людей, надаючи персоналізовану допомогу та оптимізуючи рутинні завдання.
Подібні досягнення наближають нас до створення світу, де моделі ШІ можна адаптувати до індивідуальних потреб і запускати локально на персональних пристроях. Кожен користувач має можливість удосконалювати та оптимізувати свої LLaMa моделі, заснованої на їхніх унікальних даних, потенціал ефективності та продуктивності, керованих ШІ, безмежний.
Досягнення в LLaMa продуктивність моделі на чіпі Apple M2 Max є свідченням того швидкий прогрес створюються в дослідженнях і розробках ШІ. З такими відданими інженерами, як Греганов, які розширюють межі можливого, майбутнє обіцяє персоналізоване, ефективне та локальне керування Моделі AI, які змінять шлях ми взаємодіємо з технологією.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
