Звіт про новини Технологія
05 Червня, 2023.

LLaMa із 7 мільярдами параметрів забезпечує блискавичне визначення на чіпі Apple M2 Max

Коротко

LLaMa модель працює зі швидкістю 40 токенів на секунду на чіпі M2 Max, демонструючи 0% використання ЦП, запалюючи уяву ентузіастів і користувачів ШІ.

Моделі штучного інтелекту можна адаптувати до індивідуальних потреб і запускати локально на персональних пристроях, надаючи персоналізовану допомогу та оптимізуючи рутинні завдання.

Було оприлюднено новаторське досягнення в галузі ШІ LLaMa модель із вражаючими 7 мільярдами параметрів тепер працює з вражаючою швидкістю 40 жетонів за секунду на MacBook, оснащеному передовим чіпом M2 Max. Це чудове досягнення стало можливим завдяки нещодавньому оновленню репозиторію GIT Греганов, який успішно впровадив модельний висновок на Металевий графічний процесор, спеціалізований прискорювач, який міститься в останніх чіпах Apple.

LLaMa із 7 мільярдами параметрів забезпечує блискавичне визначення на чіпі Apple M2 Max
Кредит: Metaverse Post (mpost.io)
Рекомендовані: Guanaco з’являється як потенційний відкритий вихідний код ChatGPT Конкурент

Реалізація модельного висновку на графічному процесорі Metal дала надзвичайні результати. Використовуючи це спеціальне обладнання, LLaMa модель демонструє вражаюче 0% використання ЦП, ефективно використовуючи обчислювальну потужність усіх 38 металевих ядер. Це досягнення не тільки демонструє можливості моделі, але й підкреслює виняткову майстерність і досвід Греганова як видатного інженера.

Наслідки цієї розробки є далекосяжними, вони розпалюють уяву як ентузіастів ШІ, так і користувачів. З персоналізованим LLaMa моделі, що працюють локально, рутинні завдання можуть легко виконуватися окремими особами, відкриваючи нову еру модульність. Концепція обертається навколо a масивна модель натренована централізовано, який потім точно налаштовується та налаштовується кожним користувачем на основі його особистих даних, у результаті чого створюється персоналізований та ефективний помічник ШІ.

Бачення персоналізації LLaMa Модель допомоги людям у повсякденних справах має величезний потенціал. Локалізувавши модель на особистих пристроях, користувачі можуть відчути переваги потужного ШІ зберігаючи контроль над своїми даними. Ця локалізація також забезпечує швидкий час відгуку, забезпечуючи швидку та безперебійну взаємодію з помічником ШІ.

Поєднання великих розмірів моделі та ефективного висновку на спеціалізованому апаратному забезпеченні прокладає шлях до майбутнього, де штучний інтелект стане невід’ємною частиною життя людей, надаючи персоналізовану допомогу та оптимізуючи рутинні завдання.

Подібні досягнення наближають нас до створення світу, де моделі ШІ можна адаптувати до індивідуальних потреб і запускати локально на персональних пристроях. Кожен користувач має можливість удосконалювати та оптимізувати свої LLaMa моделі, заснованої на їхніх унікальних даних, потенціал ефективності та продуктивності, керованих ШІ, безмежний.

Досягнення в LLaMa продуктивність моделі на чіпі Apple M2 Max є свідченням того швидкий прогрес створюються в дослідженнях і розробках ШІ. З такими відданими інженерами, як Греганов, які розширюють межі можливого, майбутнє обіцяє персоналізоване, ефективне та локальне керування Моделі AI, які змінять шлях ми взаємодіємо з технологією.

Докладніше про ШІ:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Crypto Exchange Jupiter представить Jupiter Swap V3, Dynamic Slippage та інші ключові оновлення в найближчі тижні
ринки Звіт про новини Технологія
Crypto Exchange Jupiter представить Jupiter Swap V3, Dynamic Slippage та інші ключові оновлення в найближчі тижні
14 Червня, 2024.
Polygon дебютує як центр управління, що забезпечує єдиний прозорий інтерфейс для управління спільнотою
Звіт про новини Технологія
Polygon дебютує як центр управління, що забезпечує єдиний прозорий інтерфейс для управління спільнотою 
14 Червня, 2024.
Binance зареєструвала понад 30 мільйонів нових користувачів у 2024 році, активи клієнтів перевищили позначку в 100 мільярдів доларів
ринки Звіт про новини Технологія
Binance зареєструвала понад 30 мільйонів нових користувачів у 2024 році, активи клієнтів перевищили позначку в 100 мільярдів доларів
14 Червня, 2024.
Amazon підтримує стартапи Generative AI, інвестувавши 230 мільйонів доларів, виділяє 80 мільйонів доларів на свою другу програму AWS Generative AI Accelerator
Business Звіт про новини Технологія
Amazon підтримує стартапи Generative AI, інвестувавши 230 мільйонів доларів, виділяє 80 мільйонів доларів на свою другу програму AWS Generative AI Accelerator
14 Червня, 2024.
CRYPTOMERIA LABS PTE. LTD.