Дослідники Carnegie Mellon представляють MLC LLM для запуску мовних моделей на будь-якому пристрої
Коротко
MLC LLM і Web LLM дозволяють користувачам розгортати мовні моделі на будь-якому пристрої, дозволяючи нові програми та використання для розуміння природної мови.
Представили дослідники Університету Карнегі-Меллона MLC LLM, набір інструментів, які можуть революціонізувати роботу мовних моделей на будь-якому пристрої. Такі моделі дозволяють користувачам створювати ряд додатків природною мовою, таких як віртуальні помічники та розумні чат-боти. Завдяки окремій оптимізації продуктивності MLC LLM тепер можна використовувати на різних платформах і сценаріях.
Новий інструмент, відомий як Web LLM, також є частиною цієї ініціативи. Це дозволяє запускати мовні моделі безпосередньо в браузері, тобто користувачам не потрібно вручну завантажувати систему, розмір якої може становити кілька гігабайт. Таким чином була створена модель Vicuna 7B, яка має 7 мільярдів параметрів. Це може бути надзвичайно корисним при розробці більш відповідних віртуальних помічників і чат-ботів, оскільки вони вимагають великої кількості параметрів.
Використовуючи MLC LLM і Web LLM, тепер можна розгорнути будь-який мовна модель вибір на будь-якому пристрої. Дослідники з Carnegie Mellon повідомили, що це відкриє низку застосувань, які раніше були неможливими. Будь-який мовна модель тепер можна розгортати на різних комп’ютерних пристроях, таких як ноутбуки та телефони, або навіть на процесорах і відеоприскорювачах. Це відкриває цілий світ можливостей для обробки природної мови та навчання за допомогою машини.
Нова ініціатива від Carnegie Mellon прокладає шлях для ряду нових застосувань і застосувань для розуміння природної мови. Оскільки ви можете використовувати ці мовні моделі на будь-якому пристрої, набагато простіше розгортати таку технологію в багатьох різних сценаріях. Незалежно від того, чи йдеться про віртуальних помічників чи автоматизовану службу обслуговування клієнтів, цей новий інструмент може суттєво вплинути на те, як виконуються ці завдання.
Дослідницька група Carnegie Mellon розробила MLC LLM для роботи на будь-яких пристроях, включаючи iPhone та інші розумні домашні пристрої з сучасним процесором і 6 ГБ або більше оперативної пам’яті. Цей спрощений підхід означає, що пристрої тепер можуть запускати мовні моделі зі швидкістю генерації майже в реальному часі, навіть якщо їх оптимізують зовнішні розробники, а не інженери Apple.
Окрім забезпечення природної взаємодії з продуктами, MLC LLM також можна використовувати для оптимізації завдань керування пристроєм. Маючи лише від 4 ГБ до 6 ГБ оперативної пам’яті, необхідної для роботи, ця революційна мовна модель стане чудовим доповненням до майбутніх моделей iPhone і потенційно може бути запущена у виробництво без тривалих процес розробки.
Представляючи MLC LLM мовна модель, дослідники Carnegie Mellon створили ефективний і надійний спосіб запуску мовних моделей на будь-якому пристрої. Система MLC LLM є проривом у обробці природної мови та дозволить користувачам для більш ефективної природної взаємодії зі своїми пристроями. Він також має потенціал для значного прискорення процесу розробки майбутніх завдань керування пристроями. Можливості безмежні з MLC LLM, і робота Карнегі Меллона, безсумнівно, буде змінити те, як ми думаємо про мовні моделі на краще.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
