Исследователи Карнеги-Меллона представили MLC LLM для запуска языковых моделей на любом устройстве
Коротко
MLC LLM и Web LLM позволяют пользователям развертывать языковые модели на любом устройстве, что позволяет использовать новые приложения и способы понимания естественного языка.
Исследователи из Университета Карнеги-Меллона представили МЛК ООО, набор инструментов, который может произвести революцию в том, как языковые модели работают на любом устройстве. Такие модели позволяют пользователям создавать ряд приложений на естественном языке, таких как виртуальные помощники и умные чат-боты. Благодаря отдельным оптимизациям производительности MLC LLM теперь можно использовать на разных платформах и в разных сценариях.
| Прочитайте больше: 10 лучших университетов для изучения искусственного интеллекта |
Новый инструмент, известный как Веб LLM, также является частью этой инициативы. Это позволяет запускать языковые модели прямо в браузере, то есть пользователям не нужно вручную загружать систему, размер которой может составлять несколько гигабайт. Так была создана модель Vicuna 7B, которая имеет 7 миллиардов параметров. Это может быть чрезвычайно полезно при разработке более подходящих виртуальных помощников и чат-ботов, поскольку они требуют большого количества параметров.
Используя MLC LLM и Web LLM, теперь можно развернуть любой языковая модель по выбору на любом устройстве. Исследователи из Карнеги-Меллон сообщили, что это откроет ряд приложений, которые раньше были невозможны. Любой языковая модель теперь можно развертывать на различных вычислительных устройствах, таких как ноутбуки и телефоны или даже процессорах и видеоускорителях. Это открывает мир возможностей для обработки естественного языка и обучение с помощью машины.
Новая инициатива Карнеги-Меллона прокладывает путь к целому ряду новых приложений и способов использования для понимания естественного языка. Поскольку вы можете использовать эти языковые модели на любом устройстве, такую технологию гораздо проще развернуть во многих различных сценариях. Будь то виртуальные помощники или автоматизированное обслуживание клиентов, этот новый инструмент может кардинально изменить способ выполнения этих задач.
Исследовательская группа Карнеги-Меллона разработала MLC LLM для работы на любом устройстве, включая iPhone и другие умные домашние устройства, с современным процессором и 6 ГБ или более оперативной памяти. Этот оптимизированный подход означает, что устройства теперь могут запускать языковые модели со скоростью генерации почти в реальном времени, даже если они оптимизированы внешними разработчиками, а не инженерами Apple.
Помимо обеспечения естественного взаимодействия с продуктами, MLC LLM также можно использовать для оптимизации задач управления устройствами. Поскольку для работы требуется всего от 4 ГБ до 6 ГБ ОЗУ, эта революционная языковая модель станет отличным дополнением к будущим моделям iPhone и потенциально может быть запущена в производство без длительных процесс разработки.
Представляя MLC LLM языковая модель, исследователи Карнеги-Меллона создали эффективный и надежный способ запуска языковых моделей на любом устройстве. Система MLC LLM — это прорыв в обработке естественного языка и позволит пользователям для более эффективного естественного взаимодействия со своими устройствами. Он также может значительно ускорить процесс разработки будущих задач управления устройствами. Возможности MLC LLM безграничны, и работа Карнеги-Меллона, несомненно, будет изменить то, как мы думаем о языковых моделях к лучшему.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
