Генеральный директор Hugging Face прогнозирует, что к 2024 году будут доминировать модели искусственного интеллекта меньшего размера
Коротко
В 2024 году будет наблюдаться развитие моделей малого языка, поскольку компании расширяют границы эффективности, экономичности и доступности.
Что касается искусственный интеллект2024 год станет важным поворотным моментом — с появлением моделей малого языка (SLM), поскольку компании расширяют границы эффективности, экономичности и доступности.
Путь от доминирования массивных моделей большого языка (LLM) к появлению компактных и мощных SLM обещает изменить ИИ-ландшафт.
Это утверждение нашло поддержку со стороны Клама Деланга, соучредителя и генерального директора компании Обнимая лицо.
«Phi-2 от Microsoft AI теперь является трендовой моделью номер один на Hugging Face. 2024 год станет годом маленьких моделей искусственного интеллекта!» - сказал Деланг в LinkedIn пост.
Кроме того, в начале декабря французский стартап в области искусственного интеллекта Mistral, вскоре после сбора существенного $ 415 миллионов раунд финансирования представил Mixtral 8x7B, SLM с открытым исходным кодом, который быстро завоевал популярность благодаря своей способности конкурировать по качеству с GPT-3.5 в некоторых тестах, и все это при работе на одном компьютере со скромными 100 гигабайтами оперативной памяти.
Подход Mistral, получивший название «редкая смесь экспертов», объединяет более мелкие модели, обученные для решения конкретных задач, достигая при этом поразительной эффективности.
Чтобы не отставать, технологический гигант Microsoft вышла на арену с Phi-2, последней версией отечественного SLM. Примечательно крошечный, имеющий всего 2.7 миллиарда параметров, Phi-2 предназначен для работы на мобильном телефоне, что демонстрирует стремление отрасли уменьшать размеры моделей без ущерба для возможностей.
Модели как GPT-3, обладающий ошеломляющими 175 миллиардами параметров, продемонстрировал способность генерировать текст, похожий на человеческий, отвечать на вопросы и обобщать документы. Однако присущие LLM недостатки, в том числе проблемы, связанные с эффективностью, стоимостью и настраиваемостью, проложили путь к распространению SLM.
Факторы, стимулирующие разработку маломасштабных языковых моделей
SLM отличаются упрощенным подходом с меньшим количеством параметров, что приводит к более высокой скорости вывода и более высокой пропускной способности. Их меньшие требования к памяти и хранению делают вычислительные процессы более гибкими, бросая вызов традиционному убеждению, что емкость модели всегда должна соответствовать росту потребности в данных.
В то время как большие языковые модели, такие как GPT-3 требуют непомерных затрат – часто исчисляемых десятками миллионов долларов на развитие – УУЗР представляет собой экономически эффективную альтернативу.
Эти модели можно обучать, развертывать и эксплуатировать на легкодоступном стандартном оборудовании, что делает их финансово выгодным выбором для бизнеса. Более того, их скромные требования к ресурсам делают их идеальными кандидатами для приложений в области периферийных вычислений, работающих в автономном режиме на устройствах с меньшим энергопотреблением.
Точно так же ключевое преимущество SLM заключается в их настраиваемости. В отличие от своих более крупных аналогов, которые представляют собой компромиссы в разных областях, SLM можно точно настроить для конкретных приложений. Их быстрые циклы итераций облегчают практические эксперименты, позволяя разработчикам адаптировать модели к конкретным потребностям.
По мере приближения 2024 года появление малых языковых моделей сигнализирует о наступлении эпохи преобразований в искусственном интеллекте. Готова почва для Года малых моделей искусственного интеллекта, в котором инновации и доступность объединяются для обновления.defiне возможности искусственного интеллекта.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Кумар — опытный технический журналист, специализирующийся на динамических пересечениях искусственного интеллекта и машинного обучения, маркетинговых технологий и новых областях, таких как криптография, блокчейн и NFTс. Имея более чем трехлетний опыт работы в отрасли, Кумар зарекомендовал себя в создании убедительных повествований, проведении содержательных интервью и предоставлении всеобъемлющей информации. Опыт Кумара заключается в создании эффективного контента, включая статьи, отчеты и исследовательские публикации для известных отраслевых платформ. Обладая уникальным набором навыков, сочетающим в себе технические знания и умение рассказывать истории, Кумар преуспевает в ясной и увлекательной передаче сложных технологических концепций разнообразной аудитории.
Другие статьи
Кумар — опытный технический журналист, специализирующийся на динамических пересечениях искусственного интеллекта и машинного обучения, маркетинговых технологий и новых областях, таких как криптография, блокчейн и NFTс. Имея более чем трехлетний опыт работы в отрасли, Кумар зарекомендовал себя в создании убедительных повествований, проведении содержательных интервью и предоставлении всеобъемлющей информации. Опыт Кумара заключается в создании эффективного контента, включая статьи, отчеты и исследовательские публикации для известных отраслевых платформ. Обладая уникальным набором навыков, сочетающим в себе технические знания и умение рассказывать истории, Кумар преуспевает в ясной и увлекательной передаче сложных технологических концепций разнообразной аудитории.
