Гуанако становится потенциальным продуктом с открытым исходным кодом ChatGPT Конкурент
Коротко
Guanaco, чат-бот с открытым исходным кодом, разработанный исследователями Вашингтонского университета, стремится конкурировать с ChatGPT при этом требуется меньше времени и денег на обучение.
Однако новое исследование поставило под сомнение эффективность таких моделей, как Alpaca.
Об этом сообщили исследователи из Вашингтонского университета. гуанако, чат-бот с открытым исходным кодом, который стремится конкурировать с производительностью ChatGPT при этом значительно сокращая время и ресурсы, необходимые для обучения. Назван в честь южноамериканского родственника llamas, Гуанако построен на LLaMA языковую модель и включает новый метод тонкой настройки под названием QLoRA.
Создатели Guanaco заявляют, что его производительность сравнима с ChatGPT но можно обучить всего за один день. Это замечательное достижение стало возможным благодаря QLoRA, методу тонкой настройки языковой модели, который существенно уменьшает объем памяти графического процессора, необходимый для обучения. Пока ChatGPT требуется колоссальные 780 ГБ памяти графического процессора для модели с 65 миллиардами параметров самая простая версия Guanaco требует всего 5 ГБ.
Благодаря такому впечатляющему повышению эффективности, Guanaco и аналогичные модели с открытым исходным кодом бросают вызов представлению о том, что дорогостоящее обучение необходимо для самые современные языковые модели. Появление гуанако, Альпакаи у других моделей такое обучение за небольшую часть стоимости привело к спекуляциям о будущем таких дорогостоящих моделей, как GPT.
Однако не все согласны с этим оптимистичным взглядом на модели с открытым исходным кодом. Недавнее исследование, проведенное Калифорнийским университетом поставил под сомнение о возможностях таких моделей, как альпаки, и поднял вопросы об их истинном потенциале. Первоначально исследователи пришли к такому же выводу, что и создатели Гуанако: при правильном обучении модели с открытым исходным кодом могут конкурировать GPT в возможностях. Дальнейшие тесты выявили существенное ограничение. Эти модели «долли», как их иногда называют, умеют имитировать решения проблем, с которыми они столкнулись во время обучения. Однако они с трудом справляются с задачами, с которыми им явно не приходилось сталкиваться, отставая от более продвинутых моделей.
Это откровение предполагает, что миллионы вложены в обучение GPT и подобные модели, возможно, не были напрасными. Хотя Guanaco и его аналоги демонстрируют многообещающие результаты, все еще есть области, в которых превосходят более сложные модели. Стоит отметить, что исследование, проведенное Калифорнийским университетом бросает вызов преобладающему представлению о том, что модели с открытым исходным кодом могут полностью заменить дорогие модели, такие как GPT.
По мере развития области обработки естественного языка будет интересно наблюдать за тем, как Гуанако и другие модели с открытым исходным кодом справляются с устоявшимися контрольные показатели, такие как ChatGPT. Высокий уровень инноваций и непрерывные исследования, несомненно, повлияют на будущее языковых моделей и определят, какие модели станут предпочтительным выбором для конкретных приложений.
- Dolly 2.0, первый коммерчески доступный 12B Chat-LLM с открытым исходным кодом, было объявлено от Databricks. Это значительный прогресс в индустрии машинного обучения, позволяющий компаниям создавать эффективные языковые модели без вложений в дорогостоящие кластеры графических процессоров. Databricks привлекла 5,000 сотрудников для создания своей языковой модели с открытым исходным кодом, которая включала языковую модель EleutherAI Pythia-12B по лицензии MIT. Dolly 2.0, а также связанный с ней код доступны по лицензии MIT. Dolly 2.0 может изменить отрасль и является значительным шагом вперед для машинного обучения.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
