Guanaco з’являється як потенційний відкритий вихідний код ChatGPT Конкурент
Коротко
Guanaco, чат-бот з відкритим кодом, розроблений дослідниками Вашингтонського університету, прагне конкурувати з ним ChatGPT при цьому потрібно менше часу та грошей на навчання.
Однак нове дослідження поставило під сумнів ефективність таких моделей, як Альпака.
Дослідники з Університету Вашингтона оприлюднили Гуанако, чат-бот з відкритим вихідним кодом, який прагне конкурувати з продуктивністю ChatGPT при цьому значно скорочується час і ресурси, необхідні для навчання. Названий на честь південноамериканського родича llamas, Гуанако побудований на LLaMA мовну модель і містить новий метод тонкого налаштування під назвою QLoRA.
Творці Guanaco стверджують, що він досягає порівнянної продуктивності з ChatGPT але його можна навчити лише за один день. Це чудове досягнення стало можливим завдяки QLoRA, техніці тонкого налаштування моделі мови, яка суттєво зменшує обсяг пам’яті GPU, необхідної для навчання. Поки ChatGPT вимагає колосальних 780 ГБ пам'яті GPU для моделі з 65 мільярдами параметрів найпростішій версії Guanaco потрібно лише 5 ГБ.
Завдяки цьому вражаючому підвищенню ефективності Guanaco та подібні моделі з відкритим вихідним кодом кидають виклик уявленню про необхідність дорогого навчання для найсучасніші мовні моделі. Поява Гуанако, Альпака та інші моделі цей поїзд за невелику частину вартості призвів до спекуляцій щодо майбутнього дорогих моделей, таких як GPT.
Однак не всі згодні з цим оптимістичним поглядом на моделі з відкритим кодом. Недавнє дослідження, проведене Каліфорнійським університетом поставив під сумнів про можливості таких моделей, як альпака, і поставив питання про їхній справжній потенціал. Спочатку дослідники дійшли такого ж висновку, як і творці Guanaco: при належному навчанні моделі з відкритим кодом можуть конкурувати GPT в можливостях. Подальші тести виявили значне обмеження. Ці моделі «Доллі», як їх іноді називають, вміють імітувати рішення проблем, з якими вони стикаються під час навчання. Однак їм важко виконувати завдання, до яких вони явно не ставилися, відстаючи від більш просунутих моделей.
Це відкриття свідчить про те, що мільйони, інвестовані в навчання GPT і подібні моделі, можливо, не були марними. Незважаючи на те, що Guanaco та його аналоги демонструють багатообіцяючі результати, все ще є області, де більш складні моделі перевершують. Варто зазначити, що дослідження, проведене Каліфорнійським університетом ставить під сумнів поширене уявлення про те, що моделі з відкритим вихідним кодом можуть повністю замінити такі дорогі моделі, як GPT.
Оскільки сфера обробки природної мови розвивається, буде цікаво спостерігати, як Guanaco та інші моделі з відкритим вихідним кодом відповідають усталеним орієнтири, такі як ChatGPT. Високий рівень інновацій і безперервних досліджень, безсумнівно, вплине на майбутнє мовних моделей і визначить, які моделі стануть вибором для певних програм.
- Dolly 2.0, перший комерційно доступний 12B Chat-LLM з відкритим кодом, було оголошено від Databricks. Це значний прогрес для індустрії машинного навчання, що дозволяє компаніям створювати ефективні мовні моделі без інвестицій у дорогі кластери GPU. Компанія Databricks залучила 5,000 співробітників для створення своєї мовної моделі з відкритим вихідним кодом, яка включала мовну модель EleutherAI Pythia-12B за ліцензією MIT. Dolly 2.0, а також відповідний код доступні за ліцензією MIT. Dolly 2.0 має потенціал змінити галузь і є значним кроком вперед для машинного навчання.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
