Guanaco се появява като потенциален отворен код ChatGPT Конкурент
Накратко
Guanaco, чатбот с отворен код, разработен от изследователи от Университета на Вашингтон, се стреми да се конкурира с него ChatGPT като същевременно изисква по-малко време и пари за обучение.
Ново проучване обаче поставя под съмнение ефикасността на модели като Алпака.
Изследователи от Вашингтонския университет разкриха Гуанако, чатбот с отворен код, който има за цел да се конкурира с ефективността на ChatGPT като същевременно значително намалява времето и ресурсите, необходими за обучение. Кръстен на южноамерикански роднина на llamas, Гуанако е изграден върху LLaMA езиков модел и включва нов метод за фина настройка, наречен QLoRA.
Създателите на Guanaco твърдят, че той постига сравнима производителност с ChatGPT но може да се обучи само за един ден. Това забележително постижение става възможно благодарение на QLoRA, техника за фина настройка на езиков модел, която значително намалява количеството GPU памет, необходима за обучение. Докато ChatGPT изисква колосалните 780 GB GPU памет за модел с 65 милиарда параметри, най-простата версия на Guanaco изисква само 5 GB.
С тези впечатляващи печалби в ефективността, Guanaco и подобни модели с отворен код предизвикват идеята, че е необходимо скъпо обучение за най-съвременни езикови модели. Появата на Гуанако, алпака, и други модели този влак на малка част от цената доведе до спекулации за бъдещето на скъпи модели като GPT.
Не всички обаче са съгласни с този оптимистичен възглед за моделите с отворен код. Скорошно проучване, проведено от Калифорнийския университет хвърли съмнение върху възможностите на модели като алпака и повдигна въпроси за истинския им потенциал. Първоначално изследователите стигнаха до подобно заключение като създателите на Guanaco: когато са правилно обучени, моделите с отворен код могат да се конкурират GPT във възможностите. Допълнителни тестове разкриха значително ограничение. Тези модели „Доли“, както понякога ги наричат, са умели в имитирането на решения на проблеми, които са срещнали по време на обучение. Те обаче се борят да се справят добре със задачи, на които не са били изрично изложени, като изостават от по-напредналите модели.
Това разкритие предполага, че милиони инвестирани в обучение GPT и подобни модели май не са били напразни. Въпреки че Guanaco и неговите колеги демонстрират обещаващи резултати, все още има области, в които по-сложните модели превъзхождат. Заслужава да се отбележи, че изследване, проведено от Калифорнийския университет оспорва преобладаващото схващане, че моделите с отворен код могат напълно да заменят скъпи модели като GPT.
Тъй като областта на обработката на естествения език се развива, ще бъде интересно да се наблюдава как Guanaco и други модели с отворен код са справедливи спрямо установените бенчмаркове като ChatGPT. Високата степен на иновации и непрекъснатите изследвания без съмнение ще повлияят на бъдещето на езиковите модели и ще определят кои модели ще станат предпочитан избор за определени приложения.
- Dolly 2.0, първият наличен в търговската мрежа 12B Chat-LLM с отворен код, е обявено от Databricks. Това е значителен напредък за индустрията за машинно обучение, което позволява на бизнеса да създава ефективни езикови модели, без да инвестира в скъпи GPU клъстери. Databricks ангажира 5,000 служители, за да създадат своя езиков модел с отворен код, който включва езиковия модел Pythia-12B на EleutherAI под лиценз на MIT. Dolly 2.0, както и свързаният код, се предлагат под лиценз на MIT. Dolly 2.0 има потенциала да промени индустрията и е значителна стъпка напред за машинното обучение.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
