Gvanakas iškyla kaip potencialus atvirojo kodo šaltinis ChatGPT Konkurentas
Trumpai
„Guanaco“, atvirojo kodo pokalbių robotas, kurį sukūrė Vašingtono universiteto mokslininkai, siekia konkuruoti su ChatGPT o mokymams reikia mažiau laiko ir pinigų.
Tačiau naujas tyrimas suabejojo tokių modelių kaip Alpaka veiksmingumu.
Vašingtono universiteto mokslininkai atskleidė Guanakas, atvirojo kodo pokalbių robotas, kurio našumas siekia konkuruoti ChatGPT tuo pačiu žymiai sumažinant mokymams reikalingą laiką ir išteklius. Pavadintas Pietų Amerikos giminaičio vardu llamas, Gvanakas yra pastatytas ant LLaMA kalbos modelis ir apima naują koregavimo metodą, vadinamą QLoRA.
„Guanaco“ kūrėjai teigia, kad jo našumas yra panašus į ChatGPT bet gali būti treniruojamas vos per vieną dieną. Šį nuostabų žygdarbį įgalina QLoRA – kalbos modelio koregavimo technika, kuri žymiai sumažina treniruotėms reikalingos GPU atminties kiekį. Nors ChatGPT reikia milžiniškos 780 GB GPU atminties modeliui su 65 milijardais parametrų, paprasčiausia Guanaco versija reikalauja tik 5 GB.
Dėl šio įspūdingo efektyvumo padidėjimo „Guanaco“ ir panašūs atvirojo kodo modeliai meta iššūkį nuomonei, kad brangus mokymas yra būtinas pažangiausius kalbos modelius. Gvanako atsiradimas, Alpakair kiti modeliai kad traukinys už nedidelę kainą paskatino spėlioti apie tokių brangių modelių ateitį kaip GPT.
Tačiau ne visi sutinka su šiuo optimistišku atvirojo kodo modelių požiūriu. Neseniai atliktas Kalifornijos universiteto tyrimas sukėlė abejonių apie modelių, tokių kaip alpakos, galimybes ir iškėlė klausimų apie tikrąjį jų potencialą. Iš pradžių mokslininkai padarė panašią išvadą, kaip ir Gvanako kūrėjai: tinkamai apmokyti atvirojo kodo modeliai gali konkuruoti. GPT pajėgumuose. Tolesni bandymai atskleidė reikšmingą apribojimą. Šie „Dolly“ modeliai, kaip jie kartais vadinami, puikiai imituoja problemų, su kuriomis jie susidūrė treniruočių metu, sprendimus. Tačiau jiems sunku gerai atlikti užduotis, su kuriomis jie nebuvo aiškiai susidūrę, ir atsilieka nuo pažangesnių modelių.
Šis apreiškimas rodo, kad į mokymus investuota milijonų GPT ir panašūs modeliai galėjo būti ne veltui. Nors „Guanaco“ ir jo kolegos demonstruoja daug žadančius rezultatus, vis dar yra sričių, kuriose tobulesni modeliai. Verta paminėti, kad Kalifornijos universiteto atliktas tyrimas ginčija vyraujančią nuomonę, kad atvirojo kodo modeliai gali visiškai pakeisti tokius brangius modelius kaip GPT.
Natūralios kalbos apdorojimo sričiai vystantis, bus įdomu stebėti, kaip Guanako ir kiti atvirojo kodo modeliai nusiteiks prieš nusistovėjusius gairės, pvz ChatGPT. Didelis inovacijų lygis ir nuolatiniai tyrimai, be jokios abejonės, turės įtakos kalbos modelių ateičiai ir nulems, kurie modeliai taps tinkamiausiu pasirinkimu konkrečioms programoms.
- Dolly 2.0, pirmasis komerciškai prieinamas atvirojo kodo 12B Chat-LLM, buvo paskelbta pateikė Databricks. Tai didelis pažanga mašininio mokymosi pramonėje, leidžianti įmonėms kurti efektyvius kalbos modelius neinvestuojant į brangius GPU grupes. Databricks pasamdė 5,000 darbuotojų, kad sukurtų savo atvirojo kodo kalbos modelį, į kurį įtrauktas EleutherAI Pythia-12B kalbos modelis pagal MIT licenciją. „Dolly 2.0“ ir susijusį kodą galima įsigyti pagal MIT licenciją. „Dolly 2.0“ gali pakeisti pramonę ir yra svarbus žingsnis į priekį mašininio mokymosi srityje.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
