Guanaco se pojavljuje kao potencijalni open-source ChatGPT Konkurent
Ukratko
Guanaco, chatbot otvorenog koda koji su razvili istraživači Sveučilišta u Washingtonu, želi mu se natjecati ChatGPT dok zahtijevaju manje vremena i novca za obuku.
Nova studija je, međutim, dovela u pitanje učinkovitost modela poput Alpake.
Istraživači sa Sveučilišta u Washingtonu otkrili su gvanako, chatbot otvorenog koda koji ima za cilj konkurirati performansama ChatGPT a pritom značajno smanjiti vrijeme i resurse potrebne za obuku. Ime je dobio po južnoameričkom rođaku llamas, Guanaco je izgrađen na LLaMA jezični model i uključuje novu metodu finog podešavanja pod nazivom QLoRA.
Tvorci Guanaca tvrde da postiže usporedive performanse s ChatGPT ali se može istrenirati u samo jednom danu. Ovaj izvanredni podvig omogućen je QLoRA-om, tehnikom finog podešavanja jezičnog modela koja značajno smanjuje količinu GPU memorije potrebne za obuku. Dok ChatGPT zahtijeva nevjerojatnih 780 GB GPU memorije za model sa 65 milijardi parametara, Guanacovoj najjednostavnijoj verziji potrebno je samo 5 GB.
S ovim impresivnim dobicima učinkovitosti, Guanaco i slični modeli otvorenog koda dovode u pitanje ideju da je skupa obuka neophodna za najsuvremeniji jezični modeli. Pojava Guanaca, Alpakai ostali modeli taj vlak po djeliću cijene doveo je do nagađanja o budućnosti skupih modela poput GPT.
Međutim, ne slažu se svi s ovim optimističnim pogledom na modele otvorenog koda. Nedavno istraživanje koje je provelo Sveučilište u Kaliforniji bacio sumnju o mogućnostima modela kao što su alpake i postavila pitanja o njihovom stvarnom potencijalu. U početku su istraživači došli do sličnog zaključka kao i tvorci Guanaca: kada su pravilno uvježbani, modeli otvorenog koda mogu biti konkurentni GPT u sposobnostima. Daljnji testovi otkrili su značajno ograničenje. Ovi "Dolly" modeli, kako ih ponekad nazivaju, vješti su u oponašanju rješenja problema s kojima su se susreli tijekom treninga. Međutim, oni se bore s dobrim radom na zadacima kojima nisu bili eksplicitno izloženi, zaostajući za naprednijim modelima.
Ovo otkriće sugerira da je milijuni uloženi u obuku GPT a slični modeli možda nisu bili uzaludni. Iako Guanaco i njegovi parnjaci pokazuju obećavajuće rezultate, još uvijek postoje područja u kojima su sofisticiraniji modeli bolji. Vrijedno je napomenuti da je istraživanje koje je provelo Sveučilište u Kaliforniji dovodi u pitanje prevladavajuće mišljenje da modeli otvorenog koda mogu u potpunosti zamijeniti skupe modele poput GPT.
Kako se polje obrade prirodnog jezika bude razvijalo, bit će zanimljivo gledati kako se Guanaco i drugi modeli otvorenog koda mogu usporediti s utvrđenim mjerila kao što su ChatGPT. Visoka stopa inovacija i kontinuirano istraživanje bez sumnje će utjecati na budućnost jezičnih modela i odrediti koji će modeli postati glavni izbor za određene primjene.
- Dolly 2.0, prvi komercijalno dostupan 12B Chat-LLM otvorenog koda, najavljeno je od Databricks. Ovo je značajan napredak za industriju strojnog učenja, omogućujući tvrtkama stvaranje učinkovitih jezičnih modela bez ulaganja u skupe GPU klastere. Databricks je angažirao 5,000 zaposlenika da kreiraju svoj jezični model otvorenog koda, koji je uključivao EleutherAI-jev jezični model Pythia-12B pod licencom MIT-a. Dolly 2.0, kao i pripadajući kod, dostupni su pod licencom MIT-a. Dolly 2.0 ima potencijal promijeniti industriju i značajan je korak naprijed za strojno učenje.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
