Guanaco se pojavlja kot potencialna odprtokodnost ChatGPT Tekmovalec
Na kratko
Guanaco, odprtokodni chatbot, ki so ga razvili raziskovalci Univerze v Washingtonu, želi konkurirati ChatGPT hkrati pa potrebujejo manj časa in denarja za usposabljanje.
Nova študija pa je podvomila o učinkovitosti modelov, kot je alpaka.
Raziskovalci z Univerze v Washingtonu so razkrili gvanako, odprtokodni klepetalni robot, katerega cilj je tekmovati z zmogljivostjo ChatGPT hkrati pa znatno zmanjša čas in sredstva, potrebna za usposabljanje. Poimenovan po južnoameriškem sorodniku llamas, Guanaco je zgrajen na LLaMA jezikovni model in vključuje novo metodo natančnega prilagajanja, imenovano QLoRA.
Ustvarjalci Guanaco trdijo, da dosega primerljive zmogljivosti z ChatGPT vendar ga je mogoče usposobiti v samo enem dnevu. Ta izjemen dosežek je omogočil QLoRA, tehnika natančnega prilagajanja jezikovnega modela, ki znatno zmanjša količino pomnilnika GPE, potrebnega za usposabljanje. Medtem ChatGPT zahteva neverjetnih 780 GB pomnilnika GPU za model s 65 milijardami parametrov najpreprostejša različica Guanaco zahteva le 5 GB.
S temi impresivnimi povečanji učinkovitosti Guanaco in podobni odprtokodni modeli izpodbijajo idejo, da je potrebno drago usposabljanje za najsodobnejši jezikovni modeli. Nastanek gvanaka, Alpacain drugi modeli ta vlak za delček stroškov je povzročil ugibanja o prihodnosti dragih modelov, kot je GPT.
Vendar se vsi ne strinjajo s tem optimističnim pogledom na odprtokodne modele. Nedavna študija, ki jo je izvedla Univerza v Kaliforniji vzbuja dvom o zmožnostih modelov, kot so alpake, in postavila vprašanja o njihovem resničnem potencialu. Sprva so raziskovalci prišli do podobnega zaključka kot ustvarjalci Guanaca: če so ustrezno usposobljeni, so odprtokodni modeli lahko konkurenčni GPT v zmožnostih. Nadaljnji testi so pokazali pomembno omejitev. Ti modeli "Dolly", kot jih včasih imenujejo, so spretni pri posnemanju rešitev za težave, na katere so naleteli med treningom. Vendar pa se trudijo dobro opraviti naloge, ki jim niso bili izrecno izpostavljeni, in zaostajajo za naprednejšimi modeli.
To razkritje nakazuje, da milijoni vloženi v usposabljanje GPT in podobni modeli morda niso bili zaman. Medtem ko Guanaco in njegovi sorodniki kažejo obetavne rezultate, še vedno obstajajo področja, kjer se bolj izpopolnjeni modeli odlikujejo. Omeniti velja, da je raziskava, ki jo je izvedla Univerza v Kaliforniji izziva prevladujočo predstavo, da lahko odprtokodni modeli v celoti nadomestijo drage modele, kot je GPT.
Ko se področje obdelave naravnega jezika razvija, bo zanimivo opazovati, kako bodo Guanaco in drugi odprtokodni modeli pošteni do uveljavljenih merila, kot je npr ChatGPT. Visoka stopnja inovacij in nenehne raziskave bodo brez dvoma vplivale na prihodnost jezikovnih modelov in določile, kateri modeli bodo postali najboljša izbira za določene aplikacije.
- Dolly 2.0, prvi komercialno dostopen odprtokodni 12B Chat-LLM, je bila objavljena avtor Databricks. To je pomemben napredek za industrijo strojnega učenja, saj podjetjem omogoča ustvarjanje učinkovitih jezikovnih modelov brez vlaganja v drage gruče GPE. Databricks je angažiral 5,000 zaposlenih, da so ustvarili njihov odprtokodni jezikovni model, ki je vključeval jezikovni model EleutherAI Pythia-12B pod licenco MIT. Dolly 2.0 in povezana koda sta na voljo pod licenco MIT. Dolly 2.0 ima potencial, da spremeni industrijo in je pomemben korak naprej za strojno učenje.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
