Guanaco apare ca o sursă deschisă potențială ChatGPT Concurent
Pe scurt
Guanaco, un chatbot open-source dezvoltat de cercetătorii de la Universitatea din Washington, aspiră să concureze ChatGPT în timp ce necesită mai puțin timp și bani pentru antrenament.
Un nou studiu, totuși, a pus sub semnul întrebării eficacitatea modelelor precum Alpaca.
Cercetătorii de la Universitatea din Washington au dezvăluit guanaco, un chatbot open-source care își propune să rivalizeze cu performanța ChatGPT reducând în același timp semnificativ timpul și resursele necesare instruirii. Numit după o rudă din America de Sud llamas, Guanaco este construit pe LLaMA model de limbaj și încorporează o nouă metodă de reglare fină numită QLoRA.
Creatorii lui Guanaco susțin că atinge performanțe comparabile cu ChatGPT dar poate fi antrenat într-o singură zi. Această performanță remarcabilă este posibilă de QLoRA, o tehnică de reglare fină a modelului de limbaj care reduce substanțial cantitatea de memorie GPU necesară pentru antrenament. In timp ce ChatGPT necesită 780 GB de memorie GPU pentru un model cu 65 de miliarde de parametri, cea mai simplă versiune a lui Guanaco necesită doar 5 GB.
Cu aceste câștiguri impresionante de eficiență, Guanaco și modelele similare cu sursă deschisă provoacă ideea că este necesară formarea costisitoare pentru modele de limbaj de ultimă generație. Apariția lui Guanaco, Alpaca, și alte modele acel tren la o fracțiune din cost a dus la speculații despre viitorul modelelor costisitoare precum GPT.
Cu toate acestea, nu toată lumea este de acord cu această viziune optimistă asupra modelelor open-source. Un studiu recent realizat de Universitatea din California a pus la îndoială asupra capacităților modelelor precum alpaca și au ridicat întrebări cu privire la adevăratul lor potențial. Inițial, cercetătorii au ajuns la o concluzie similară cu creatorii lui Guanaco: atunci când sunt instruiți corespunzător, modelele open-source pot rivaliza GPT în capacităţi. Testele ulterioare au relevat o limitare semnificativă. Aceste modele „Dolly”, așa cum sunt numite uneori, sunt adepți în a imita soluțiile la problemele pe care le-au întâlnit în timpul antrenamentului. Cu toate acestea, ei se luptă să se descurce bine în sarcini la care nu au fost expuși în mod explicit, rămânând în urma modelelor mai avansate.
Această revelație sugerează că milioane investite în formare GPT și modele similare poate să nu fi fost în zadar. În timp ce Guanaco și omologii săi demonstrează rezultate promițătoare, există încă domenii în care modelele mai sofisticate excelează. Este de remarcat faptul că cercetare efectuată de Universitatea din California provoacă ideea predominantă că modelele open-source pot înlocui pe deplin modelele scumpe precum GPT.
Pe măsură ce domeniul prelucrării limbajului natural evoluează, va fi interesant de urmărit cum Guanaco și alte modele open-source se potrivesc cu cele consacrate. repere precum ChatGPT. Rata ridicată de inovare și cercetarea continuă va avea, fără îndoială, un impact asupra viitorului modelelor lingvistice și va determina care modele devin alegerea potrivită pentru anumite aplicații.
- Dolly 2.0, primul chat-LLM open-source 12B disponibil comercial, a fost anuntat de Databricks. Acesta este un progres semnificativ pentru industria învățării automate, permițând companiilor să creeze modele de limbaj eficiente fără a investi în clustere costisitoare de GPU. Databricks a angajat 5,000 de angajați pentru a-și crea modelul de limbaj open-source, care a inclus modelul de limbaj Pythia-12B al EleutherAI sub o licență MIT. Dolly 2.0, precum și codul asociat, sunt disponibile sub o licență MIT. Dolly 2.0 are potențialul de a schimba industria și reprezintă un pas semnificativ înainte pentru învățarea automată.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
