Guanaco fremstår som en potentiel open source ChatGPT Konkurrent
Kort sagt
Guanaco, en open source chatbot udviklet af forskere fra University of Washington, stræber efter at konkurrere med ChatGPT mens det kræver mindre tid og penge til træning.
En ny undersøgelse har imidlertid sat spørgsmålstegn ved effektiviteten af modeller som Alpaca.
Forskere fra University of Washington har afsløret guanaco, en open source chatbot, der har til formål at konkurrere med ydeevnen af ChatGPT samtidig med at den tid og de ressourcer, der kræves til træning, reduceres markant. Opkaldt efter en sydamerikansk slægtning til llamas, Guanaco er bygget på LLaMA sprogmodel og inkorporerer en ny finjusteringsmetode kaldet QLoRA.
Skaberne af Guanaco hævder, at det opnår sammenlignelig ydeevne med ChatGPT men kan trænes på kun en enkelt dag. Denne bemærkelsesværdige bedrift er muliggjort af QLoRA, en finjusteringsteknik for sprogmodeller, der væsentligt reducerer mængden af GPU-hukommelse, der er nødvendig til træning. Mens ChatGPT kræver hele 780 GB GPU-hukommelse for en model med 65 milliarder parametre kræver Guanacos enkleste version kun 5 GB.
Med disse imponerende effektivitetsgevinster udfordrer Guanaco og lignende open source-modeller forestillingen om, at dyr træning er nødvendig for state-of-the-art sprogmodeller. Fremkomsten af Guanaco, Alpacaog andre modeller at tog til en brøkdel af prisen har ført til spekulationer om fremtiden for dyre modeller som GPT.
Det er dog ikke alle, der er enige i dette optimistiske syn på open source-modeller. En nylig undersøgelse udført af University of California har sået tvivl om mulighederne for modeller som alpakaer og rejste spørgsmål om deres sande potentiale. I første omgang nåede forskerne til en lignende konklusion som skaberne af Guanaco: når de er ordentligt uddannet, kan open source-modeller konkurrere med GPT i kapaciteter. Yderligere test afslørede en signifikant begrænsning. Disse "Dolly"-modeller, som de nogle gange kaldes, er dygtige til at efterligne løsninger på problemer, de er stødt på under træningen. Men de kæmper for at udføre godt på opgaver, de ikke eksplicit har været udsat for, og halter bagefter mere avancerede modeller.
Denne åbenbaring antyder, at millioner investeret i uddannelse GPT og lignende modeller har måske ikke været forgæves. Mens Guanaco og dets modparter viser lovende resultater, er der stadig områder, hvor mere sofistikerede modeller udmærker sig. Det er værd at bemærke, at forskning udført af University of California udfordrer den fremherskende forestilling om, at open source-modeller fuldt ud kan erstatte dyre modeller som f.eks GPT.
Efterhånden som området for naturlig sprogbehandling udvikler sig, vil det være interessant at se, hvordan Guanaco og andre open source-modeller fair mod etablerede benchmarks som f.eks ChatGPT. Den høje innovationshastighed og kontinuerlige forskning vil uden tvivl påvirke fremtiden for sprogmodeller og afgøre, hvilke modeller der bliver det foretrukne valg til bestemte applikationer.
- Dolly 2.0, den første kommercielt tilgængelige open source 12B Chat-LLM, er blevet annonceret af Databricks. Dette er et betydeligt fremskridt for maskinlæringsindustrien, der giver virksomheder mulighed for at skabe effektive sprogmodeller uden at investere i dyre GPU-klynger. Databricks engagerede 5,000 medarbejdere til at skabe deres open source sprogmodel, som inkluderede EleutherAIs Pythia-12B sprogmodel under en MIT-licens. Dolly 2.0 samt den tilhørende kode er tilgængelig under en MIT-licens. Dolly 2.0 har potentialet til at ændre branchen og er et væsentligt skridt fremad for maskinlæring.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
