Guanaco framstår som en potentiell öppen källkod ChatGPT Konkurrent
I korthet
Guanaco, en chatbot med öppen källkod utvecklad av forskare från University of Washington, strävar efter att konkurrera med ChatGPT samtidigt som det kräver mindre tid och pengar för träning.
En ny studie har dock ifrågasatt effektiviteten av modeller som Alpaca.
Forskare från University of Washington har avslöjat guanaco, en chatbot med öppen källkod som syftar till att konkurrera med prestanda ChatGPT samtidigt som den tid och resurser som krävs för utbildning avsevärt minskar. Uppkallad efter en sydamerikansk släkting till llamas, Guanaco är byggt på LLaMA språkmodell och innehåller en ny finjusteringsmetod som kallas QLoRA.
Skaparna av Guanaco hävdar att den uppnår jämförbar prestanda med ChatGPT men kan tränas på bara en enda dag. Denna anmärkningsvärda bedrift möjliggörs av QLoRA, en finjusteringsteknik för språkmodeller som avsevärt minskar mängden GPU-minne som behövs för träning. Medan ChatGPT kräver hela 780 GB GPU-minne för en modell med 65 miljarder parametrar kräver Guanacos enklaste version bara 5 GB.
Med dessa imponerande effektivitetsvinster utmanar Guanaco och liknande modeller med öppen källkod uppfattningen att dyr utbildning är nödvändig för toppmoderna språkmodeller. Uppkomsten av Guanaco, Alpackaoch andra modeller att tåg till en bråkdel av kostnaden har lett till spekulationer om framtiden för dyra modeller som GPT.
Alla håller dock inte med om denna optimistiska syn på modeller med öppen källkod. En nyligen genomförd studie utförd av University of California har ställt tvivel om kapaciteten hos modeller som alpackor och väckte frågor om deras verkliga potential. Inledningsvis kom forskarna till en liknande slutsats som skaparna av Guanaco: när de är väl utbildade kan modeller med öppen källkod konkurrera med GPT i förmågor. Ytterligare tester visade en betydande begränsning. Dessa "Dolly"-modeller, som de ibland kallas, är skickliga på att imitera lösningar på problem som de har stött på under träningen. Men de kämpar för att prestera bra på uppgifter som de inte explicit exponerats för, och släpar efter mer avancerade modeller.
Denna uppenbarelse antyder att miljoner investerade i utbildning GPT och liknande modeller kanske inte var förgäves. Medan Guanaco och dess motsvarigheter visar lovande resultat, finns det fortfarande områden där mer sofistikerade modeller utmärker sig. Det är värt att notera att forskning utförd av University of California utmanar den rådande uppfattningen att modeller med öppen källkod helt kan ersätta dyra modeller som GPT.
När området för naturlig språkbehandling utvecklas kommer det att bli intressant att se hur Guanaco och andra modeller med öppen källkod står sig mot etablerade riktmärken som t.ex ChatGPT. Den höga innovationstakten och den kontinuerliga forskningen kommer utan tvekan att påverka framtiden för språkmodeller och avgöra vilka modeller som blir det bästa valet för särskilda tillämpningar.
- Dolly 2.0, den första kommersiellt tillgängliga 12B Chat-LLM med öppen källkod, har tillkännagivits av Databricks. Detta är ett betydande framsteg för maskininlärningsindustrin, vilket gör att företag kan skapa effektiva språkmodeller utan att investera i kostsamma GPU-kluster. Databricks engagerade 5,000 12 anställda för att skapa sin språkmodell med öppen källkod, som inkluderade EleutherAIs språkmodell Pythia-2.0B under en MIT-licens. Dolly 2.0, liksom den tillhörande koden, är tillgänglig under en MIT-licens. Dolly XNUMX har potential att förändra branschen och är ett viktigt steg framåt för maskininlärning.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
