El guanaco sorgeix com un potencial de codi obert ChatGPT Competidor
En breu
Guanaco, un chatbot de codi obert desenvolupat per investigadors de la Universitat de Washington, aspira a competir ChatGPT alhora que requereixen menys temps i diners per a la formació.
Un nou estudi, però, ha qüestionat l'eficàcia de models com Alpaca.
Investigadors de la Universitat de Washington ho han donat a conèixer Guanac, un chatbot de codi obert que pretén rivalitzar amb el rendiment de ChatGPT alhora que redueix significativament el temps i els recursos necessaris per a la formació. El nom d'un familiar sud-americà de llamas, Guanaco està construït sobre el LLaMA model de llenguatge i incorpora un nou mètode d'afinació anomenat QLoRA.
Els creadors de Guanaco afirmen que aconsegueix un rendiment comparable al ChatGPT però es pot entrenar en un sol dia. Aquesta proesa notable és possible gràcies a QLoRA, una tècnica d'ajustament del model de llenguatge que redueix substancialment la quantitat de memòria GPU necessària per a l'entrenament. Mentre ChatGPT requereix una gran quantitat de 780 GB de memòria GPU per a un model amb 65 milions de paràmetres, la versió més senzilla de Guanaco només requereix 5 GB.
Amb aquests impressionants guanys d'eficiència, Guanaco i models similars de codi obert desafien la idea que la formació cara és necessària per a models lingüístics d'última generació. L'aparició del guanaco, Pacoi altres models aquest tren a una fracció del cost ha portat a especulacions sobre el futur de models costosos com GPT.
Tanmateix, no tothom està d'acord amb aquesta visió optimista dels models de codi obert. Un estudi recent realitzat per la Universitat de Califòrnia ha posat en dubte sobre les capacitats de models com les alpaques i van plantejar preguntes sobre el seu veritable potencial. Inicialment, els investigadors van arribar a una conclusió similar als creadors de Guanaco: quan s'entrenen adequadament, els models de codi obert poden rivalitzar. GPT en capacitats. Les proves posteriors van revelar una limitació important. Aquests models "Dolly", com de vegades s'anomenen, són hàbils a imitar solucions als problemes que s'han trobat durant l'entrenament. No obstant això, lluiten per tenir un bon rendiment en tasques a les quals no han estat exposats explícitament, quedant-se enrere dels models més avançats.
Aquesta revelació suggereix que el milions invertits en formació GPT i models semblants potser no han estat en va. Tot i que Guanaco i els seus homòlegs demostren resultats prometedors, encara hi ha àrees on sobresurten models més sofisticats. Val la pena assenyalar que el investigació realitzada per la Universitat de Califòrnia desafia la noció predominant que els models de codi obert poden substituir completament models cars com GPT.
A mesura que evolucioni l'àmbit del processament del llenguatge natural, serà interessant veure com Guanaco i altres models de codi obert s'enfronten als establerts. punts de referència com ara ChatGPT. L'elevat índex d'innovació i la recerca contínua, sens dubte, afectarà el futur dels models lingüístics i determinarà quins models esdevindran l'opció preferida per a aplicacions particulars.
- Dolly 2.0, el primer 12B Chat-LLM de codi obert disponible comercialment, s'ha anunciat per Databricks. Aquest és un avenç important per a la indústria de l'aprenentatge automàtic, que permet a les empreses crear models d'idiomes efectius sense invertir en costosos clústers de GPU. Databricks va contractar 5,000 empleats per crear el seu model de llenguatge de codi obert, que incloïa el model de llenguatge Pythia-12B d'EleutherAI sota una llicència MIT. Dolly 2.0, així com el codi associat, està disponible sota una llicència MIT. Dolly 2.0 té el potencial de canviar la indústria i és un pas important per a l'aprenentatge automàtic.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
