Guanaco apparaît comme une source ouverte potentielle ChatGPT Fabricant
En bref
Guanaco, un chatbot open source développé par des chercheurs de l'Université de Washington, aspire à concurrencer ChatGPT tout en nécessitant moins de temps et d'argent pour la formation.
Une nouvelle étude a cependant remis en question l'efficacité de modèles comme Alpaca.
Des chercheurs de l'Université de Washington ont dévoilé Guanaco, un chatbot open source qui vise à rivaliser avec les performances de ChatGPT tout en réduisant considérablement le temps et les ressources nécessaires à la formation. Nommé d'après un parent sud-américain de llamas, Guanaco est construit sur le LLaMA modèle de langage et intègre une nouvelle méthode de réglage fin appelée QLoRA.
Les créateurs de Guanaco affirment qu'il atteint des performances comparables à ChatGPT mais peut être formé en une seule journée. Cet exploit remarquable est rendu possible par QLoRA, une technique de réglage fin du modèle de langage qui réduit considérablement la quantité de mémoire GPU nécessaire à la formation. Alors que ChatGPT nécessite un énorme 780 Go de mémoire GPU pour un modèle avec 65 milliards de paramètres, la version la plus simple de Guanaco ne nécessite que 5 Go.
Grâce à ces gains d'efficacité impressionnants, Guanaco et des modèles open source similaires remettent en question l'idée qu'une formation coûteuse est nécessaire pour modèles de langage de pointe. L'émergence de Guanaco, Alpaga ainsi que autres modèles ce train à une fraction du prix a conduit à des spéculations sur l'avenir de modèles coûteux comme GPT.
Cependant, tout le monde n'est pas d'accord avec cette vision optimiste des modèles open source. Une étude récente menée par l'Université de Californie a jeté le doute sur les capacités de modèles comme les alpagas et a soulevé des questions sur leur véritable potentiel. Initialement, les chercheurs sont parvenus à une conclusion similaire à celle des créateurs de Guanaco : lorsqu'ils sont correctement formés, les modèles open source peuvent rivaliser avec GPT en capacités. Des tests plus approfondis ont révélé une limitation significative. Ces modèles « Dolly », comme on les appelle parfois, sont capables d'imiter les solutions aux problèmes qu'ils ont rencontrés au cours de la formation. Cependant, ils ont du mal à effectuer correctement des tâches auxquelles ils n’ont pas été explicitement exposés, se trouvant à la traîne des modèles plus avancés.
Cette révélation suggère que le des millions investis dans la formation GPT et des modèles similaires n'ont peut-être pas été vains. Alors que Guanaco et ses homologues affichent des résultats prometteurs, il existe encore des domaines où des modèles plus sophistiqués excellent. Il est à noter que le recherche menée par l'Université de Californie remet en question l'idée dominante selon laquelle les modèles open source peuvent remplacer entièrement des modèles coûteux comme GPT.
Au fur et à mesure que le domaine du traitement du langage naturel évolue, il sera intéressant de voir comment Guanaco et d'autres modèles open source se comparent aux modèles établis. repères tels que ChatGPT. Le taux élevé d'innovation et la recherche continue auront, sans aucun doute, un impact sur l'avenir des modèles de langage et détermineront quels modèles deviendront le choix incontournable pour des applications particulières.
- Dolly 2.0, le premier 12B Chat-LLM open source disponible dans le commerce, a été annoncé par Databricks. Il s'agit d'une avancée significative pour l'industrie de l'apprentissage automatique, permettant aux entreprises de créer des modèles de langage efficaces sans investir dans des clusters GPU coûteux. Databricks a engagé 5,000 12 employés pour créer son modèle de langage open source, qui comprenait le modèle de langage Pythia-2.0B d'EleutherAI sous une licence MIT. Dolly 2.0, ainsi que le code associé, est disponible sous licence MIT. Dolly XNUMX a le potentiel de changer l'industrie et constitue une avancée significative pour l'apprentissage automatique.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
