Guanaco surge como potencial código-fonte aberto ChatGPT Concorrente
Em Breve
O Guanaco, um chatbot de código aberto desenvolvido por pesquisadores da Universidade de Washington, pretende competir com ChatGPT exigindo menos tempo e dinheiro para treinamento.
Um novo estudo, no entanto, questionou a eficácia de modelos como o Alpaca.
Pesquisadores da Universidade de Washington revelaram Guanaco, um chatbot de código aberto que visa rivalizar com o desempenho de ChatGPT ao mesmo tempo que reduz significativamente o tempo e os recursos necessários para o treinamento. Nomeado em homenagem a um parente sul-americano de llamas, Guanaco é construído sobre o LLaMA modelo de linguagem e incorpora um novo método de ajuste fino chamado QLoRA.
Os criadores do Guanaco afirmam que ele atinge um desempenho comparável ao ChatGPT mas pode ser treinado em apenas um único dia. Esse feito notável é possível graças ao QLoRA, uma técnica de ajuste fino do modelo de linguagem que reduz substancialmente a quantidade de memória da GPU necessária para o treinamento. Enquanto ChatGPT requer incríveis 780 GB de memória GPU para um modelo com 65 bilhões de parâmetros, a versão mais simples do Guanaco requer apenas 5 GB.
Com esses ganhos de eficiência impressionantes, o Guanaco e modelos semelhantes de código aberto estão desafiando a noção de que um treinamento caro é necessário para modelos de linguagem de última geração. O surgimento do Guanaco, Alpaca e outros modelos que treinam por uma fração do custo levou à especulação sobre o futuro de modelos caros como GPT.
No entanto, nem todos concordam com essa visão otimista dos modelos de código aberto. Um estudo recente conduzido pela Universidade da Califórnia lançou dúvidas sobre as capacidades de modelos como as alpacas e levantou questões sobre o seu verdadeiro potencial. Inicialmente, os pesquisadores chegaram a uma conclusão semelhante à dos criadores do Guanaco: quando devidamente treinados, os modelos de código aberto podem rivalizar GPT em capacidades. Testes adicionais revelaram uma limitação significativa. Esses modelos “Dolly”, como às vezes são chamados, são adeptos de imitar soluções para problemas encontrados durante o treinamento. No entanto, eles lutam para ter um bom desempenho em tarefas às quais não foram explicitamente expostos, ficando atrás de modelos mais avançados.
Esta revelação sugere que o milhões investidos em treinamento GPT e modelos semelhantes podem não ter sido em vão. Embora o Guanaco e seus equivalentes demonstrem resultados promissores, ainda existem áreas em que modelos mais sofisticados se destacam. Vale notar que o pesquisa realizada pela Universidade da Califórnia desafia a noção predominante de que modelos de código aberto podem substituir totalmente modelos caros como GPT.
À medida que o campo do processamento de linguagem natural evolui, será interessante observar como o Guanaco e outros modelos de código aberto se comparam aos já estabelecidos. referências como ChatGPT. A alta taxa de inovação e a pesquisa contínua irão, sem dúvida, impactar o futuro dos modelos de linguagem e determinar quais modelos se tornarão a escolha certa para aplicações específicas.
- Dolly 2.0, o primeiro 12B Chat-LLM de código aberto comercialmente disponível, foi anunciado por Databricks. Este é um avanço significativo para o setor de aprendizado de máquina, permitindo que as empresas criem modelos de linguagem eficazes sem investir em clusters de GPU caros. A Databricks contratou 5,000 funcionários para criar seu modelo de linguagem de código aberto, que incluía o modelo de linguagem Pythia-12B da EleutherAI sob uma licença do MIT. O Dolly 2.0, assim como o código associado, está disponível sob uma licença do MIT. O Dolly 2.0 tem o potencial de mudar o setor e é um passo significativo para o aprendizado de máquina.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
