Hugging Face CEO prevê que modelos menores de IA dominarão 2024
Em Breve
2024 verá o surgimento de modelos de pequenas línguas, à medida que as empresas ultrapassam os limites da eficiência, da relação custo-eficácia e da acessibilidade.
Escolha inteligência artificial, o ano de 2024 está prestes a marcar um ponto de viragem significativo — com o surgimento dos Modelos de Pequenas Línguas (SLMs), à medida que as empresas ultrapassam os limites da eficiência, da relação custo-eficácia e da acessibilidade.
A jornada desde o domínio de grandes modelos de linguagem (LLMs) até o surgimento de SLMs compactos e poderosos promete remodelar o Cenário de IA.
Esta afirmação encontrou o apoio de Clam Delangue, cofundador e CEO da Abraçando o rosto.
“Phi-2 da Microsoft AI é agora o modelo de tendência número um no Hugging Face. 2024 será o ano dos pequenos modelos de IA!” disse Delangue, em um Postagem no LinkedIn.
Além disso, no início de dezembro, a startup francesa de IA Mistral, logo após levantar uma quantia substancial $ 415 milhões rodada de financiamento, lançou o Mixtral 8x7B, um SLM de código aberto que rapidamente ganhou força por sua capacidade de rivalizar em qualidade GPT-3.5 em certos benchmarks, tudo isso rodando em um único computador com modestos 100 gigabytes de RAM.
A abordagem da Mistral, denominada modelo de “mistura esparsa de especialistas”, combina modelos menores treinados para tarefas específicas, alcançando uma eficiência notável.
Para não ficar atrás, gigante da tecnologia Microsoft entrou na arena com o Phi-2, a versão mais recente de seu SLM desenvolvido localmente. Notavelmente pequeno, com apenas 2.7 mil milhões de parâmetros, o Phi-2 foi concebido para funcionar num telemóvel, demonstrando o compromisso da indústria em reduzir o tamanho dos modelos sem comprometer as capacidades.
Modelos como GPT-3, ostentando impressionantes 175 bilhões de parâmetros, demonstrou a capacidade de gerar texto semelhante ao humano, responder perguntas e resumir documentos. No entanto, as desvantagens inerentes dos LLMs, incluindo preocupações relacionadas com eficiência, custo e personalização, abriram caminho para a ascensão dos SLMs.
Fatores que impulsionam o desenvolvimento de modelos de linguagem em pequena escala
Os SLMs apresentam uma abordagem simplificada com menos parâmetros, resultando em velocidade de inferência mais rápida e maior rendimento. Seus requisitos reduzidos de memória e armazenamento tornam os processos computacionais ágeis, desafiando a crença convencional de que a capacidade do modelo deve sempre acompanhar o crescimento do apetite por dados.
Embora grandes modelos de linguagem como GPT-3 incorrem em custos exorbitantes – muitas vezes na ordem das dezenas de milhões de dólares para o desenvolvimento – os SLM apresentam uma alternativa rentável.
Esses modelos podem ser treinados, implantados e operados em hardware comum prontamente disponível, tornando-os uma escolha financeiramente viável para as empresas. Além disso, os seus modestos requisitos de recursos posicionam-nos como candidatos ideais para aplicações em edge computing, funcionando offline em dispositivos de menor potência.
Da mesma forma, um ponto forte dos SLMs reside na sua capacidade de personalização. Ao contrário de suas contrapartes maiores, que representam compromissos entre domínios, os SLMs podem ser ajustados para aplicações específicas. Seus ciclos rápidos de iteração facilitam a experimentação prática, permitindo que os desenvolvedores adaptem modelos a necessidades específicas.
À medida que nos aproximamos de 2024, o surgimento de pequenos modelos de linguagem sinaliza uma era transformadora na inteligência artificial. O cenário está montado para o Ano dos Pequenos Modelos de IA, onde inovação e acessibilidade convergem para redefine as possibilidades da inteligência artificial.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
Mais artigos
Kumar é um jornalista de tecnologia experiente com especialização nas interseções dinâmicas de IA/ML, tecnologia de marketing e campos emergentes como criptografia, blockchain e NFTS. Com mais de 3 anos de experiência no setor, Kumar estabeleceu um histórico comprovado na elaboração de narrativas convincentes, na condução de entrevistas perspicazes e no fornecimento de insights abrangentes. A experiência de Kumar reside na produção de conteúdo de alto impacto, incluindo artigos, relatórios e publicações de pesquisa para plataformas importantes do setor. Com um conjunto único de habilidades que combina conhecimento técnico e narrativa, Kumar se destaca na comunicação de conceitos tecnológicos complexos para diversos públicos de maneira clara e envolvente.
