Pesquisadores da Carnegie Mellon apresentam MLC LLM para execução de modelos de linguagem em qualquer dispositivo
Em Breve
MLC LLM e Web LLM permitem que os usuários implantem modelos de linguagem em qualquer dispositivo, permitindo novas aplicações e usos para compreensão da linguagem natural.
Pesquisadores da Carnegie Mellon University apresentaram MLC LLM, um conjunto de ferramentas que pode revolucionar a forma como os modelos de linguagem são executados em qualquer dispositivo. Esses modelos permitem que os usuários criem uma variedade de aplicativos de linguagem natural, como assistentes virtuais e chatbots inteligentes. Por meio de otimizações de desempenho separadas, o MLC LLM agora pode ser usado em diferentes plataformas e cenários.
A nova ferramenta, conhecida como Web LLM, também faz parte desta iniciativa. Ele permite o lançamento de modelos de idiomas diretamente no navegador, o que significa que os usuários não precisam baixar manualmente o sistema, que pode ter vários gigabytes de tamanho. O modelo Vicuna 7B, que possui 7 bilhões de parâmetros, foi criado dessa forma. Isso pode ser extremamente útil ao projetar assistentes virtuais e chatbots mais adequados, pois exigem grandes quantidades de parâmetros.
Usando MLC LLM e Web LLM, agora é possível implantar qualquer modelo de linguagem de escolha em qualquer dispositivo. Os pesquisadores da Carnegie Mellon relataram que isso abriria uma gama de aplicações que antes não eram possíveis. Qualquer modelo de linguagem agora pode ser implantado em vários dispositivos de computação, como laptops e telefones, ou até mesmo em processadores e aceleradores de vídeo. Isto abre um mundo de possibilidades para o processamento de linguagem natural e aprendizado de máquina.
A nova iniciativa da Carnegie Mellon abre caminho para uma série de novas aplicações e usos para a compreensão da linguagem natural. Como você pode usar esses modelos de linguagem em qualquer dispositivo, é muito mais fácil implantar essa tecnologia em muitos cenários diferentes. Seja para assistentes virtuais ou atendimento automatizado ao cliente, esta nova ferramenta pode ter um impacto drástico na forma como essas tarefas são realizadas.
A equipe de pesquisa da Carnegie Mellon desenvolveu o MLC LLM para ser executado em qualquer dispositivo, incluindo iPhones e outros dispositivos domésticos inteligentes, com um processador moderno e 6 GB ou mais de RAM. Essa abordagem simplificada significa que os dispositivos agora podem executar modelos de linguagem com velocidade de geração quase em tempo real, mesmo quando otimizados por desenvolvedores externos e não por engenheiros da Apple.
Além de permitir interações naturais com os produtos, o MLC LLM também pode ser usado para otimizar as tarefas de gerenciamento de dispositivos. Com apenas 4 GB a 6 GB de RAM necessários para funcionar, este modelo de idioma revolucionário será um excelente complemento para futuros modelos de iPhone e poderá ser colocado em produção sem o longo processo de desenvolvimento.
Ao apresentar o MLC LLM modelo de linguagem, os pesquisadores da Carnegie Mellon criaram uma maneira eficiente e robusta de executar modelos de linguagem em qualquer dispositivo. O sistema MLC LLM é um avanço no processamento de linguagem natural e habilitará os usuários para interagir naturalmente com seus dispositivos de forma mais eficaz. Ele também tem o potencial de acelerar significativamente o processo de desenvolvimento para futuras tarefas de gerenciamento de dispositivos. As possibilidades são infinitas com MLC LLM, e o trabalho de Carnegie Mellon certamente transformar a maneira como pensamos sobre os modelos de linguagem para o melhor.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
