Cloudflare implementará GPUs NVIDIA on Edge, parceria com Microsoft e Hugging Face
Em Breve
A Cloudflare anunciou que implantará GPUs NVIDIA para fornecer aos clientes acesso ao poder de computação local.
A empresa também anunciou parcerias de IA sobre nuvem com a Microsoft e a Hugging Face
A Cloudflare anunciou hoje que implantará GPUs NVIDIA no edge, apresentando o software de inferência full stack da NVIDIA – incluindo NVIDIA TensorRT-LLM e servidor de inferência NVIDIA Triton.
A empresa pretende acelerar o desempenho de aplicações de IA, incluindo grandes modelos de linguagem. A partir de hoje, todos os clientes da Cloudflare podem acessar o poder da computação local para fornecer aplicativos e serviços de IA. Além disso, pela primeira vez, a empresa oferecerá poder de computação pré-pago em escala, eliminando a necessidade de as empresas investirem grandes fundos antecipadamente.
Com o aumento da demanda por GPUs impulsionado pelo desenvolvimento de aplicações de IA, a Cloudflare pretende tornar a inferência generativa de IA acessível globalmente.
Por meio de GPUs NVIDIA em sua rede global de edge, a Cloudflare agora oferecerá experiências de IA generativa de baixa latência para usuários finais. A empresa disse que essas GPUs estarão acessíveis para tarefas de inferência em mais de 100 cidades até o final de 2023 e em toda a sua rede até o final de 2024.
“Já protegemos todas as GPUs de que precisamos para concluir a construção até o final de 2023 e estamos confiantes em nossa capacidade de continuar a proteger as GPUs depois disso”, disse Matthew Prince, cofundador e CEO da Cloudflare. Metaverse Post.
Além disso, a Cloudflare disse que a implantação da GPU fornecerá aos clientes acesso ao poder computacional situado próximo aos seus dados. Essa proximidade garante que o tratamento de dados esteja alinhado com as regulamentações regionais e globais.
“Ter controle sobre onde a inferência é executada pode ajudar na soberania dos dados, para garantir que as solicitações dos usuários sempre cumpram regulamentações como o GDPR e garantir que os dados permaneçam dentro das localidades”, disse Prince.
Parceria de IA com a Microsoft
A Cloudflare também anunciou hoje uma parceria com a Microsoft. Embora a implantação de GPUs NVIDIA seja projetada para aproximar os dados dos clientes do poder computacional, sua parceria com a Microsoft visa agilizar as operações de IA, permitindo flexibilidade de localização.
A Cloudflare disse que esta colaboração permitirá que as empresas implantem modelos de IA em um continuum que abrange dispositivos, bordas de rede e ambientes de nuvem, otimizando modelos de computação centralizados e distribuídos.
Utilizando Tempo de execução ONNX nesses três níveis, a Cloudflare e a Microsoft visam garantir que os modelos de IA sejam executados onde for mais eficiente dentro desta arquitetura.
O treinamento de modelos de IA exige recursos computacionais e de armazenamento substanciais, favorecendo plataformas de nuvem centralizadas devido à sua proximidade. Em contraste, as tarefas de inferência mudarão para locais mais distribuídos, incluindo dispositivos e redes periféricas, enquanto a formação permanecerá centralizada.
A empresa afirma que pode fornecer a infraestrutura para direcionar o tráfego entre diferentes ambientes, com base em fatores como conectividade, latência, conformidade e muito mais.
Como resultado, as empresas serão capazes de otimizar a localização para tarefas de IA, implantando a inferência de IA onde ela se alinha melhor com a obtenção dos resultados desejados. Por exemplo, um sistema de câmeras de segurança pode aproveitar redes de borda para detecção de objetos, superando as limitações do dispositivo sem a latência associada ao envio de dados a um servidor central para processamento.
Além disso, as organizações poderão se adaptar às novas necessidades executando modelos em todos os três locais – dispositivos, redes de borda e nuvem – e fazendo ajustes ou alternativas com base em fatores como disponibilidade, caso de uso e requisitos de latência. Esta adaptabilidade garante que as operações de IA permaneçam responsivas e eficazes em circunstâncias em evolução.
Além disso, a Cloudflare disse que oferecerá um processo de implantação simplificado, permitindo que as empresas acessem modelos facilmente implantáveis e ferramentas de aprendizado de máquina por meio do Microsoft Azure Machine Learning em IA dos trabalhadores.
“À medida que as empresas exploram a melhor maneira de aproveitar o poder da IA generativa de maneiras exclusivas para atender às suas necessidades, a capacidade de executar modelos de IA em qualquer lugar é fundamental”, disse Rashmi Misra, gerente geral de dados, IA e tecnologias emergentes da Microsoft.
O primeiro parceiro de GPU sem servidor da Hugging Face
Juntamente com o anúncio da colaboração com a Microsoft, a Cloudflare revelou uma parceria com a Hugging Face. Através da parceria, a Cloudflare se tornará o primeiro parceiro de GPU sem servidor para implantar modelos Hugging Face.
O objetivo é permitir que os desenvolvedores implantem IA em todo o mundo, sem gerenciamento de infraestrutura ou pagamento por capacidade computacional não utilizada.
“As pequenas empresas enfrentam vários desafios ao tentar criar novas aplicações de IA. Um desses desafios é a escassez de GPUs em todo o mundo”, disse o CEO da Cloudfare, Matthew Prince.
“Acreditamos que um modelo sem servidor e multilocatário é necessário para dar suporte a empresas de qualquer tamanho e permitir que paguem exatamente pelo que usam. Não queremos que grandes empresas reservem GPUs e monopolizem o mercado de inferência de IA.”
A empresa disse que os modelos mais populares do Hugging Face serão integrados ao catálogo de modelos da Cloudflare e otimizados para sua rede global. Essa integração torna os modelos mais populares acessíveis para desenvolvedores em todo o mundo.
Os desenvolvedores também poderão implantar Workers AI com um único clique diretamente do Hugging Face. Esse processo simplificado permite que os desenvolvedores se concentrem na codificação e no desenvolvimento de aplicativos de IA.
“A Hugging Face e a Cloudflare compartilham um foco profundo em tornar as mais recentes inovações de IA tão acessíveis e acessíveis quanto possível para os criadores de IA”, disse Clem Delangue, CEO da Hugging Face. “Estamos entusiasmados em oferecer serviços de GPU sem servidor em parceria com a Cloudflare para ajudar os desenvolvedores a dimensionar seus aplicativos de IA de zero a global, sem a necessidade de disputar infraestrutura ou prever o futuro necessidades de sua aplicação — basta escolher seu modelo e implantar.”
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
Mais artigos
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
