GPT-5 O treinamento custará US$ 2.5 bilhões e começará no próximo ano
O usuário do Twitter Martin Shkreli, de NY, postou hoje que GPT-5 exigirá cerca de US$ 2.0 a US$ 2.5 bilhões para treinamento. Este treinamento envolveria 500,000 GPUs Tensor Core H100s durante 90 dias ou uma configuração alternativa. A formação está prevista para começar no próximo ano.
OpenAI está trabalhando ativamente aprimorando GPT-4 com várias capacidades, como incorporação, agência, raciocínio socrático, gráficos de conhecimento, modelos de mundo, multimodalidade, planejamento, interpretabilidade semântica, mentes coletivas, controle e limitação, bem como tarefas menores de alto valor.
A escala de produção do H100/A100 levanta questões. Haverá GPUs suficientes disponíveis para um empreendimento tão substancial? Espera-se que aproximadamente 1 milhão de H100 sejam produzidos até o final do ano, e cerca de 5 milhões possam ser enviados no ano seguinte.
Em relação ao custo, há um ponto válido sobre as GPUs. Incluir o custo dessas GPUs nas despesas de treinamento pode ser enganoso, pois elas não se tornam obsoletas após o processo de treinamento. Somente essas GPUs poderiam chegar a US$ 20 bilhões.
É importante notar que a capacidade máxima de produção da empresa Sustainable Metal Cloud (SMC) para H100s é atualmente de 15,000 unidades por mês, mas eles aumentaram a produção para aproximadamente 50,000 unidades por mês.
Em termos de custos de electricidade, representam uma fracção relativamente pequena do custo total de computação. Para colocar isso em perspectiva, 6,000,000 kWh equivaleriam a cerca de US$ 1 milhão.
Adquirir 500,000 mil H100 até o próximo ano parece ser uma tarefa desafiadora, mesmo com o apoio da Microsoft. Além disso, surgem dúvidas sobre a custo de inferência se o processo de treinamento for realmente tão intensivo em computação quanto sugerido.
No contexto Mercado da Nvidia desempenho em 2023, é digno de nota que seu sucesso supostamente triplicou, ultrapassando US$ 1 trilhão. Este crescimento pode ser atribuído em grande parte ao aumento da adoção de chips Nvidia em aplicações de IA. No entanto, é importante considerar que Restrições às exportações dos EUA limitaram a venda de chips de IA de última geração no mercado chinês, o que poderia impactar os custos de fabricação e treinamento.
A Nvidia está gerando uma porcentagem de lucro quase mil vezes maior para cada acelerador de GPU H100 vendido, de acordo com o escritor sênior de Barron, Tae Kim. Isso significa que o preço de rua da Nvidia de cerca de US$ 25,000 a US$ 30,000 para cada acelerador HPC cobre o custo estimado de US$ 3,320 por chip e componentes periféricos. A análise de custos não é clara, mas acredita-se que seja uma questão de puro custo de fabricação. Os custos de P&D da Nvidia também precisam ser considerados, já que o desenvolvimento de chips como o H100 exige milhares de horas de trabalhadores especializados. No entanto, os produtos de aceleração de IA da Nvidia já serão vendidos até 2024, e o mercado de aceleradores de IA deverá valer cerca de US$ 150 bilhões até 2027.
A empresa está a beneficiar da sua infraestrutura e conjunto de produtos, mas os orçamentos e os custos de oportunidade podem limitar os investimentos noutras áreas ou limitar os riscos em locais de investigação e desenvolvimento.
| Relacionado: A revolução da IA está apenas começando: Will GPT-5 Alcançar Inteligência Geral Artificial? |
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
