GPT-5 Utbildningen kommer att kosta 2.5 miljarder dollar och börjar nästa år
Twitter-användaren Martin Shkreli från NY skrev idag att GPT-5 kommer att kräva uppskattningsvis 2.0–2.5 miljarder dollar för utbildning. Denna utbildning skulle involvera 500,000 100 H90s Tensor Core GPU under XNUMX dagar eller en alternativ konfiguration. Utbildningen startar nästa år.
OpenAI arbetar aktivt med förbättra GPT-4 med olika förmågor, såsom förkroppsligande, handlingskraft, sokratiska resonemang, kunskapsgrafer, världsmodeller, multimodalitet, planering, semantisk tolkningsbarhet, hive minds, control and boundedness, såväl som mindre högvärdiga uppgifter.
Omfattningen av H100/A100-produktion väcker frågor. Kommer det att finnas tillräckligt många av dessa GPU:er tillgängliga för ett så betydande företag? Cirka 1 miljon H100 förväntas produceras i slutet av året, och uppskattningsvis 5 miljoner kan levereras nästa år.
När det gäller kostnaden finns det en giltig poäng med GPU:erna. Att inkludera kostnaden för dessa GPU:er i utbildningskostnaderna kan vara missvisande eftersom de inte blir föråldrade efter utbildningsprocessen. Enbart dessa GPU:er kan uppgå till 20 miljarder dollar.
Det är värt att notera att Chip Manufacturing-företaget Sustainable Metal Cloud (SMC) maximala produktionskapacitet för H100s för närvarande är 15,000 50,000 enheter per månad, men de har ökat produktionen till cirka XNUMX XNUMX enheter per månad.
När det gäller elkostnader utgör de en relativt liten del av den totala beräkningskostnaden. För att sätta det i perspektiv skulle 6,000,000 1 XNUMX kWh uppgå till ungefär XNUMX miljon dollar.
Att skaffa 500,000 100 HXNUMX till nästa år verkar vara en utmanande uppgift, även med stöd från Microsoft. Dessutom uppstår frågor om kostnad för slutledning om utbildningsprocessen verkligen är så beräkningskrävande som föreslagits.
Inom ramen för Nvidias marknad prestanda under 2023 är det anmärkningsvärt att deras framgång enligt uppgift har tredubblats och överträffat 1 biljon dollar. Denna tillväxt kan till stor del tillskrivas den ökade användningen av Nvidia-chips i AI-applikationer. Det är dock viktigt att tänka på det USA:s exportbegränsningar har begränsat försäljningen av avancerade AI-chips på den kinesiska marknaden, vilket kan påverka tillverknings- och utbildningskostnaderna.
Nvidia genererar nästan en tusenfaldig vinstprocent för varje H100 GPU-accelerator den säljer, enligt Barrons senior skribent Tae Kim. Detta innebär att Nvidias gatupris på cirka 25,000 30,000 till 3,320 100 USD för varje HPC-accelerator täcker den uppskattade kostnaden på 2024 150 USD per chip och perifera komponenter. Kostnadsanalysen är oklar, men det tros vara en fråga om ren tillverkningskostnad. Nvidias FoU-kostnader måste också beaktas, eftersom utvecklingen av chips som H2027 kräver tusentals timmar från specialiserade arbetare. Nvidias AI-accelererande produkter säljs dock redan fram till XNUMX, med AI-acceleratormarknaden som förväntas vara värd cirka XNUMX miljarder dollar XNUMX.
Företaget drar nytta av sin infrastruktur och produktstack, men budgetar och alternativkostnader kan begränsa investeringar inom andra områden eller begränsa riskerna på forsknings- och utvecklingsplatser.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
