GPT-5 Træning koster 2.5 milliarder dollar og starter næste år
Twitter-brugeren Martin Shkreli fra NY skrev i dag det GPT-5 vil kræve en anslået $2.0-$2.5 milliarder til træning. Denne træning vil involvere 500,000 H100s Tensor Core GPU over 90 dage eller en alternativ konfiguration. Uddannelsen starter næste år.
OpenAI arbejder aktivt på styrke GPT-4 med forskellige muligheder, såsom embodiment, agency, sokratisk ræsonnement, vidensgrafer, verdensmodeller, multimodalitet, planlægning, semantisk fortolkning, hive sind, kontrol og afgrænsethed, samt mindre opgaver af høj værdi.
Omfanget af H100/A100-produktion rejser spørgsmål. Vil der være nok af disse GPU'er til rådighed til et så omfattende foretagende? Cirka 1 million H100'er forventes at blive produceret ved udgangen af året, og anslået 5 millioner kan blive afsendt det følgende år.
Med hensyn til omkostningerne er der en gyldig pointe om GPU'erne. At inkludere prisen på disse GPU'er i uddannelsesudgifterne kan være vildledende, da de ikke bliver forældede efter træningsprocessen. Disse GPU'er alene kunne beløbe sig til $20 milliarder.
Det er værd at bemærke, at Chip Manufacturing-firmaet Sustainable Metal Cloud (SMC) maksimale produktionskapacitet for H100s i øjeblikket er 15,000 enheder om måneden, men de har øget produktionen til cirka 50,000 enheder om måneden.
Med hensyn til elomkostninger repræsenterer de en relativt lille brøkdel af de samlede beregningsomkostninger. For at sætte det i perspektiv, ville 6,000,000 kWh beløbe sig til omkring 1 million dollars.
At anskaffe 500,000 H100'er inden næste år ser ud til at være en udfordrende opgave, selv med støtte fra Microsoft. Derudover opstår der spørgsmål vedr omkostninger ved slutning hvis træningsprocessen faktisk er så computerkrævende som foreslået.
I forbindelse med Nvidias marked præstationer i 2023, er det bemærkelsesværdigt, at deres succes efter sigende er tredoblet og har overgået 1 billion dollars. Denne vækst kan i høj grad tilskrives den øgede anvendelse af Nvidia-chips i AI-applikationer. Det er dog vigtigt at overveje det USA's eksportbegrænsninger har begrænset salget af high-end AI-chips på det kinesiske marked, hvilket kan påvirke produktions- og uddannelsesomkostninger.
Nvidia genererer næsten en tusindfold overskudsprocent for hver H100 GPU-accelerator, den sælger, ifølge Barrons seniorskribent Tae Kim. Det betyder, at Nvidias gadepris på omkring $25,000 til $30,000 for hver HPC-accelerator dækker de anslåede $3,320 omkostninger pr. chip og perifere komponenter. Omkostningsanalysen er uklar, men det menes at være et spørgsmål om rene fremstillingsomkostninger. Nvidias R&D-omkostninger skal også overvejes, da udviklingen af chips som H100 kræver tusindvis af timer fra specialiserede arbejdere. Nvidias AI-accelererende produkter er dog allerede solgt frem til 2024, hvor AI-acceleratormarkedet forventes at være omkring $150 milliarder værd i 2027.
Virksomheden nyder godt af sin infrastruktur og produktstak, men budgetter og alternativomkostninger kan begrænse investeringer på andre områder eller begrænse risici på forsknings- og udviklingssteder.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
