GPT-5 De training kost 2.5 miljard dollar en begint volgend jaar
Dat heeft Twitter-gebruiker Martin Shkreli uit New York vandaag gepost GPT-5 zal naar schatting 2.0 tot 2.5 miljard dollar nodig hebben voor training. Bij deze training zouden 500,000 H100s Tensor Core GPU's gedurende 90 dagen betrokken zijn, of een alternatieve configuratie. De opleiding zal volgend jaar van start gaan.
OpenAI werkt er actief aan verbeteren GPT-4 met diverse mogelijkheden, zoals belichaming, keuzevrijheid, socratisch redeneren, kennisgrafieken, wereldmodellen, multimodaliteit, planning, semantische interpreteerbaarheid, bijenkorfgeesten, controle en begrensdheid, evenals kleinere taken van hoge waarde.
De omvang van de productie van de H100/A100 roept vragen op. Zullen er genoeg van deze GPU's beschikbaar zijn voor zo'n substantiële onderneming? Er wordt verwacht dat er tegen het einde van het jaar ongeveer 1 miljoen H100's zullen worden geproduceerd, en het jaar daarop zullen er naar schatting 5 miljoen worden verscheept.
Wat de kosten betreft, is er een geldig punt over de GPU's. Het opnemen van de kosten van deze GPU's in de trainingskosten kan misleidend zijn, omdat ze na het trainingsproces niet verouderd raken. Alleen al die GPU's zouden 20 miljard dollar kunnen bedragen.
Het is vermeldenswaard dat de maximale productiecapaciteit van Chip Manufacturing-bedrijf Sustainable Metal Cloud (SMC) voor H100's momenteel 15,000 eenheden per maand bedraagt, maar ze hebben de productie opgevoerd tot ongeveer 50,000 eenheden per maand.
In termen van elektriciteitskosten vertegenwoordigen ze een relatief klein deel van de totale computerkosten. Om het in perspectief te plaatsen: 6,000,000 kWh zou grofweg $1 miljoen bedragen.
Het lijkt een uitdagende opgave om volgend jaar 500,000 H100's te verwerven, zelfs met de steun van Microsoft. Daarnaast rijzen er vragen over de kosten van gevolgtrekking als het trainingsproces inderdaad zo rekenintensief is als wordt voorgesteld.
In het kader van Nvidia's markt prestaties in 2023 is het opmerkelijk dat hun succes naar verluidt is verdrievoudigd tot meer dan $ 1 biljoen. Deze groei kan grotendeels worden toegeschreven aan de toegenomen acceptatie van Nvidia-chips in AI-toepassingen. Het is echter belangrijk om dat te overwegen Amerikaanse exportbeperkingen hebben de verkoop van hoogwaardige AI-chips op de Chinese markt beperkt, wat een impact zou kunnen hebben op de productie- en opleidingskosten.
Nvidia genereert een bijna duizendvoudig winstpercentage voor elke H100 GPU-versneller die het verkoopt, aldus senior schrijver Tae Kim van Barron. Dit betekent dat Nvidia's straatprijs van ongeveer $25,000 tot $30,000 voor elke HPC-accelerator de geschatte $3,320 kosten per chip en randapparatuur dekt. De kostenanalyse is onduidelijk, maar er wordt aangenomen dat het een kwestie is van pure productiekosten. Er moet ook rekening worden gehouden met de R&D-kosten van Nvidia, aangezien de ontwikkeling van chips zoals de H100 duizenden uren van gespecialiseerde werknemers vergt. De AI-versnellende producten van Nvidia worden echter al tot 2024 verkocht, waarbij de AI-acceleratormarkt in 150 naar verwachting ongeveer 2027 miljard dollar waard zal zijn.
Het bedrijf profiteert van zijn infrastructuur en productenpakket, maar budgetten en opportuniteitskosten kunnen investeringen op andere gebieden beperken of de risico's op onderzoeks- en ontwikkelingslocaties beperken.
| Verwant: De AI-revolutie is nog maar net begonnen: Will GPT-5 Kunstmatige algemene intelligentie bereiken? |
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
