GPT-5 Obuka će koštati 2.5 milijardi dolara i započeti sljedeće godine
Korisnik Twittera Martin Shkreli iz New Yorka danas je to objavio GPT-5 procjenjuje se da će za obuku biti potrebno 2.0-2.5 milijarde dolara. Ova obuka bi uključivala 500,000 100 H90s Tensor Core GPU tijekom XNUMX dana ili alternativnu konfiguraciju. Obuka bi trebala započeti sljedeće godine.
OpenAI aktivno radi na povećanje GPT-4 s raznim mogućnostima, kao što su utjelovljenje, djelovanje, sokratsko zaključivanje, grafikoni znanja, modeli svijeta, multimodalnost, planiranje, semantička interpretabilnost, umovi košnice, kontrola i ograničenost, kao i manji zadaci visoke vrijednosti.
Razmjer proizvodnje H100/A100 postavlja pitanja. Hoće li biti dovoljno ovih GPU-ova dostupnih za tako značajan pothvat? Očekuje se da će do kraja godine biti proizvedeno otprilike 1 milijun H100, a procjenjuje se da bi sljedeće godine moglo biti isporučeno oko 5 milijuna.
Što se tiče cijene, postoji valjana točka o GPU-ovima. Uključivanje troškova ovih GPU-ova u troškove obuke moglo bi dovesti u zabludu jer oni ne zastarijevaju nakon procesa obuke. Samo ti GPU-i mogli bi iznositi 20 milijardi dolara.
Vrijedno je napomenuti da je maksimalni proizvodni kapacitet tvrtke Sustainable Metal Cloud (SMC) za H100 trenutačno 15,000 jedinica mjesečno, ali su povećali proizvodnju na približno 50,000 jedinica mjesečno.
Što se tiče troškova električne energije, oni predstavljaju relativno mali dio ukupnih troškova računanja. U perspektivi, 6,000,000 kWh iznosilo bi otprilike milijun dolara.
Čini se da je nabava 500,000 H100 do sljedeće godine izazovan zadatak, čak i uz podršku Microsofta. Dodatno, postavljaju se pitanja o trošak zaključivanja ako je proces obuke doista računalno intenzivan kao što je predloženo.
U kontekstu Nvidijino tržište uspješnosti u 2023., važno je napomenuti da se njihov uspjeh navodno utrostručio, premašivši 1 trilijun dolara. Taj se rast uvelike može pripisati povećanom prihvaćanju Nvidijinih čipova u aplikacijama umjetne inteligencije. Međutim, važno je to uzeti u obzir izvozna ograničenja SAD-a ograničili su prodaju vrhunskih AI čipova na kineskom tržištu, što bi moglo utjecati na troškove proizvodnje i obuke.
Nvidia generira gotovo tisuću puta veći postotak dobiti za svaki H100 GPU akcelerator koji proda, prema Barronovom starijem piscu Tae Kimu. To znači da Nvidijina ulična cijena od oko 25,000 do 30,000 USD za svaki HPC akcelerator pokriva procijenjenu cijenu od 3,320 USD po čipu i perifernim komponentama. Analiza troškova je nejasna, ali vjeruje se da je riječ o čistom trošku proizvodnje. Nvidijine troškove istraživanja i razvoja također treba uzeti u obzir, budući da razvoj čipova poput H100 zahtijeva tisuće sati specijaliziranih radnika. Međutim, Nvidijini proizvodi koji ubrzavaju umjetnu inteligenciju već se prodaju do 2024., a očekuje se da će tržište AI akceleratora do 150. vrijediti oko 2027 milijardi dolara.
Tvrtka ima koristi od svoje infrastrukture i niza proizvoda, ali proračuni i oportunitetni troškovi mogu ograničiti ulaganja u druga područja ili ograničiti rizike u mjestima istraživanja i razvoja.
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
