GPT-5 Formarea va costa 2.5 miliarde de dolari și va începe anul viitor
Utilizatorul de Twitter Martin Shkreli din NY a postat astazi asta GPT-5 va necesita aproximativ 2.0-2.5 miliarde USD pentru formare. Acest antrenament ar implica 500,000 de GPU H100s Tensor Core timp de 90 de zile sau o configurație alternativă. Antrenamentul este programat să înceapă anul viitor.
OpenAI lucrează activ la consolidarea GPT-4 cu capacități diverse, cum ar fi întruchiparea, agenția, raționamentul socratic, graficele cunoștințelor, modelele lumii, multimodalitatea, planificarea, interpretabilitatea semantică, mințile stupului, controlul și limitarea, precum și sarcini mai mici de mare valoare.
Amploarea producției H100/A100 ridică întrebări. Vor fi suficiente dintre aceste GPU-uri disponibile pentru o întreprindere atât de importantă? Aproximativ 1 milion de H100 sunt de așteptat să fie produse până la sfârșitul anului, iar aproximativ 5 milioane pot fi livrate în anul următor.
În ceea ce privește costul, există un punct valid despre GPU-uri. Includerea costului acestor GPU-uri în cheltuielile de formare ar putea fi înșelătoare, deoarece acestea nu devin învechite după procesul de instruire. Numai acele GPU-uri ar putea ajunge la 20 de miliarde de dolari.
Este de remarcat faptul că capacitatea maximă de producție a companiei Sustainable Metal Cloud (SMC) pentru H100 este în prezent de 15,000 de unități pe lună, dar au crescut producția la aproximativ 50,000 de unități pe lună.
În ceea ce privește costurile cu energia electrică, acestea reprezintă o fracțiune relativ mică din costul total de calcul. Pentru a o pune în perspectivă, 6,000,000 kWh ar însemna aproximativ 1 milion de dolari.
Achiziționarea a 500,000 de H100 până anul viitor pare a fi o sarcină dificilă, chiar și cu sprijinul Microsoft. În plus, apar întrebări despre costul inferenței dacă procesul de formare este într-adevăr la fel de intensiv în calcul așa cum este sugerat.
In contextul Piața Nvidia performanța în 2023, este de remarcat faptul că succesul lor s-a triplat, depășind 1 trilion de dolari. Această creștere poate fi atribuită în mare măsură adoptării crescute a cipurilor Nvidia în aplicațiile AI. Cu toate acestea, este important să luați în considerare acest lucru constrângerile de export din SUA au limitat vânzarea de cipuri AI de ultimă generație pe piața chineză, ceea ce ar putea afecta costurile de producție și formare.
Nvidia generează un procentaj de profit de aproape o mie de ori pentru fiecare accelerator GPU H100 pe care îl vinde, potrivit scriitorului senior al lui Barron, Tae Kim. Aceasta înseamnă că prețul stradal al Nvidia de aproximativ 25,000 până la 30,000 USD pentru fiecare accelerator HPC acoperă costul estimat de 3,320 USD per cip și componente periferice. Analiza costurilor este neclară, dar se crede că este o chestiune de cost pur de producție. De asemenea, trebuie luate în considerare costurile de cercetare și dezvoltare ale Nvidia, deoarece dezvoltarea de cipuri precum H100 necesită mii de ore de la lucrători specializați. Cu toate acestea, produsele Nvidia care accelerează inteligența artificială sunt deja vândute până în 2024, piața acceleratoarelor de inteligență artificială estimată că va avea o valoare de aproximativ 150 de miliarde de dolari până în 2027.
Compania beneficiază de infrastructura și pachetul de produse, dar bugetele și costurile de oportunitate pot limita investițiile în alte domenii sau pot limita riscurile în locurile de cercetare și dezvoltare.
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
