GPT-5 Ang Pagsasanay ay Magkakahalaga ng $2.5 Bilyon at Magsisimula sa Susunod na Taon
Ang Twitter user na si Martin Shkreli mula sa NY ay nag-post ngayon na GPT-5 mangangailangan ng tinatayang $2.0-$2.5 bilyon para sa pagsasanay. Kasama sa pagsasanay na ito ang 500,000 H100s Tensor Core GPU sa loob ng 90 araw o isang alternatibong configuration. Ang pagsasanay ay nakatakdang magsimula sa susunod na taon.
OpenAI ay aktibong nagtatrabaho sa pagpapabuti GPT-4 na may iba't ibang kakayahan, gaya ng embodiment, ahensya, Socratic reasoning, knowledge graphs, world models, multimodality, planning, semantic interpretability, hive minds, control and boundedness, pati na rin ang mas maliliit na gawaing may mataas na halaga.
Ang sukat ng H100/A100 na produksyon ay naglalabas ng mga katanungan. Sapat ba ang mga GPU na ito na magagamit para sa isang malaking gawain? Tinatayang 1 milyong H100 ang inaasahang gagawin sa pagtatapos ng taon, at tinatayang 5 milyon ang maaaring maipadala sa susunod na taon.
Tungkol sa gastos, mayroong isang wastong punto tungkol sa mga GPU. Ang pagsasama ng halaga ng mga GPU na ito sa mga gastusin sa pagsasanay ay maaaring mapanlinlang dahil hindi sila nagiging lipas na pagkatapos ng proseso ng pagsasanay. Ang mga GPU na iyon lamang ay maaaring umabot sa $20 bilyon.
Kapansin-pansin na ang maximum na kapasidad ng produksyon ng Chip Manufacturing firm na Sustainable Metal Cloud (SMC) para sa mga H100 ay kasalukuyang 15,000 unit kada buwan, ngunit pinataas nila ang produksyon sa humigit-kumulang 50,000 unit kada buwan.
Sa mga tuntunin ng mga gastos sa kuryente, ang mga ito ay kumakatawan sa isang medyo maliit na bahagi ng kabuuang halaga ng pagkalkula. Upang ilagay ito sa pananaw, ang 6,000,000 kWh ay aabot sa humigit-kumulang $1 milyon.
Ang pagkuha ng 500,000 H100 sa susunod na taon ay mukhang isang mapanghamong gawain, kahit na sa suporta ng Microsoft. Bilang karagdagan, ang mga tanong ay lumitaw tungkol sa halaga ng hinuha kung ang proseso ng pagsasanay ay talagang kasing compute-intensive gaya ng iminungkahing.
Sa konteksto ng merkado ng Nvidia performance noong 2023, kapansin-pansin na triple raw ang kanilang tagumpay, na lumampas sa $1 trilyon. Ang paglago na ito ay maaaring maiugnay sa mas mataas na pag-aampon ng Nvidia chips sa mga aplikasyon ng AI. Gayunpaman, mahalagang isaalang-alang iyon Mga hadlang sa pag-export ng US nilimitahan ang pagbebenta ng mga high-end na AI chip sa merkado ng China, na maaaring makaapekto sa mga gastos sa pagmamanupaktura at pagsasanay.
Ang Nvidia ay bumubuo ng halos isang libong beses na porsyento ng kita para sa bawat H100 GPU accelerator na ibinebenta nito, ayon sa senior writer ni Barron na si Tae Kim. Nangangahulugan ito na ang street-price ng Nvidia na humigit-kumulang $25,000 hanggang $30,000 para sa bawat HPC accelerator ay sumasaklaw sa tinantyang $3,320 na gastos sa bawat chip at mga peripheral na bahagi. Ang pagsusuri sa gastos ay hindi malinaw, ngunit ito ay pinaniniwalaan na ito ay isang bagay ng purong gastos sa pagmamanupaktura. Kailangan ding isaalang-alang ang mga gastos sa R&D ng Nvidia, dahil ang pagbuo ng mga chips tulad ng H100 ay nangangailangan ng libu-libong oras mula sa mga dalubhasang manggagawa. Gayunpaman, ang mga produkto ng AI-accelerating ng Nvidia ay naibenta na hanggang 2024, na ang AI accelerator market ay inaasahang nagkakahalaga ng humigit-kumulang $150 bilyon sa 2027.
Nakikinabang ang kumpanya mula sa imprastraktura at stack ng produkto nito, ngunit maaaring limitahan ng mga badyet at gastos sa pagkakataon ang mga pamumuhunan sa ibang mga lugar o limitahan ang mga panganib sa mga lugar ng pananaliksik at pagpapaunlad.
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
