GPT-5 Pelatihan Akan Menghabiskan Biaya $2.5 Miliar dan Dimulai Tahun Depan
Pengguna Twitter Martin Shkreli dari NY hari ini memposting hal itu GPT-5 akan membutuhkan sekitar $2.0-$2.5 miliar untuk pelatihan. Pelatihan ini akan melibatkan 500,000 Tensor Core GPU H100 selama 90 hari atau konfigurasi alternatif. Pelatihan ini rencananya akan dimulai tahun depan.
OpenAI sedang aktif bekerja meningkatkan GPT-4 dengan berbagai kemampuan, seperti perwujudan, agensi, penalaran Socrates, grafik pengetahuan, model dunia, multimodalitas, perencanaan, interpretasi semantik, pikiran sarang, kendali dan batasan, serta tugas-tugas bernilai tinggi yang lebih kecil.
Skala produksi H100/A100 menimbulkan pertanyaan. Akankah GPU ini tersedia dalam jumlah yang cukup untuk tugas sebesar itu? Sekitar 1 juta H100 diperkirakan akan diproduksi pada akhir tahun ini, dan diperkirakan 5 juta akan dikirimkan pada tahun berikutnya.
Mengenai biaya, ada pendapat yang valid tentang GPU. Memasukkan biaya GPU ini ke dalam biaya pelatihan mungkin menyesatkan karena GPU tersebut tidak menjadi usang setelah proses pelatihan. GPU tersebut saja bisa mencapai $20 miliar.
Perlu dicatat bahwa kapasitas produksi maksimum H100 dari perusahaan Manufaktur Chip Sustainable Metal Cloud (SMC) saat ini adalah 15,000 unit per bulan, tetapi mereka telah meningkatkan produksi hingga sekitar 50,000 unit per bulan.
Dalam hal biaya listrik, biaya tersebut mewakili sebagian kecil dari keseluruhan biaya komputasi. Sebagai gambaran, 6,000,000 kWh setara dengan $1 juta.
Mengakuisisi 500,000 H100 pada tahun depan tampaknya merupakan tugas yang menantang, bahkan dengan dukungan dari Microsoft. Selain itu, muncul pertanyaan tentang biaya inferensi jika proses pelatihan memang intensif komputasi seperti yang disarankan.
Dalam konteks pasar Nvidia kinerja mereka pada tahun 2023, patut dicatat bahwa kesuksesan mereka dilaporkan meningkat tiga kali lipat, melampaui $1 triliun. Pertumbuhan ini sebagian besar disebabkan oleh peningkatan adopsi chip Nvidia dalam aplikasi AI. Namun, penting untuk mempertimbangkan hal itu Kendala ekspor AS telah membatasi penjualan chip AI kelas atas di pasar Tiongkok, yang dapat berdampak pada biaya produksi dan pelatihan.
Nvidia menghasilkan persentase keuntungan hampir seribu kali lipat untuk setiap akselerator GPU H100 yang dijualnya, menurut penulis senior Barron, Tae Kim. Ini berarti bahwa harga jalanan Nvidia sekitar $25,000 hingga $30,000 untuk setiap akselerator HPC mencakup perkiraan biaya $3,320 per chip dan komponen periferal. Analisis biayanya tidak jelas, namun diyakini hanya masalah biaya produksi murni. Biaya penelitian dan pengembangan Nvidia juga perlu dipertimbangkan, karena pengembangan chip seperti H100 memerlukan ribuan jam kerja dari pekerja khusus. Namun, produk akselerasi AI Nvidia sudah terjual hingga tahun 2024, dengan pasar akselerator AI diperkirakan bernilai sekitar $150 miliar pada tahun 2027.
Perusahaan mendapatkan keuntungan dari infrastruktur dan rangkaian produknya, namun anggaran dan biaya peluang mungkin membatasi investasi di bidang lain atau membatasi risiko di tempat penelitian dan pengembangan.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
