GPT-5 Latihan Akan Kos $2.5 Bilion dan Bermula Tahun Depan
Pengguna Twitter Martin Shkreli dari NY menyiarkan hari ini bahawa GPT-5 akan memerlukan anggaran $2.0-$2.5 bilion untuk latihan. Latihan ini akan melibatkan 500,000 GPU Teras Tensor H100 selama 90 hari atau konfigurasi alternatif. Latihan itu akan dimulakan pada tahun hadapan.
OpenAI sedang giat bekerja meningkatkan GPT-4 dengan pelbagai keupayaan, seperti penjelmaan, agensi, penaakulan Socratic, graf pengetahuan, model dunia, pelbagai mod, perancangan, kebolehtafsiran semantik, minda sarang, kawalan dan keterbatasan, serta tugas bernilai tinggi yang lebih kecil.
Skala pengeluaran H100/A100 menimbulkan persoalan. Adakah terdapat cukup GPU ini tersedia untuk usaha yang begitu besar? Kira-kira 1 juta H100 dijangka akan dikeluarkan menjelang akhir tahun ini, dan dianggarkan 5 juta akan dihantar pada tahun berikutnya.
Mengenai kos, terdapat perkara yang sah tentang GPU. Memasukkan kos GPU ini dalam perbelanjaan latihan mungkin mengelirukan kerana ia tidak menjadi usang selepas proses latihan. GPU tersebut sahaja boleh berjumlah $20 bilion.
Perlu diingat bahawa kapasiti pengeluaran maksimum firma Pembuatan Cip Sustainable Metal Cloud (SMC) untuk H100s pada masa ini ialah 15,000 unit sebulan, tetapi mereka telah meningkatkan pengeluaran kepada kira-kira 50,000 unit sebulan.
Dari segi kos elektrik, ia mewakili sebahagian kecil daripada kos pengiraan keseluruhan. Untuk meletakkannya dalam perspektif, 6,000,000 kWj akan berjumlah kira-kira $1 juta.
Memperolehi 500,000 H100 menjelang tahun depan nampaknya merupakan satu tugas yang mencabar, walaupun dengan sokongan Microsoft. Selain itu, timbul persoalan mengenai kos inferens jika proses latihan sememangnya intensif pengiraan seperti yang dicadangkan.
Dalam konteks pasaran Nvidia prestasi mereka pada tahun 2023, patut diberi perhatian bahawa kejayaan mereka dilaporkan meningkat tiga kali ganda, melebihi $1 trilion. Pertumbuhan ini sebahagian besarnya boleh dikaitkan dengan peningkatan penggunaan cip Nvidia dalam aplikasi AI. Walau bagaimanapun, adalah penting untuk mempertimbangkannya kekangan eksport AS telah mengehadkan penjualan cip AI mewah di pasaran China, yang boleh memberi kesan kepada kos pembuatan dan latihan.
Nvidia menjana hampir seribu kali ganda peratusan keuntungan untuk setiap pemecut GPU H100 yang dijualnya, menurut penulis kanan Barron, Tae Kim. Ini bermakna harga jalan Nvidia sekitar $25,000 hingga $30,000 untuk setiap pemecut HPC meliputi anggaran kos $3,320 setiap cip dan komponen persisian. Analisis kos tidak jelas, tetapi ia dipercayai merupakan masalah kos pembuatan tulen. Kos R&D Nvidia juga perlu dipertimbangkan, kerana pembangunan cip seperti H100 memerlukan beribu-ribu jam daripada pekerja khusus. Walau bagaimanapun, produk pemecut AI Nvidia telah dijual sehingga 2024, dengan pasaran pemecut AI dijangka bernilai sekitar $150 bilion menjelang 2027.
Syarikat mendapat manfaat daripada infrastruktur dan timbunan produknya, tetapi belanjawan dan kos peluang mungkin mengehadkan pelaburan di kawasan lain atau mengehadkan risiko di tempat penyelidikan dan pembangunan.
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
