Model Bahasa Besar Saat Ini Akan Menjadi Model Kecil, Menurut Peneliti di OpenAI
Hyung Won Chung, seorang peneliti AI ulung yang sebelumnya bekerja di Google Brain dan saat ini menjadi anggota OpenAI tim, memberikan pidato selama 45 menit yang menggugah pikiran di mana ia menjelajahi dunia model bahasa besar pada tahun 2023. Chung memiliki pengalaman di bidangnya; dia adalah penulis pertama makalah Google “Model Bahasa yang Menyempurnakan Instruksi Penskalaan,” yang mengkaji seberapa besar model bahasa dapat dilatih untuk mengikuti instruksi.
Chung menekankan dunia model bahasa yang luas sebagai sesuatu yang dinamis. Dalam dunia LLM, prinsip panduannya terus berkembang, berbeda dengan bidang tradisional dimana asumsi fundamental biasanya tetap stabil. Dengan model generasi mendatang, apa yang saat ini dianggap mustahil atau tidak praktis bisa menjadi mungkin. Dia menekankan pentingnya mengawali sebagian besar klaim tentang kemampuan LLM dengan kata “untuk saat ini”. Seorang model dapat melakukan suatu tugas; hanya saja hal itu belum dilakukan.
Model besar saat ini akan menjadi model kecil hanya dalam beberapa tahun
Hyung Won Chung, OpenAI
Perlunya dokumentasi yang teliti dan reproduktifitas dalam penelitian AI adalah salah satu pelajaran terpenting yang bisa dipetik dari pidato Chung. Sangat penting untuk mendokumentasikan secara menyeluruh pekerjaan yang sedang berlangsung seiring berkembangnya bidang ini. Strategi ini menjamin bahwa eksperimen dapat direplikasi dan ditinjau kembali dengan cepat, sehingga memungkinkan peneliti untuk mengembangkan penelitian sebelumnya. Melalui praktik ini, diketahui bahwa kemampuan dapat berkembang di masa depan yang tidak dapat diterapkan pada penelitian awal.
Chung mendedikasikan sebagian ceramahnya untuk menjelaskan seluk-beluk data dan paralelisme model. Bagi mereka yang tertarik untuk mempelajari lebih dalam aspek teknis AI, bagian ini memberikan wawasan berharga tentang cara kerja teknik paralelisme ini. Memahami mekanisme ini sangat penting untuk mengoptimalkan pelatihan model skala besar.
Chung berpendapat bahwa fungsi tujuan saat ini, Kemungkinan Maksimum, yang digunakan untuk pra-pelatihan LLM merupakan hambatan dalam mencapai skala yang sangat besar, seperti 10,000 kali kapasitas GPT-4. Seiring kemajuan pembelajaran mesin, fungsi kerugian yang dirancang secara manual menjadi semakin terbatas.
Chung mengemukakan bahwa paradigma berikutnya dalam pengembangan AI melibatkan fungsi pembelajaran melalui algoritma terpisah. Pendekatan ini, meskipun masih dalam tahap awal, menjanjikan skalabilitas yang melampaui batasan yang ada saat ini. Ia juga menyoroti upaya yang sedang berlangsung, seperti Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF) dengan Pemodelan Aturan, sebagai langkah menuju arah ini, meskipun tantangannya masih harus diatasi.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
