Model Bahasa Besar Hari Ini Akan Menjadi Model Kecil, Menurut Penyelidik di OpenAI
Hyung Won Chung, seorang penyelidik AI yang berjaya yang pernah bekerja di Google Brain dan kini merupakan ahli OpenAI pasukan, memberikan ucapan yang merangsang pemikiran selama 45 minit di mana beliau meneroka dunia model bahasa besar pada tahun 2023. Chung mempunyai pengalaman dalam bidang itu; dia adalah pengarang pertama kertas Google "Menskalakan Model Bahasa Diperhalusi Arahan,” yang mengkaji bagaimana model bahasa yang besar boleh dilatih untuk mengikuti arahan.
Chung menekankan dunia model bahasa yang luas sebagai dinamik. Dalam dunia LLM, prinsip panduan sentiasa berkembang, berbeza dengan bidang tradisional di mana andaian asas biasanya kekal stabil. Dengan model generasi akan datang, perkara yang dianggap mustahil atau tidak praktikal pada masa ini mungkin menjadi mungkin. Beliau menekankan kepentingan mendahului kebanyakan dakwaan tentang keupayaan LLM dengan "buat masa ini". Model boleh melaksanakan tugas; ia masih belum berbuat demikian.
Model besar hari ini akan menjadi model kecil dalam beberapa tahun sahaja
Hyung Won Chung, OpenAI
Keperluan untuk dokumentasi yang teliti dan kebolehulangan dalam penyelidikan AI adalah salah satu pengajaran terpenting yang boleh dipelajari daripada ucapan Chung. Adalah penting untuk mendokumentasikan kerja yang sedang berjalan dengan teliti semasa bidang itu berkembang. Strategi ini menjamin bahawa eksperimen boleh direplikasi dan disemak semula dengan cepat, membolehkan penyelidik membina kerja yang lebih awal. Melalui amalan ini, diakui bahawa keupayaan mungkin berkembang pada masa hadapan yang tidak praktikal semasa penyelidikan awal.
Chung mendedikasikan sebahagian daripada ceramahnya untuk menjelaskan selok-belok data dan model selari. Bagi mereka yang berminat untuk mendalami aspek teknikal AI, bahagian ini memberikan pandangan berharga tentang kerja dalaman teknik paralelisme ini. Memahami mekanisme ini adalah penting untuk mengoptimumkan latihan model berskala besar.
Chung berpendapat bahawa fungsi objektif semasa, Kebarangkalian Maksimum, yang digunakan untuk pra-latihan LLM adalah halangan apabila ia datang untuk mencapai skala yang benar-benar besar, seperti 10,000 kali kapasiti GPT-4. Apabila pembelajaran mesin berlangsung, fungsi kehilangan yang direka secara manual menjadi semakin mengehadkan.
Chung mencadangkan bahawa paradigma seterusnya dalam pembangunan AI melibatkan fungsi pembelajaran melalui algoritma yang berasingan. Pendekatan ini, walaupun di peringkat awal, memegang janji kebolehskalaan melangkaui kekangan semasa. Beliau juga mengetengahkan usaha berterusan, seperti Pembelajaran Pengukuhan daripada Maklum Balas Manusia (RLHF) dengan Pemodelan Peraturan, sebagai langkah ke arah ini, walaupun cabaran masih perlu diatasi.
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
