Peneliti Menantang Gagasan 'Kemampuan yang Muncul' dari Model Bahasa Besar
Singkatnya
Kiamat AGI menjadi perhatian karena fenomena model bahasa berukuran besar secara tiba-tiba menunjukkan kemampuan yang tampaknya tidak dimiliki oleh model yang lebih kecil.
Fenomena ini disebut “kemunculan kemampuan Model Bahasa Besar”.
Penulis artikel “Apakah Kemampuan yang Muncul dari Model Bahasa Besar Sebuah Mirage?” berpendapat bahwa efek dari munculnya kemampuan bukanlah sebuah fatamorgana, melainkan pertumbuhan kemampuan untuk melakukan tugas yang dapat diprediksi.
Mereka menunjukkan bahwa setidaknya 92% masalah Big Bench tidak memiliki terobosan mendadak untuk model besar, dan kualitas modelnya tumbuh dengan lancar dan dapat diprediksi seiring dengan bertambahnya ukuran model.
Dalam pemeriksaan baru-baru ini terhadap potensi kemampuan model bahasa besar, para peneliti menantang gagasan “kemampuan yang muncul” dan menjelaskan aspek fungsionalitasnya yang lebih dapat diprediksi. Artikel berjudul “Mengungkap Realitas Kemampuan Muncul Model Bahasa Besar” menyoroti salah tafsir metrik yang menyebabkan kesalahpahaman bahwa model ini secara spontan memperoleh keterampilan tingkat lanjut.
Konsep "kemampuan yang muncul” dalam konteks model bahasa besar, seperti GPT seri ini, telah memicu kekhawatiran mengenai potensi model ini untuk mengembangkan kemampuan tak terduga yang serupa dengan kesadaran manusia. Makalah ini menegaskan bahwa asumsi-asumsi ini didasarkan pada pemahaman yang salah tentang perilaku dan kemampuan model yang sebenarnya.
Fenomena yang umum diamati, yaitu ketika model yang lebih besar tampaknya memperoleh kemampuan baru seperti penalaran abstrak, pemecahan masalah, dan bahkan humor, disebut sebagai “kemampuan yang muncul dari Model Bahasa Besar”. Penulis artikel tersebut berpendapat bahwa kemampuan ini tidak terjadi secara spontan, melainkan merupakan hasil dari metrik evaluasi yang menyesatkan.
Untuk mengilustrasikan maksud mereka, para peneliti mempertimbangkan tugas “tebak teka-teki”, sebuah masalah yang memerlukan model bahasa untuk memahami teka-teki bahasa alami dan merespons dengan jawaban yang benar dalam bahasa alami. Secara tradisional, kualitas respons dievaluasi menggunakan metrik biner: respons diberi skor 1 jika cocok dengan jawaban yang benar, dan skor 0 jika tidak.
Inti permasalahannya terletak pada sensitivitas metrik terhadap kompleksitas tugas dan jumlah parameter model. Para peneliti mengungkapkan bahwa metrik biner ini mengarah pada a persepsi yang menipu dari “kemampuan yang muncul.” Model yang lebih kecil sering kali menunjukkan akurasi yang dapat diabaikan (eps) pada metrik ini, sedangkan model yang lebih besar, terutama model dengan jumlah parameter yang tinggi, tampaknya mencapai tingkat akurasi yang luar biasa (acc > 0.5).
Artikel tersebut berpendapat bahwa perubahan nyata dalam kemampuan ini tidak menunjukkan bahwa model secara spontan memperoleh keterampilan yang kompleks. Sebaliknya, kapasitas model untuk memahami dan menghasilkan respons yang lebih beragam berasal dari evaluasi keluaran yang lebih cermat. Dengan berfokus pada pencocokan probabilistik dan koherensi semantik daripada pencocokan string yang tepat, para peneliti menunjukkan bahwa perkembangan model dalam kinerjanya mengikuti lintasan yang lebih logis, berapa pun ukurannya.
Menyelidiki Evolusi Kinerja Model dengan Mengubah Parameter
Dalam penyelidikan analitis, para peneliti mengungkap mekanisme halus di balik “kemampuan yang muncul” yang dirasakan model bahasa besar. Studi ini mempertanyakan pengaruh metrik superdiskrit dalam mengevaluasi kinerja model dan menjelaskan pemahaman yang lebih prediktif tentang kemampuannya seiring dengan berkembangnya parameter model.
Gagasan umum tentang “kemampuan yang muncul” dalam model bahasa yang luas telah menarik diskusi dan menimbulkan kekhawatiran tentang potensi terobosan. Studi ini berupaya menguraikan mekanisme yang mendasari fenomena ini dan menguraikan apakah model-model ini memang menunjukkan kemampuan yang tiba-tiba dan belum pernah terjadi sebelumnya, atau apakah kemajuan yang dirasakan ini dapat dikaitkan dengan penyebab lain.
Inti dari penelitian ini terletak pada evaluasi yang cermat terhadap metrik yang digunakan untuk mengukur kinerja model. Para peneliti berpendapat bahwa penggunaan metrik superdiskrit, khususnya metrik biner konvensional yang menentukan kecocokan string yang tepat, mungkin mendistorsi interpretasi data besar. kemampuan model bahasa. Studi ini dengan cermat menganalisis bagaimana distribusi probabilitas jawaban yang dihasilkan model berkembang seiring dengan skala parameter model.
Bertentangan dengan gagasan “kemampuan yang muncul”, penelitian ini mengungkapkan tren yang lebih sistematis. Ketika ukuran model meningkat, kemampuannya untuk menetapkan probabilitas yang lebih tinggi untuk jawaban yang tepat dan probabilitas yang lebih rendah untuk jawaban yang salah akan meningkat. Hal ini mencerminkan peningkatan yang konsisten dalam kapasitas model untuk memecahkan masalah dengan baik dalam berbagai ukuran. Intinya, penelitian ini menyarankan agar proses pembelajaran model mengikuti alur yang baik.defiperubahan yang tidak disengaja, bukan lompatan yang tiba-tiba.
Penulis memperkenalkan perubahan paradigma dengan mengusulkan penggantian metrik diskrit dengan metrik berkelanjutan. Perubahan ini memberikan gambaran yang lebih jelas tentang evolusi kinerja. Melalui analisis mereka, para peneliti memastikan bahwa sekitar 92% dari Masalah Bangku Besar menunjukkan pertumbuhan kualitas yang mulus dan dapat diprediksi seiring dengan berkembangnya ukuran model. Temuan ini menantang anggapan bahwa model yang lebih besar mengalami terobosan yang tiba-tiba dan justru menyoroti perkembangan yang lebih bertahap dan dapat diantisipasi.
Studi ini memperluas wawasannya untuk memvalidasi klaimnya. Hal ini menunjukkan bahwa efek “kemampuan yang muncul” yang sama dapat disimulasikan secara artifisial menggunakan autoencoder konvensional, yang menunjukkan bahwa pilihan metrik secara signifikan memengaruhi hasil yang dirasakan. Pengungkapan ini memperluas cakupan implikasi penelitian ini, dan menunjukkan relevansinya di luar model bahasa saja.
Para peneliti menekankan bahwa hasil mereka tidak demikian defisecara negatif meniadakan potensi “kemampuan yang muncul” atau kesadaran dalam model bahasa besar. Namun, temuan mereka mendorong para peneliti untuk mendekati klaim tersebut dengan perspektif yang berbeda. Daripada terburu-buru mengekstrapolasi dan membuat kesimpulan ekstrem, penelitian ini menggarisbawahi pentingnya penyelidikan yang cermat dan analisis komprehensif.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
