Pelajaran Pahit: Mengapa ChatGPT Menaklukkan Teknik Komputasi Buatan Tangan
Singkatnya
Esai Profesor Rich Sutton tahun 2019, “The Bitter Lesson,” memperkirakan kemajuan signifikan dalam AI, seperti ChatGPT/GPT-4 dan OpenAImetodologi.
Teks tersebut menyoroti pergeseran paradigma dalam AI, di mana metode komputasi mendominasi kinerja tanpa intuisi manusia.
Namun banyak peneliti terus mengejar pendekatan berbasis intuisi, mengabaikan potensi metode berbasis perhitungan.
Esai "Pelajaran yang pahit,” yang ditulis oleh Profesor Rich Sutton pada tahun 2019, kini menjadi semakin penting bagi para pakar pembelajaran mesin dan orang-orang yang tertarik untuk memahami masa depan AI. Wawasan yang diberikan dalam dokumen ini memperkirakan perkembangan penting dalam AI, termasuk munculnya ChatGPT/GPT-4 dan penerimaan OpenAImetodologi.
Inti dari “The Bitter Lesson” mengeksplorasi pergeseran paradigma di bidang AI. Di masa lalu, para ilmuwan yang mempelajari AI memiliki kecenderungan untuk berpikir bahwa mengembangkan AI tingkat lanjut memerlukan pendekatan khusus yang luar biasa, yang juga dikenal sebagai "bias induktif". Ide ini menyinggung penambahan informasi khusus atau pemahaman intuitif tentang masalah tertentu, yang kemudian mengarahkan jalur solusi mesin.
Tema sentral “The Bitter Lesson” mengkaji tentang pergeseran paradigma dalam kajian kecerdasan buatan. Sebelumnya, para peneliti yang mempelajari AI memiliki kecenderungan untuk percaya bahwa menciptakan AI tingkat lanjut memerlukan pendekatan yang luar biasa dan unik. Bias ini disebut sebagai "bias induktif." Konsep ini menyarankan penambahan pengetahuan khusus atau wawasan intuitif ke dalam masalah tertentu, yang kemudian mengarahkan jalur solusi mesin.
Tapi pola berulang menjadi jelas. Para peneliti berulang kali menemukan bahwa hanya dengan menambahkan lebih banyak data dan daya komputasi, mereka bisa mengungguli hasil yang dihasilkan oleh metode yang dibuat dengan susah payah ini. Pola ini tidak spesifik untuk satu bidang tetapi muncul di catur, go, starcraft, dan mungkin juga nethack. Jaringan saraf convolutional, misalnya, tampil lebih baik di bidang visi komputer daripada teknik manual seperti SIFT. Sangat menarik untuk dicatat bahwa penemu SIFT kemudian mengatakan bahwa jika jaringan saraf sudah ada saat dia melakukan penelitiannya, dia akan memilih tindakan tersebut. Mirip dengan ini, LSTM mengungguli semua sistem berbasis aturan di bidang terjemahan mesin. Dengan menggunakan strategi sederhana “tambahkan lebih banyak lapisan”, ChatGPT/GPT-4, contoh utama dari tren ini, mampu melampaui model yang sangat maju yang dibuat oleh ahli bahasa komputasi.
Inti dari "pelajaran pahit" Sutton adalah bahwa metode komputasi yang tidak dimodifikasi oleh intuisi manusia seringkali mengungguli pendekatan lain dalam hal kinerja. Namun, pemahaman ini belum diterima secara luas. Banyak peneliti masih mengejar strategi berbasis intuisi yang kompleks, seringkali mengabaikan potensi pendekatan berbasis perhitungan yang inklusif.
Lima alasan mengapa GPT menang atas teknik komputasi buatan tangan:
- Skalabilitas: Metode komputasi, terutama jika ditambah dengan lebih banyak data, memiliki potensi untuk berevolusi dan beradaptasi seiring dengan kemajuan teknologi, menjadikannya lebih tahan masa depan.
- Efisiensi: Metode umum berdasarkan kalkulasi dan data secara konsisten mengungguli metode khusus berbasis intuisi manusia di berbagai domain, mulai dari permainan seperti catur dan Go hingga terjemahan mesin dan visi komputer.
- Penerapan yang luas: Metode umum yang digerakkan oleh komputasi ini serbaguna dan dapat diterapkan di berbagai disiplin ilmu tanpa memerlukan tweak khusus domain.
- Kesederhanaan: Sistem dibangun secara mentah kekuatan komputasi dan data cenderung lebih sederhana dalam pendekatannya, tanpa memerlukan penyesuaian rumit berdasarkan intuisi manusia.
- Performa yang Konsisten: Seperti yang ditunjukkan oleh contoh seperti ChatGPT/GPT-4, model berbasis perhitungan dapat mencapai kinerja tinggi yang konsisten, seringkali melampaui metode khusus.
Esai asli adalah alat yang tak ternilai untuk mendapatkan pemahaman yang lebih baik tentang sudut pandang Profesor Sutton dan prinsip-prinsip yang memandu lintasan AI ini.
Artikel tersebut terinspirasi dari saluran Telegram “Boris Lagi."
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
