Guanaco Muncul sebagai Sumber Terbuka yang Potensial ChatGPT Saingan
Singkatnya
Guanaco, chatbot sumber terbuka yang dikembangkan oleh para peneliti Universitas Washington, bercita-cita untuk bersaing ChatGPT sementara membutuhkan lebih sedikit waktu dan uang untuk pelatihan.
Namun, sebuah studi baru mempertanyakan kemanjuran model seperti Alpaca.
Para peneliti dari University of Washington telah mengungkapkan guanaco, sebuah chatbot sumber terbuka yang bertujuan menyaingi kinerja ChatGPT sekaligus secara signifikan mengurangi waktu dan sumber daya yang dibutuhkan untuk pelatihan. Dinamakan setelah kerabat Amerika Selatan llamas, Guanaco dibangun di atas LLaMA model bahasa dan menggabungkan metode penyesuaian baru yang disebut QLoRA.
Pencipta Guanaco mengklaim bahwa kinerjanya sebanding dengan ChatGPT tetapi dapat dilatih hanya dalam satu hari. Prestasi luar biasa ini dimungkinkan oleh QLoRA, teknik penyempurnaan model bahasa yang secara substansial mengurangi jumlah memori GPU yang diperlukan untuk pelatihan. Ketika ChatGPT membutuhkan memori GPU sebesar 780 GB untuk model dengan 65 miliar parameter, versi paling sederhana Guanaco hanya membutuhkan 5 GB.
Dengan peningkatan efisiensi yang mengesankan ini, Guanaco dan model sumber terbuka serupa menantang anggapan bahwa diperlukan pelatihan yang mahal model bahasa mutakhir. Munculnya Guanaco, kambing peru, dan model lainnya bahwa kereta api dengan biaya yang lebih murah telah menimbulkan spekulasi tentang masa depan model mahal seperti itu GPT.
Namun, tidak semua orang setuju dengan pandangan optimis model open-source ini. Sebuah studi terbaru yang dilakukan oleh University of California telah menimbulkan keraguan tentang kemampuan model seperti alpaka dan mengajukan pertanyaan tentang potensi sebenarnya. Awalnya, para peneliti mencapai kesimpulan serupa dengan pencipta Guanaco: jika dilatih dengan benar, model sumber terbuka dapat menyaingi GPT dalam kemampuan. Tes lebih lanjut mengungkapkan keterbatasan yang signifikan. Model “Dolly” ini, demikian sebutan mereka, mahir dalam meniru solusi terhadap masalah yang mereka temui selama pelatihan. Namun, mereka kesulitan untuk melakukan dengan baik tugas-tugas yang belum mereka lakukan secara eksplisit, sehingga tertinggal dari model yang lebih canggih.
Pengungkapan ini menunjukkan bahwa jutaan diinvestasikan dalam pelatihan GPT dan model serupa mungkin tidak sia-sia. Sementara Guanaco dan mitranya menunjukkan hasil yang menjanjikan, masih ada area di mana model yang lebih canggih unggul. Perlu dicatat bahwa penelitian yang dilakukan oleh University of California menantang anggapan umum bahwa model sumber terbuka dapat sepenuhnya menggantikan model mahal seperti GPT.
Seiring berkembangnya bidang pemrosesan bahasa alami, akan menarik untuk melihat bagaimana Guanaco dan model sumber terbuka lainnya adil terhadap yang sudah mapan. tolok ukur seperti ChatGPT. Tingkat inovasi yang tinggi dan penelitian berkelanjutan akan, tanpa pertanyaan, memengaruhi masa depan model bahasa dan menentukan model mana yang menjadi pilihan utama untuk aplikasi tertentu.
- Dolly 2.0, 12B Chat-LLM sumber terbuka pertama yang tersedia secara komersial, telah diumumkan oleh Databricks. Ini adalah kemajuan yang signifikan bagi industri pembelajaran mesin, yang memungkinkan bisnis membuat model bahasa yang efektif tanpa berinvestasi dalam klaster GPU yang mahal. Databricks melibatkan 5,000 karyawan untuk membuat model bahasa sumber terbuka mereka, termasuk model bahasa Pythia-12B EleutherAI di bawah lisensi MIT. Dolly 2.0, serta kode terkait, tersedia di bawah lisensi MIT. Dolly 2.0 memiliki potensi untuk mengubah industri dan merupakan langkah maju yang signifikan untuk pembelajaran mesin.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
