CEO Hugging Face Memprediksi Model AI yang Lebih Kecil akan Mendominasi pada tahun 2024
Singkatnya
Pada tahun 2024 akan terjadi kebangkitan Model Bahasa Kecil, ketika perusahaan mendorong batas-batas efisiensi, efektivitas biaya, dan aksesibilitas.
Untuk kecerdasan buatan, tahun 2024 siap menandai titik balik yang signifikan — dengan munculnya Model Bahasa Kecil (SLM), ketika perusahaan mendorong batas-batas efisiensi, efektivitas biaya, dan aksesibilitas.
Perjalanan dari dominasi Model Bahasa Besar (LLM) yang masif hingga munculnya SLM yang kompak dan kuat menjanjikan perubahan dalam lanskap AI.
Klaim ini mendapat dukungan dari Clam Delangue, salah satu pendiri dan CEO Wajah Memeluk.
“Phi-2 oleh Microsoft AI kini menjadi model trending nomor satu di Hugging Face. 2024 akan menjadi tahun model AI kecil!” kata Delangue, dalam a Posting LinkedIn.
Selanjutnya, pada awal Desember, startup AI Perancis Mistral, segera setelah meningkatkan jumlah yang besar $ 415 juta putaran pendanaan, memperkenalkan Mixtral 8x7B, SLM sumber terbuka yang dengan cepat mendapatkan daya tarik karena kemampuannya menyaingi kualitas GPT-3.5 pada benchmark tertentu, semuanya dijalankan pada satu komputer dengan RAM sederhana 100 gigabyte.
Pendekatan Mistral, yang disebut model 'campuran pakar', menggabungkan model-model kecil yang dilatih untuk tugas-tugas tertentu, sehingga mencapai efisiensi yang luar biasa.
Tidak mau kalah, raksasa teknologi Microsoft memasuki arena dengan Phi-2, versi terbaru dari SLM buatannya. Berukuran kecil dengan hanya 2.7 miliar parameter, Phi-2 dirancang untuk dijalankan pada ponsel, menunjukkan komitmen industri untuk memperkecil ukuran model tanpa mengorbankan kemampuan.
Model suka GPT-3, yang memiliki 175 miliar parameter, menunjukkan kemampuan menghasilkan teks mirip manusia, menjawab pertanyaan, dan meringkas dokumen. Namun, kelemahan yang melekat pada LLM, termasuk kekhawatiran terkait efisiensi, biaya, dan kemampuan penyesuaian, telah membuka jalan bagi naiknya SLM.
Faktor Pendorong Pengembangan Model Bahasa Skala Kecil
SLM memiliki pendekatan yang efisien dengan parameter yang lebih sedikit, sehingga menghasilkan kecepatan inferensi yang lebih cepat dan throughput yang lebih tinggi. Kebutuhan memori dan penyimpanan yang berkurang membuat proses komputasi menjadi lebih gesit, menantang keyakinan konvensional bahwa kapasitas model harus selalu sejalan dengan pertumbuhan permintaan data.
Sedangkan model bahasa besar menyukainya GPT-3 menimbulkan biaya yang sangat tinggi – seringkali mencapai puluhan juta dolar untuk pengembangannya – SLM menghadirkan alternatif yang hemat biaya.
Model-model ini dapat dilatih, diterapkan, dan dioperasikan pada perangkat keras komoditas yang tersedia, menjadikannya pilihan yang layak secara finansial bagi bisnis. Selain itu, kebutuhan sumber daya yang sederhana menempatkannya sebagai kandidat ideal untuk aplikasi komputasi edge, yang berjalan offline pada perangkat berdaya rendah.
Demikian pula, kekuatan utama SLM terletak pada kemampuan penyesuaiannya. Berbeda dengan SLM yang lebih besar, yang mewakili kompromi di seluruh domain, SLM dapat disesuaikan untuk aplikasi tertentu. Siklus iterasi yang cepat memfasilitasi eksperimen praktis, memungkinkan pengembang untuk mengadaptasi model dengan kebutuhan tertentu.
Mendekati tahun 2024, munculnya model bahasa kecil menandakan era transformatif dalam kecerdasan buatan. Tahapan ini ditetapkan untuk Tahun Model AI Kecil, di mana inovasi dan aksesibilitas menyatudefine kemungkinan kecerdasan buatan.
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Kumar adalah Jurnalis Teknologi berpengalaman dengan spesialisasi dalam persimpangan dinamis AI/ML, teknologi pemasaran, dan bidang baru seperti kripto, blockchain, dan NFTS. Dengan pengalaman lebih dari 3 tahun di industri ini, Kumar telah memiliki rekam jejak yang terbukti dalam menyusun narasi yang menarik, melakukan wawancara yang mendalam, dan memberikan wawasan yang komprehensif. Keahlian Kumar terletak pada produksi konten berdampak tinggi, termasuk artikel, laporan, dan publikasi penelitian untuk platform industri terkemuka. Dengan keahlian unik yang menggabungkan pengetahuan teknis dan penyampaian cerita, Kumar unggul dalam mengkomunikasikan konsep teknologi yang kompleks kepada beragam audiens dengan cara yang jelas dan menarik.
lebih artikel
Kumar adalah Jurnalis Teknologi berpengalaman dengan spesialisasi dalam persimpangan dinamis AI/ML, teknologi pemasaran, dan bidang baru seperti kripto, blockchain, dan NFTS. Dengan pengalaman lebih dari 3 tahun di industri ini, Kumar telah memiliki rekam jejak yang terbukti dalam menyusun narasi yang menarik, melakukan wawancara yang mendalam, dan memberikan wawasan yang komprehensif. Keahlian Kumar terletak pada produksi konten berdampak tinggi, termasuk artikel, laporan, dan publikasi penelitian untuk platform industri terkemuka. Dengan keahlian unik yang menggabungkan pengetahuan teknis dan penyampaian cerita, Kumar unggul dalam mengkomunikasikan konsep teknologi yang kompleks kepada beragam audiens dengan cara yang jelas dan menarik.
