Facebook Kembangkan Metode Baru untuk Menggandakan Performa AI Transformers
Singkatnya
Facebook telah mengembangkan metode baru untuk menggandakan kinerja transformator AI berdasarkan arsitektur transformator.
Metode baru menemukan tambalan yang paling mirip di celah antara pemrosesan blok yang berbeda dan menggabungkannya untuk mengurangi kompleksitas komputasi.
Facebook telah mengembangkan a Metode baru untuk menggandakan kinerja transformator AI. Metodenya adalah berdasarkan arsitektur transformator dan dirancang khusus untuk teks bentuk panjang seperti buku, artikel, dan blog. Tujuan dari transformator AI baru adalah untuk meningkatkan kinerja model berbasis transformator pada teks bentuk panjang dengan membuatnya lebih efisien dan efektif dalam menangani urutan panjang. Hasil trafo AI sangat menjanjikan, dan metode baru ini memiliki peluang untuk membantu meningkatkan kinerja model berbasis trafo pada berbagai tugas.
Metode baru ini diharapkan memiliki dampak signifikan pada tugas pemrosesan bahasa alami, seperti penerjemahan bahasa, peringkasan, dan sistem tanya jawab. Hal ini juga diharapkan dapat mengarah pada pengembangan model AI yang lebih canggih yang dapat menangani teks yang lebih panjang dan kompleks.
| Baca lebih lanjut: 10+ Editor Foto AI Terbaik 2023: Online dan Gratis |
Untuk memproses gambar, transformer modern memotongnya menjadi tambalan (biasanya kotak: lihat gif di bawah) dan kemudian beroperasi pada representasi partikel ini, yang masing-masing diwakili oleh "token". Transformer, seperti yang kita ketahui, bekerja lebih lambat semakin banyak potongan token ini (ini berlaku untuk teks dan gambar), dan transformer yang paling umum memiliki hubungan kuadrat. Artinya, semakin banyak token yang ditambahkan, semakin lambat pemrosesannya. Untuk mengatasi masalah ini, para peneliti telah mengusulkan berbagai teknik untuk mengurangi jumlah token yang diperlukan untuk pemrosesan gambar, seperti pengumpulan hierarkis dan adaptif. Metode-metode ini bertujuan untuk menjaga kualitas keluaran sambil meminimalkan biaya komputasi.
Metode baru menemukan tambalan yang paling mirip di celah antara memproses blok yang berbeda dan menggabungkannya untuk mengurangi kompleksitas komputasi. Bagian dari token yang digabungkan adalah hyperparameter; semakin tinggi, semakin rendah kualitasnya tetapi juga semakin tinggi akselerasinya. Eksperimen menunjukkan bahwa dimungkinkan untuk menggabungkan sekitar 40% token dengan penurunan kualitas 0.1-0.4% dan mendapatkan akselerasi ganda (sehingga menghemat lebih sedikit memori). Metode baru ini adalah solusi yang menjanjikan untuk mengurangi kompleksitas komputasi pemrosesan gambar dan memungkinkan pemrosesan yang lebih cepat dan lebih efisien tanpa mengurangi kualitas keluaran akhir.
Pendekatan rekayasa semacam itu yang didasarkan pada kecerdikan dan pemahaman bagaimana sesuatu bekerja terlihat sangat menarik. Juga, pengembang Meta berjanji untuk membawa lebih banyak ke StableDiffusion untuk mempercepat di sana juga. Sungguh luar biasa, karena transformer ada di mana-mana, trik semacam itu dapat dengan cepat diimplementasikan dalam berbagai model. Ini menunjukkan potensi solusi teknik untuk memiliki dampak luas di berbagai industri. Akan menarik untuk melihat bagaimana kemajuan ini model transformator akan terus berkembang dan meningkat dari waktu ke waktu.
- Meta AI dan Paperswithcode telah merilis model 120B Galactica pertama yang dilatih pada teks ilmiah, memungkinkan prediksi yang lebih akurat dan lebih cepat. Tujuan Galactica adalah untuk membantu para peneliti memisahkan yang penting dari yang tidak relevan.
Baca berita terkait lainnya:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
