30+ Model Transformer Teratas dalam AI: Apa Itu dan Bagaimana Cara Kerjanya

Bagikan artikel ini

• 
• 
• 
• 
• 

by Damir Yalalov

Diterbitkan: 12 Juni 2023 pukul 6 Diperbarui: 52 Juni 12 pukul 2023

by Karolina Gaszcz

Diedit dan diperiksa faktanya: 12 Juni 2023 pukul 6:52 pagi

Untuk meningkatkan pengalaman bahasa lokal Anda, terkadang kami menggunakan plugin terjemahan otomatis. Harap diperhatikan bahwa terjemahan otomatis mungkin tidak akurat, jadi bacalah asli artikel untuk informasi yang tepat.

Dalam beberapa bulan terakhir, banyak model Transformer telah muncul di AI, masing-masing dengan nama yang unik dan terkadang lucu. Namun, nama-nama ini mungkin tidak memberikan banyak wawasan tentang apa yang sebenarnya dilakukan oleh model-model ini. Artikel ini bertujuan untuk memberikan daftar model Transformer paling populer yang komprehensif dan lugas. Ini akan mengklasifikasikan model-model ini dan juga memperkenalkan aspek dan inovasi penting dalam keluarga Transformer. Daftar teratas akan mencakup model dilatih melalui pembelajaran mandiri, seperti BERT atau GPT-3, serta model yang menjalani pelatihan tambahan dengan keterlibatan manusia, seperti InstructGPT model yang digunakan oleh ChatGPT.

Apa itu Transformers dalam AI?

Transformer adalah jenis model pembelajaran mendalam yang diperkenalkan dalam makalah penelitian yang disebut "Perhatian adalah Yang Anda Butuhkan” oleh peneliti Google pada tahun 2017. Makalah ini telah mendapatkan pengakuan luar biasa, mengumpulkan lebih dari 38,000 kutipan hanya dalam lima tahun.

Arsitektur Transformer asli adalah bentuk khusus dari model encoder-decoder yang telah mendapatkan popularitas sebelum diperkenalkan. Model-model ini sebagian besar diandalkan LSTM dan variasi lain dari Recurrent Neural Networks (RNN), dengan perhatian menjadi salah satu mekanisme yang digunakan. Namun, makalah Transformer mengusulkan gagasan revolusioner bahwa perhatian dapat berfungsi sebagai satu-satunya mekanisme untuk menetapkan ketergantungan antara input dan output.

Dalam konteks Transformers, input terdiri dari rangkaian token, yang dapat berupa kata atau subkata dalam pemrosesan bahasa alami (NLP). Subkata biasanya digunakan dalam model NLP untuk mengatasi masalah kata-kata yang keluar dari kosakata. Output dari pembuat enkode menghasilkan representasi dimensi tetap untuk setiap token, bersama dengan penyematan terpisah untuk seluruh urutan. Decoder mengambil output encoder dan menghasilkan urutan token sebagai outputnya.

Sejak publikasi kertas Transformer, model-model populer seperti BERTI dan GPT telah mengadopsi aspek arsitektur aslinya, baik menggunakan komponen encoder maupun decoder. Persamaan utama antara model-model ini terletak pada arsitektur lapisan, yang menggabungkan mekanisme perhatian mandiri dan lapisan umpan maju. Di Transformers, setiap token masukan melintasi jalurnya sendiri melalui lapisan sambil mempertahankan ketergantungan langsung dengan setiap token lain dalam urutan masukan. Fitur unik ini memungkinkan komputasi representasi token kontekstual yang paralel dan efisien, suatu kemampuan yang tidak dapat dilakukan dengan model sekuensial seperti RNN.

Meskipun artikel ini hanya menggores permukaan arsitektur Transformer, artikel ini memberikan gambaran sekilas tentang aspek fundamentalnya. Untuk pemahaman yang lebih komprehensif, kami sarankan merujuk pada makalah penelitian asli atau pos The Illustrated Transformer.

Apa itu Encoder dan Decoder dalam AI?

Bayangkan Anda memiliki dua model, encoder dan decoder, bekerja sama seperti sebuah tim. Encoder mengambil input dan mengubahnya menjadi vektor dengan panjang tetap. Kemudian, dekoder mengambil vektor itu dan mengubahnya menjadi urutan keluaran. Model-model ini dilatih bersama untuk memastikan bahwa output cocok dengan input sedekat mungkin.

Encoder dan decoder memiliki beberapa lapisan. Setiap lapisan dalam pembuat enkode memiliki dua sub lapisan: lapisan perhatian diri multi-kepala dan jaringan umpan maju sederhana. Lapisan perhatian diri membantu setiap token dalam masukan memahami hubungan dengan semua token lainnya. Sublapisan ini juga memiliki koneksi sisa dan normalisasi lapisan untuk membuat proses pembelajaran lebih lancar.

Multi-kepala dekoder lapisan perhatian diri bekerja sedikit berbeda dari yang ada di encoder. Itu menutupi token di sebelah kanan token yang menjadi fokusnya. Ini memastikan bahwa dekoder hanya melihat token yang muncul sebelum token yang coba diprediksi. Perhatian multi-head terselubung ini membantu decoder menghasilkan prediksi yang akurat. Selain itu, dekoder menyertakan sublapisan lain, yang merupakan lapisan perhatian multi-kepala atas semua keluaran dari pembuat enkode.

Penting untuk diperhatikan bahwa detail spesifik ini telah dimodifikasi dalam berbagai variasi model Transformer. Model seperti BERT dan GPT, misalnya, didasarkan pada aspek encoder atau decoder dari arsitektur aslinya.

Apa itu Lapisan Perhatian dalam AI?

Dalam arsitektur model yang telah kita bahas sebelumnya, lapisan perhatian multi-head adalah elemen khusus yang membuatnya kuat. Tapi apa sebenarnya perhatian itu? Anggap saja sebagai fungsi yang memetakan pertanyaan ke sekumpulan informasi dan memberikan keluaran. Setiap token dalam masukan memiliki kueri, kunci, dan nilai yang terkait dengannya. Representasi output dari setiap token dihitung dengan mengambil jumlah nilai tertimbang, di mana bobot untuk setiap nilai ditentukan oleh seberapa cocoknya dengan kueri.

Transformer menggunakan fungsi kompatibilitas yang disebut perkalian titik berskala untuk menghitung bobot ini. Hal yang menarik tentang perhatian di Transformers adalah bahwa setiap token melewati jalur kalkulasinya sendiri, memungkinkan komputasi paralel dari semua token dalam urutan input. Ini hanyalah beberapa blok perhatian yang secara independen menghitung representasi untuk setiap token. Representasi ini kemudian digabungkan untuk membuat representasi akhir dari token.

Dibandingkan dengan jenis jaringan lain seperti berulang dan jaringan konvolusional, lapisan perhatian memiliki beberapa keuntungan. Mereka efisien secara komputasi, artinya mereka dapat memproses informasi dengan cepat. Mereka juga memiliki konektivitas yang lebih tinggi, yang berguna untuk menangkap hubungan jangka panjang secara berurutan.

Apa itu Model yang Disempurnakan dalam AI?

Model pondasi adalah model kuat yang dilatih pada sejumlah besar data umum. Mereka kemudian dapat diadaptasi atau disesuaikan untuk tugas-tugas tertentu dengan melatih mereka pada perangkat yang lebih kecil data spesifik target. Pendekatan ini, dipopulerkan oleh Kertas BERT, telah menyebabkan dominasi model berbasis Transformer dalam tugas pembelajaran mesin terkait bahasa.

Dalam kasus model seperti BERT, mereka menghasilkan representasi token input tetapi tidak menyelesaikan tugas tertentu sendiri. Untuk membuatnya berguna, tambahan lapisan saraf ditambahkan di atas dan model dilatih end-to-end, sebuah proses yang dikenal sebagai fine-tuning. Namun, dengan model generatif 'like' GPT, pendekatannya sedikit berbeda. GPT adalah model bahasa decoder yang dilatih untuk memprediksi kata berikutnya dalam sebuah kalimat. Dengan melatih data web dalam jumlah besar, GPT dapat menghasilkan keluaran yang masuk akal berdasarkan permintaan atau perintah masukan.

Untuk membuat GPT lebih membantu, OpenAI peneliti berkembang MenginstruksikanGPT, yang dilatih untuk mengikuti instruksi manusia. Hal ini dicapai dengan penyempurnaan GPT menggunakan data berlabel manusia dari berbagai tugas. MenginstruksikanGPT mampu melakukan berbagai tugas dan digunakan oleh mesin populer seperti ChatGPT.

Penyempurnaan juga dapat digunakan untuk membuat varian model fondasi yang dioptimalkan tujuan tertentu di luar pemodelan bahasa. Misalnya, ada model yang disesuaikan untuk tugas terkait semantik seperti klasifikasi teks dan pengambilan pencarian. Selain itu, pembuat enkode transformator telah berhasil disetel dengan baik dalam multi-tugas kerangka pembelajaran untuk melakukan beberapa tugas semantik menggunakan satu model bersama.

Saat ini, penyempurnaan digunakan untuk membuat versi model pondasi yang dapat digunakan oleh banyak pengguna. Prosesnya melibatkan menghasilkan tanggapan terhadap masukan meminta dan membuat manusia memberi peringkat hasil. Pemeringkatan ini digunakan untuk melatih a model hadiah, yang menetapkan skor untuk setiap output. Pembelajaran penguatan dengan umpan balik manusia kemudian digunakan untuk melatih model lebih lanjut.

Mengapa Transformers adalah masa depan AI?

Transformers, sejenis model yang kuat, pertama kali didemonstrasikan di bidang penerjemahan bahasa. Namun, para peneliti dengan cepat menyadari bahwa Transformers dapat digunakan untuk berbagai tugas yang berhubungan dengan bahasa dengan melatih mereka pada teks tak berlabel dalam jumlah besar dan kemudian menyempurnakannya pada kumpulan data berlabel yang lebih kecil. Pendekatan ini memungkinkan Transformers untuk menangkap pengetahuan yang signifikan tentang bahasa.

Arsitektur Transformer, awalnya dirancang untuk tugas bahasa, juga telah diterapkan pada aplikasi lain seperti menghasilkan gambar, audio, musik, dan bahkan tindakan. Hal ini menjadikan Transformers sebagai komponen kunci di bidang AI Generatif, yang mengubah berbagai aspek masyarakat.

Ketersediaan alat dan kerangka kerja seperti PyTorch dan TensorFlow telah memainkan peran penting dalam adopsi model Transformer secara luas. Perusahaan seperti Huggingface telah membangunnya bisnis di sekitar ide mengkomersialkan pustaka Transformer sumber terbuka, dan perangkat keras khusus seperti Hopper Tensor Cores NVIDIA semakin mempercepat kecepatan pelatihan dan inferensi model ini.

Salah satu aplikasi Transformers yang terkenal adalah ChatGPT, sebuah chatbot dirilis oleh OpenAI. Itu menjadi sangat populer, menjangkau jutaan pengguna dalam waktu singkat. OpenAI juga telah mengumumkan perilisan GPT-4, versi yang lebih kuat yang mampu mencapai kinerja seperti manusia dalam tugas-tugas seperti pemeriksaan medis dan hukum.

Dampak Transformers di bidang AI dan berbagai aplikasinya tidak dapat disangkal. Mereka punya diubah cara kami mendekati tugas-tugas terkait bahasa dan membuka jalan bagi kemajuan baru dalam AI generatif.

3 Jenis Arsitektur Prapelatihan

Arsitektur Transformer, awalnya terdiri dari Encoder dan Decoder, telah berevolusi untuk memasukkan variasi yang berbeda berdasarkan kebutuhan spesifik. Mari uraikan variasi ini secara sederhana.

1. Prapelatihan Encoder: Model-model ini fokus pada pemahaman kalimat atau bagian yang lengkap. Selama prapelatihan, pembuat enkode digunakan untuk merekonstruksi token bertopeng dalam kalimat masukan. Ini membantu model belajar untuk memahami konteks keseluruhan. Model seperti itu berguna untuk tugas-tugas seperti klasifikasi teks, keterlibatan, dan penjawaban pertanyaan ekstraktif.
2. Prapelatihan Dekoder: Model decoder dilatih untuk menghasilkan token berikutnya berdasarkan urutan token sebelumnya. Mereka dikenal sebagai model bahasa auto-regresif. Lapisan perhatian diri dalam dekoder hanya dapat mengakses token sebelum token yang diberikan dalam kalimat. Model ini ideal untuk tugas yang melibatkan pembuatan teks.
3. Pelatihan Transformer (Encoder-Decoder).: Variasi ini menggabungkan komponen encoder dan decoder. Lapisan perhatian-diri encoder dapat mengakses semua token input, sedangkan lapisan perhatian-diri decoder hanya dapat mengakses token sebelum token yang diberikan. Arsitektur ini memungkinkan decoder untuk menggunakan representasi yang dipelajari oleh encoder. Model encoder-decoder sangat cocok untuk tugas seperti meringkas, menerjemahkan, atau menjawab pertanyaan generatif.

Tujuan prapelatihan dapat melibatkan denoising atau pemodelan bahasa kausal. Tujuan ini lebih kompleks untuk model encoder-decoder dibandingkan dengan model encoder-only atau decoder-only. Arsitektur Transformer memiliki variasi yang berbeda tergantung pada fokus model. Baik itu memahami kalimat lengkap, membuat teks, atau menggabungkan keduanya untuk berbagai tugas, Transformers menawarkan fleksibilitas dalam menangani berbagai tantangan terkait bahasa.

8 Jenis Tugas untuk Model Pra-terlatih

Saat melatih model, kita perlu memberinya tugas atau tujuan untuk dipelajari. Ada berbagai tugas dalam pemrosesan bahasa alami (NLP) yang dapat digunakan untuk model prapelatihan. Mari kita uraikan beberapa tugas ini secara sederhana:

1. Pemodelan Bahasa (LM): Model memprediksi token berikutnya dalam sebuah kalimat. Ia belajar untuk memahami konteks dan menghasilkan kalimat yang koheren.
2. Pemodelan Bahasa Kausal: Model memprediksi token berikutnya dalam urutan teks, mengikuti urutan dari kiri ke kanan. Ini seperti model mendongeng yang menghasilkan kalimat satu kata pada satu waktu.
3. Pemodelan Bahasa Awalan: Model ini memisahkan bagian 'awalan' dari deret utama. Itu dapat mengikuti token apa pun di dalam awalan, dan kemudian menghasilkan urutan lainnya secara otomatis.
4. Pemodelan Bahasa Bertopeng (MLM): Beberapa token dalam kalimat input disamarkan, dan model memprediksi token yang hilang berdasarkan konteks sekitarnya. Ia belajar untuk mengisi kekosongan.
5. Pemodelan Bahasa Permutasi (PLM): Model memprediksi token berikutnya berdasarkan permutasi acak dari urutan input. Ia belajar untuk menangani pesanan token yang berbeda.
6. Denoising Autoencoder (DAE): Model mengambil input yang rusak sebagian dan bertujuan untuk memulihkan input asli yang tidak terdistorsi. Itu belajar untuk menangani kebisingan atau bagian teks yang hilang.
7. Deteksi Token yang Diganti (RTD): Model mendeteksi apakah token berasal dari teks asli atau versi yang dihasilkan. Itu belajar untuk mengidentifikasi token yang diganti atau dimanipulasi.
8. Next Sentence Prediction (NSP): Model belajar membedakan apakah dua kalimat input merupakan segmen kontinu dari data pelatihan. Ia memahami hubungan antar kalimat.

Tugas-tugas ini membantu model mempelajari struktur dan makna bahasa. Dengan melakukan prapelatihan pada tugas-tugas ini, model mendapatkan pemahaman bahasa yang baik sebelum disesuaikan untuk aplikasi tertentu.

30+ Transformer Teratas di AI

Pertanyaan Umum (FAQ)

Transformer dalam AI adalah salah satu jenisnya arsitektur pembelajaran yang mendalam yang telah mengubah pemrosesan bahasa alami dan tugas lainnya. Mereka menggunakan mekanisme perhatian diri untuk menangkap hubungan antara kata-kata dalam sebuah kalimat, memungkinkan mereka untuk memahami dan menghasilkan teks seperti manusia.

Encoder dan decoder adalah komponen yang biasa digunakan dalam model sequence-to-sequence. Encoder memproses data input, seperti teks atau gambar, dan mengubahnya menjadi representasi terkompresi, sedangkan decoder menghasilkan data output berdasarkan representasi yang disandikan, memungkinkan tugas seperti terjemahan bahasa atau teks gambar.

Lapisan perhatian adalah komponen yang digunakan dalam jaringan saraf, khususnya pada model Transformer. Mereka memungkinkan model untuk secara selektif fokus pada bagian yang berbeda dari urutan input, menetapkan bobot untuk setiap elemen berdasarkan relevansinya, memungkinkan untuk menangkap ketergantungan dan hubungan antar elemen secara efektif.

Model yang disetel dengan baik mengacu pada model yang telah dilatih sebelumnya yang telah dilatih lebih lanjut pada tugas atau kumpulan data tertentu untuk meningkatkan kinerjanya dan menyesuaikannya dengan persyaratan khusus dari tugas tersebut. Proses penyempurnaan ini melibatkan penyesuaian parameter model untuk mengoptimalkan prediksinya dan menjadikannya lebih terspesialisasi untuk tugas target.

Transformer dianggap sebagai masa depan AI karena mereka telah menunjukkan performa luar biasa dalam berbagai tugas, termasuk pemrosesan bahasa alami, pembuatan gambar, dan banyak lagi. Kemampuan mereka untuk menangkap ketergantungan jangka panjang dan memproses data sekuensial secara efisien membuatnya sangat mudah beradaptasi dan efektif untuk berbagai aplikasi, membuka jalan bagi kemajuan dalam AI generatif dan merevolusi banyak aspek masyarakat.

Model trafo paling terkenal di AI termasuk BERT (Bidirect Encoder Representations from Transformers), GPT (Transformator Terlatih Generatif), dan T5 (Transformator Transfer Teks-ke-Teks). Model-model ini telah mencapai hasil luar biasa dalam berbagai tugas pemrosesan bahasa alami dan telah mendapatkan popularitas yang signifikan dalam komunitas riset AI.

Baca lebih lanjut tentang AI:

• University of Texas: Pikiran Orang Dapat Diungkap Menggunakan Dekoder Aktivitas Otak
• Facebook Kembangkan Metode Baru untuk Menggandakan Performa AI Transformers
• GPT-4 Dapat Menangani Permintaan Gambar, Dokumen, Diagram, dan Tangkapan Layar Anda

Tentang Penulis

Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah. 

lebih artikel

Damir Yalalov

• 
• 

Damir Yalalov

Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah. 

• 

lebih artikel