30+ Model Transformer Teratas dalam AI: Apa Itu dan Cara Ia Berfungsi

Kongsi artikel ini

• 
• 
• 
• 
• 

by Damir Yalalov

Diterbitkan: 12 Jun 2023 pada 6:52 pagi Dikemas kini: 12 Jun 2023 pada 6:52 pagi

by Karolina Gaszcz

Disunting dan disemak fakta: 12 Jun 2023 jam 6:52 pagi

Untuk meningkatkan pengalaman bahasa tempatan anda, kadangkala kami menggunakan pemalam autoterjemah. Harap maklum bahawa terjemahan automatik mungkin tidak tepat, jadi bacalah asal artikel untuk maklumat yang tepat.

Dalam beberapa bulan kebelakangan ini, banyak model Transformer telah muncul dalam AI, masing-masing dengan nama yang unik dan kadangkala lucu. Walau bagaimanapun, nama ini mungkin tidak memberikan banyak cerapan tentang perkara yang sebenarnya dilakukan oleh model ini. Artikel ini bertujuan untuk menyediakan senarai komprehensif dan mudah bagi model Transformer yang paling popular. Ia akan mengklasifikasikan model ini dan juga memperkenalkan aspek dan inovasi penting dalam keluarga Transformer. Senarai teratas akan meliputi model terlatih melalui pembelajaran kendiri, seperti BERT atau GPT-3, serta model yang menjalani latihan tambahan dengan penglibatan manusia, seperti ArahanGPT model yang digunakan oleh ChatGPT.

Apakah Transformers dalam AI?

Transformers ialah sejenis model pembelajaran mendalam yang telah diperkenalkan dalam kertas penyelidikan yang dipanggil “Perhatian adalah Semua yang Anda Perlukan” oleh penyelidik Google pada 2017. Kertas kerja ini telah mendapat pengiktirafan yang besar, mengumpul lebih 38,000 petikan dalam masa lima tahun sahaja.

Seni bina Transformer asal ialah bentuk khusus model penyahkod pengekod yang telah mendapat populariti sebelum pengenalannya. Model-model ini kebanyakannya bergantung pada LSTM dan variasi lain Rangkaian Neural Berulang (RNN), dengan perhatian hanyalah salah satu daripada mekanisme yang digunakan. Walau bagaimanapun, kertas Transformer mencadangkan idea revolusioner bahawa perhatian boleh berfungsi sebagai mekanisme tunggal untuk mewujudkan kebergantungan antara input dan output.

Dalam konteks Transformers, input terdiri daripada urutan token, yang boleh menjadi perkataan atau subkata dalam pemprosesan bahasa semula jadi (NLP). Subwords biasanya digunakan dalam model NLP untuk menangani isu perkataan di luar perbendaharaan kata. Output pengekod menghasilkan perwakilan dimensi tetap untuk setiap token, bersama-sama dengan pembenaman berasingan untuk keseluruhan jujukan. Penyahkod mengambil output pengekod dan menjana urutan token sebagai outputnya.

Sejak penerbitan kertas Transformer, model popular seperti BERTI and GPT telah menerima pakai aspek seni bina asal, sama ada menggunakan komponen pengekod atau penyahkod. Persamaan utama antara model ini terletak pada seni bina lapisan, yang menggabungkan mekanisme perhatian diri dan lapisan suapan ke hadapan. Dalam Transformers, setiap token input merentasi laluannya sendiri melalui lapisan sambil mengekalkan kebergantungan langsung dengan setiap token lain dalam jujukan input. Ciri unik ini membolehkan pengiraan selari dan cekap bagi perwakilan token kontekstual, keupayaan yang tidak boleh dilaksanakan dengan model berjujukan seperti RNN.

Walaupun artikel ini hanya menconteng permukaan seni bina Transformer, ia memberikan gambaran kepada aspek asasnya. Untuk pemahaman yang lebih komprehensif, kami mengesyorkan merujuk kepada kertas penyelidikan asal atau siaran The Illustrated Transformer.

Apakah Pengekod dan Penyahkod dalam AI?

Bayangkan anda mempunyai dua model, pengekod dan penyahkod, bekerjasama seperti satu pasukan. Pengekod mengambil input dan mengubahnya menjadi vektor panjang tetap. Kemudian, penyahkod mengambil vektor itu dan mengubahnya menjadi urutan output. Model ini dilatih bersama untuk memastikan output sepadan dengan input sedekat mungkin.

Kedua-dua pengekod dan penyahkod mempunyai beberapa lapisan. Setiap lapisan dalam pengekod mempunyai dua sub lapisan: lapisan perhatian diri berbilang kepala dan rangkaian ke hadapan suapan yang mudah. Lapisan perhatian diri membantu setiap token dalam input memahami hubungan dengan semua token lain. Sublapisan ini juga mempunyai sambungan sisa dan normalisasi lapisan untuk menjadikan proses pembelajaran lebih lancar.

Penyahkod berbilang kepala lapisan perhatian diri berfungsi sedikit berbeza daripada yang ada dalam pengekod. Ia menutup token di sebelah kanan token yang difokuskan. Ini memastikan bahawa penyahkod hanya melihat token yang datang sebelum token yang cuba diramalkan. Perhatian berbilang kepala bertopeng ini membantu penyahkod menjana ramalan yang tepat. Selain itu, penyahkod termasuk sublapisan lain, iaitu lapisan perhatian berbilang kepala ke atas semua output daripada pengekod.

Adalah penting untuk ambil perhatian bahawa butiran khusus ini telah diubah suai dalam variasi berbeza model Transformer. Model seperti BERT dan GPT, sebagai contoh, adalah berdasarkan sama ada aspek pengekod atau penyahkod bagi seni bina asal.

Apakah Lapisan Perhatian dalam AI?

Dalam seni bina model yang kita bincangkan sebelum ini, lapisan perhatian berbilang kepala adalah elemen khas yang menjadikannya berkuasa. Tetapi apa sebenarnya perhatian? Fikirkan ia sebagai fungsi yang memetakan soalan kepada satu set maklumat dan memberikan output. Setiap token dalam input mempunyai pertanyaan, kunci dan nilai yang dikaitkan dengannya. Perwakilan output setiap token dikira dengan mengambil jumlah wajaran nilai, di mana berat untuk setiap nilai ditentukan oleh sejauh mana ia sepadan dengan pertanyaan.

Transformer menggunakan fungsi keserasian yang dipanggil produk titik berskala untuk mengira pemberat ini. Perkara yang menarik tentang perhatian dalam Transformers ialah setiap token melalui laluan pengiraannya sendiri, membolehkan pengiraan selari semua token dalam jujukan input. Ia hanyalah beberapa blok perhatian yang mengira perwakilan secara bebas untuk setiap token. Perwakilan ini kemudiannya digabungkan untuk mencipta perwakilan akhir token.

Berbanding dengan jenis rangkaian lain seperti berulang dan rangkaian konvolusi, lapisan perhatian mempunyai beberapa kelebihan. Mereka cekap dari segi pengiraan, bermakna mereka boleh memproses maklumat dengan cepat. Mereka juga mempunyai ketersambungan yang lebih tinggi, yang berguna untuk menangkap hubungan jangka panjang dalam urutan.

Apakah Model Ditala Halus dalam AI?

Model asas adalah model berkuasa yang dilatih pada sejumlah besar data umum. Mereka kemudiannya boleh disesuaikan atau diperhalusi untuk tugasan tertentu dengan melatih mereka pada set yang lebih kecil data khusus sasaran. Pendekatan ini, dipopularkan oleh kertas BERT, telah membawa kepada penguasaan model berasaskan Transformer dalam tugas pembelajaran mesin berkaitan bahasa.

Dalam kes model seperti BERT, mereka menghasilkan perwakilan token input tetapi tidak menyelesaikan tugas tertentu sendiri. Untuk menjadikannya berguna, tambahan lapisan saraf ditambah di atas dan model dilatih dari hujung ke hujung, satu proses yang dikenali sebagai penalaan halus. Walau bagaimanapun, dengan model generatif seperti GPT, pendekatannya berbeza sedikit. GPT ialah model bahasa penyahkod yang dilatih untuk meramal perkataan seterusnya dalam ayat. Dengan latihan mengenai sejumlah besar data web, GPT boleh menjana output yang munasabah berdasarkan pertanyaan input atau gesaan.

Untuk membuat GPT lebih membantu, OpenAI penyelidik maju ArahkanGPT, yang dilatih untuk mengikut arahan manusia. Ini dicapai dengan penalaan halus GPT menggunakan data berlabel manusia daripada pelbagai tugas. MengarahkanGPT mampu melaksanakan pelbagai tugas dan digunakan oleh enjin popular seperti ChatGPT.

Penalaan halus juga boleh digunakan untuk mencipta varian model asas yang dioptimumkan tujuan tertentu di luar pemodelan bahasa. Sebagai contoh, terdapat model yang diperhalusi untuk tugasan berkaitan semantik seperti pengelasan teks dan perolehan carian. Selain itu, pengekod pengubah telah berjaya diperhalusi dalam pelbagai tugas kerangka pembelajaran untuk melaksanakan pelbagai tugas semantik menggunakan model kongsi tunggal.

Hari ini, penalaan halus digunakan untuk mencipta versi model asas yang boleh digunakan oleh sebilangan besar pengguna. Proses ini melibatkan penjanaan respons kepada input menggesa dan meminta manusia menilai keputusan. Kedudukan ini digunakan untuk melatih a model ganjaran, yang memberikan markah kepada setiap output. Pembelajaran pengukuhan dengan maklum balas manusia kemudiannya digunakan untuk melatih model tersebut.

Mengapa Transformers adalah masa depan AI?

Transformer, sejenis model berkuasa, pertama kali ditunjukkan dalam bidang terjemahan bahasa. Walau bagaimanapun, penyelidik dengan cepat menyedari bahawa Transformers boleh digunakan untuk pelbagai tugas berkaitan bahasa dengan melatih mereka pada sejumlah besar teks tidak berlabel dan kemudian memperhalusinya pada set data berlabel yang lebih kecil. Pendekatan ini membolehkan Transformers menangkap pengetahuan penting tentang bahasa.

Seni bina Transformer, pada asalnya direka untuk tugas bahasa, juga telah digunakan untuk aplikasi lain seperti menghasilkan imej, audio, muzik dan juga tindakan. Ini telah menjadikan Transformers sebagai komponen utama dalam bidang Generative AI, iaitu mengubah pelbagai aspek masyarakat.

Ketersediaan alatan dan rangka kerja seperti PyTorch and TensorFlow telah memainkan peranan penting dalam penggunaan meluas model Transformer. Syarikat seperti Huggingface telah membina syarikat mereka perniagaan di sekitar idea mengkomersialkan perpustakaan Transformer sumber terbuka, dan perkakasan khusus seperti Hopper Tensor Cores NVIDIA telah mempercepatkan lagi latihan dan kelajuan inferens model ini.

Satu aplikasi Transformers yang ketara ialah ChatGPT, chatbot yang dikeluarkan oleh OpenAI. Ia menjadi sangat popular, menjangkau berjuta-juta pengguna dalam tempoh yang singkat. OpenAI juga telah mengumumkan pelepasan GPT-4, versi yang lebih berkuasa yang mampu mencapai prestasi seperti manusia dalam tugasan seperti peperiksaan perubatan dan undang-undang.

Kesan Transformers dalam bidang AI dan pelbagai aplikasinya tidak dapat dinafikan. Mereka mempunyai mengubah cara kami menghampiri tugas berkaitan bahasa dan membuka jalan untuk kemajuan baharu dalam AI generatif.

3 Jenis Seni Bina Pralatihan

Seni bina Transformer, pada asalnya terdiri daripada Pengekod dan Penyahkod, telah berkembang untuk memasukkan variasi berbeza berdasarkan keperluan khusus. Mari pecahkan variasi ini dalam istilah mudah.

1. Pralatihan Pengekod: Model-model ini memberi tumpuan kepada pemahaman ayat atau petikan yang lengkap. Semasa pralatihan, pengekod digunakan untuk membina semula token bertopeng dalam ayat input. Ini membantu model belajar memahami konteks keseluruhan. Model sedemikian berguna untuk tugas seperti klasifikasi teks, entaiment dan menjawab soalan ekstraktif.
2. Pralatihan Penyahkod: Model penyahkod dilatih untuk menjana token seterusnya berdasarkan urutan token sebelumnya. Ia dikenali sebagai model bahasa auto-regresif. Lapisan perhatian diri dalam penyahkod hanya boleh mengakses token sebelum token yang diberikan dalam ayat. Model ini sesuai untuk tugas yang melibatkan penjanaan teks.
3. Transformer (Encoder-Decoder) Pralatihan: Variasi ini menggabungkan kedua-dua komponen pengekod dan penyahkod. Lapisan perhatian kendiri pengekod boleh mengakses semua token input, manakala lapisan perhatian kendiri penyahkod hanya boleh mengakses token sebelum token yang diberikan. Seni bina ini membolehkan penyahkod menggunakan perwakilan yang dipelajari oleh pengekod. Model penyahkod pengekod sangat sesuai untuk tugas seperti ringkasan, terjemahan atau menjawab soalan generatif.

Objektif pralatihan boleh melibatkan pemodelan bahasa denoising atau kausal. Objektif ini lebih kompleks untuk model penyahkod pengekod berbanding model pengekod sahaja atau penyahkod sahaja. Seni bina Transformer mempunyai variasi yang berbeza bergantung pada fokus model. Sama ada memahami ayat yang lengkap, menjana teks atau menggabungkan kedua-duanya untuk pelbagai tugas, Transformers menawarkan fleksibiliti dalam menangani cabaran berkaitan bahasa yang berbeza.

8 Jenis Tugasan untuk Model Pra-terlatih

Apabila melatih model, kita perlu memberikan tugas atau objektif untuk dipelajari. Terdapat pelbagai tugas dalam pemprosesan bahasa semula jadi (NLP) yang boleh digunakan untuk model pralatihan. Mari kita pecahkan beberapa tugasan ini secara ringkas:

1. Pemodelan Bahasa (LM): Model meramalkan token seterusnya dalam ayat. Ia belajar memahami konteks dan menjana ayat yang koheren.
2. Pemodelan Bahasa Sebab: Model meramalkan token seterusnya dalam urutan teks, mengikut susunan dari kiri ke kanan. Ia seperti model bercerita yang menjana ayat satu perkataan pada satu masa.
3. Pemodelan Bahasa Awalan: Model memisahkan bahagian 'awalan' daripada urutan utama. Ia boleh menangani sebarang token dalam awalan, dan kemudian menjana jujukan yang lain secara autoregresif.
4. Pemodelan Bahasa Bertopeng (MLM): Sesetengah token dalam ayat input bertopeng dan model meramalkan token yang hilang berdasarkan konteks sekeliling. Ia belajar mengisi tempat kosong.
5. Pemodelan Bahasa Permuted (PLM): Model meramalkan token seterusnya berdasarkan pilih atur rawak jujukan input. Ia belajar mengendalikan pelbagai pesanan token.
6. Denoising Autoencoder (DAE): Model mengambil input yang sebahagiannya rosak dan bertujuan untuk memulihkan input asal yang tidak diherotkan. Ia belajar mengendalikan bunyi atau bahagian teks yang hilang.
7. Pengesanan Token yang Digantikan (RTD): Model mengesan sama ada token berasal daripada teks asal atau versi yang dijana. Ia belajar mengenal pasti token yang diganti atau dimanipulasi.
8. Ramalan Ayat Seterusnya (NSP): Model belajar untuk membezakan sama ada dua ayat input adalah segmen berterusan daripada data latihan. Ia memahami hubungan antara ayat.

Tugasan ini membantu model mempelajari struktur dan makna bahasa. Dengan pralatihan tentang tugasan ini, model memperoleh pemahaman yang baik tentang bahasa sebelum diperhalusi untuk aplikasi tertentu.

30+ Transformer Teratas dalam AI

Soalan Lazim

Transformer dalam AI adalah sejenis seni bina pembelajaran mendalam yang telah mengubah pemprosesan bahasa semula jadi dan tugas-tugas lain. Mereka menggunakan mekanisme perhatian diri untuk menangkap hubungan antara perkataan dalam ayat, membolehkan mereka memahami dan menjana teks seperti manusia.

Pengekod dan penyahkod ialah komponen yang biasa digunakan dalam model urutan ke jujukan. Pengekod memproses data input, seperti teks atau imej, dan menukarnya menjadi perwakilan termampat, manakala penyahkod menjana data output berdasarkan perwakilan yang dikodkan, membolehkan tugas seperti terjemahan bahasa atau kapsyen imej.

Lapisan perhatian ialah komponen yang digunakan dalam rangkaian saraf, terutamanya dalam model Transformer. Ia membolehkan model memfokus secara selektif pada bahagian jujukan input yang berlainan, memberikan pemberat kepada setiap elemen berdasarkan perkaitannya, membolehkan untuk menangkap kebergantungan dan hubungan antara elemen dengan berkesan.

Model diperhalusi merujuk kepada model pra-latihan yang telah dilatih lebih lanjut mengenai tugas atau set data tertentu untuk meningkatkan prestasi mereka dan menyesuaikannya dengan keperluan khusus tugasan itu. Proses penalaan halus ini melibatkan pelarasan parameter model untuk mengoptimumkan ramalannya dan menjadikannya lebih khusus untuk tugas sasaran.

Transformer dianggap sebagai masa depan AI kerana mereka telah menunjukkan prestasi luar biasa dalam pelbagai tugas, termasuk pemprosesan bahasa semula jadi, penjanaan imej dan banyak lagi. Keupayaan mereka untuk menangkap kebergantungan jarak jauh dan memproses data berurutan dengan cekap menjadikannya sangat mudah disesuaikan dan berkesan untuk pelbagai aplikasi, membuka jalan untuk kemajuan dalam AI generatif dan merevolusikan banyak aspek masyarakat.

Model pengubah yang paling terkenal dalam AI termasuk BERT (Perwakilan Pengekod Dua Arah daripada Transformers), GPT (Transformer Pra-latihan Generatif), dan T5 (Transformer Pemindahan Teks-ke-Teks). Model ini telah mencapai hasil yang luar biasa dalam pelbagai tugas pemprosesan bahasa semula jadi dan telah mendapat populariti yang ketara dalam komuniti penyelidikan AI.

Baca lebih lanjut mengenai AI:

• Universiti Texas: Minda Rakyat Boleh Didedahkan Menggunakan Dekoder Aktiviti Otak
• Facebook Membangunkan Kaedah Baharu untuk Menggandakan Prestasi AI Transformers
• GPT-4 Boleh Mengendalikan Permintaan Anda untuk Imej, Dokumen, Gambar rajah dan Tangkapan Skrin

Tentang Pengarang

Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah. 

lebih banyak artikel

Damir Yalalov

• 
• 

Damir Yalalov

Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah. 

• 

lebih banyak artikel