Yapay Zekada En İyi 30+ Transformatör Modeli: Nedirler ve Nasıl Çalışırlar?

Bu makaleyi paylaş

• 
• 
• 
• 
• 

by Damir Yalalov

Yayınlanma: 12 Haziran 2023, 6:52 Güncellenme: 12 Haziran 2023, 6:52

by Karolina Gaszcz

Düzenlendi ve doğruluk kontrolü yapıldı: 12 Haziran 2023, 6:52

Yerel dil deneyiminizi iyileştirmek için bazen bir otomatik çeviri eklentisi kullanırız. Lütfen otomatik çevirinin doğru olmayabileceğini unutmayın, bu nedenle okuyun orijinal Kesin bilgi için makale.

Son aylarda, AI'da her biri benzersiz ve bazen eğlenceli adlara sahip çok sayıda Transformer modeli ortaya çıktı. Ancak, bu isimler, bu modellerin gerçekte ne yaptığına dair fazla fikir vermeyebilir. Bu makale, en popüler Transformer modellerinin kapsamlı ve anlaşılır bir listesini sunmayı amaçlamaktadır. Bu modelleri sınıflandıracak ve ayrıca Transformer ailesi içindeki önemli yönleri ve yenilikleri tanıtacaktır. Üst liste kapsayacak eğitimli modeller BERT gibi kendi kendini denetleyen öğrenme yoluyla veya GPT-3, ayrıca Instruct gibi insan katılımıyla ek eğitime tabi tutulan modellerGPT tarafından kullanılan model ChatGPT.

AI'daki Transformers nedir?

Transformatörler, “adlı bir araştırma makalesinde tanıtılan bir tür derin öğrenme modelidir.Dikkat, İhtiyacınız Olan Tek Şeydir” 2017'de Google araştırmacıları tarafından. Bu makale, yalnızca beş yıl içinde 38,000'den fazla alıntı toplayarak muazzam bir kabul gördü.

Orijinal Transformer mimarisi, tanıtılmasından önce popülerlik kazanmış olan kodlayıcı-kod çözücü modellerinin özel bir biçimidir. Bu modeller ağırlıklı olarak LSTM ve Tekrarlayan Sinir Ağlarının diğer varyasyonları (RNN'ler), kullanılan mekanizmalardan sadece biri olan dikkat ile. Bununla birlikte, Transformer makalesi, dikkatin girdi ve çıktı arasında bağımlılıklar kurmak için tek mekanizma olarak hizmet edebileceğine dair devrim niteliğinde bir fikir önerdi.

Transformers bağlamında girdi, doğal dil işlemede sözcükler veya alt sözcükler olabilen bir dizi belirteçten oluşur (NLP). Alt kelimeler, kelime dağarcığı dışındaki kelimeler sorununu çözmek için NLP modellerinde yaygın olarak kullanılır. Kodlayıcının çıktısı, tüm dizi için ayrı bir gömme ile birlikte her simge için sabit boyutlu bir temsil üretir. Kod çözücü, kodlayıcının çıktısını alır ve çıktısı olarak bir dizi belirteç üretir.

Transformer makalesinin yayınlanmasından bu yana, popüler modeller Bert ve GPT Kodlayıcı veya kod çözücü bileşenlerini kullanarak orijinal mimarinin bazı yönlerini benimsemişlerdir. Bu modeller arasındaki temel benzerlik, öz-dikkat mekanizmalarını ve ileri beslemeli katmanları içeren katman mimarisinde yatmaktadır. Transformers'ta her giriş jetonu, giriş dizisindeki diğer jetonlarla doğrudan bağımlılığı korurken katmanlar arasında kendi yolunu kat eder. Bu benzersiz özellik, RNN'ler gibi sıralı modellerle mümkün olmayan bir yetenek olan, bağlamsal belirteç temsillerinin paralel ve verimli bir şekilde hesaplanmasına olanak tanır.

Bu makale, Transformer mimarisinin yalnızca yüzeyini çizerken, temel yönlerine bir bakış sağlar. Daha kapsamlı bir anlayış için, orijinal araştırma makalesine veya The Illustrated Transformer gönderisine başvurmanızı öneririz.

AI'daki Kodlayıcılar ve Kod Çözücüler nelerdir?

Bir kodlayıcı ve bir kod çözücü olmak üzere iki modeliniz olduğunu hayal edin, birlikte çalışma takım gibi Kodlayıcı bir girdi alır ve onu sabit uzunlukta bir vektöre dönüştürür. Ardından, kod çözücü bu vektörü alır ve onu bir çıktı dizisine dönüştürür. Bu modeller, çıktının girdiyle mümkün olduğunca yakından eşleşmesini sağlamak için birlikte eğitilir.

Hem kodlayıcı hem de kod çözücü birkaç katmana sahipti. Kodlayıcıdaki her katmanın iki alt katmanı vardı: çok başlı bir öz-dikkat katmanı ve basit bir ileri beslemeli ağ. Öz-dikkat katmanı, girdideki her belirtecin diğer tüm belirteçlerle olan ilişkileri anlamasına yardımcı olur. Bu alt katmanlar ayrıca, öğrenme sürecini daha sorunsuz hale getirmek için artık bir bağlantıya ve bir katman normalleştirmesine sahiptir.

Kod çözücünün çoklu kafası kendine dikkat katmanı kodlayıcıdakinden biraz farklı çalışır. Odaklandığı belirtecin sağındaki belirteçleri maskeler. Bu, kod çözücünün yalnızca tahmin etmeye çalıştığından önce gelen belirteçlere bakmasını sağlar. Bu maskelenmiş çok kafalı dikkat, kod çözücünün doğru tahminler üretmesine yardımcı olur. Ek olarak, kod çözücü, kodlayıcıdan gelen tüm çıktıların üzerinde çok başlı bir dikkat katmanı olan başka bir alt katman içerir.

Bu özel ayrıntıların, Transformer modelinin farklı varyasyonlarında değiştirildiğini not etmek önemlidir. BERT gibi modeller ve GPTörneğin, orijinal mimarinin kodlayıcı veya kod çözücü yönüne dayalıdır.

AI'daki Dikkat Katmanları nelerdir?

Daha önce ele aldığımız model mimarisinde, çok başlı dikkat katmanları onu güçlü kılan özel unsurlardır. Ama dikkat tam olarak nedir? Soruyu bir dizi bilgiyle eşleştiren ve bir çıktı veren bir işlev olarak düşünün. Girdideki her belirtecin kendisiyle ilişkili bir sorgusu, anahtarı ve değeri vardır. Her belirtecin çıktı gösterimi, değerlerin ağırlıklı toplamı alınarak hesaplanır; burada her değerin ağırlığı, sorguyla ne kadar iyi eşleştiğine göre belirlenir.

Transformatörler, bu ağırlıkları hesaplamak için ölçeklendirilmiş nokta çarpım adı verilen bir uyumluluk işlevi kullanır. Transformers'ta dikkat ile ilgili ilginç olan şey, her jetonun kendi hesaplama yolundan geçmesi ve giriş dizisindeki tüm jetonların paralel hesaplanmasına izin vermesidir. Basitçe, her belirteç için temsilleri bağımsız olarak hesaplayan çoklu dikkat bloklarıdır. Bu temsiller daha sonra jetonun nihai temsilini oluşturmak için birleştirilir.

Tekrarlayan ağlar gibi diğer ağ türleri ile karşılaştırıldığında evrişimli ağlar, dikkat katmanlarının birkaç avantajı vardır. Hesaplama açısından verimlidirler, yani bilgileri hızlı bir şekilde işleyebilirler. Ayrıca, dizilerdeki uzun vadeli ilişkileri yakalamaya yardımcı olan daha yüksek bağlantıya sahiptirler.

AI'da İnce Ayarlı Modeller nelerdir?

temel modelleri büyük miktarda genel veri üzerinde eğitilmiş güçlü modellerdir. Daha sonra, daha küçük bir sette eğitilerek belirli görevler için uyarlanabilir veya ince ayar yapılabilir. hedefe özel veriler. tarafından yaygınlaştırılan bu yaklaşım, BERT kağıdı, dil ile ilgili makine öğrenimi görevlerinde Transformer tabanlı modellerin hakimiyetine yol açmıştır.

BERT gibi modeller söz konusu olduğunda, girdi belirteçlerinin temsillerini üretirler ancak belirli görevleri kendi başlarına gerçekleştirmezler. Kullanışlı hale getirmek için ek nöral katmanlar üstüne eklenir ve model uçtan uca eğitilir, bu süreç ince ayar olarak bilinir. Ancak, ile üretken modeller sevmek GPTyaklaşım biraz farklıdır. GPT bir cümledeki sonraki kelimeyi tahmin etmek için eğitilmiş bir kod çözücü dil modelidir. Çok miktarda web verisi üzerinde eğitim alarak, GPT giriş sorgularına veya istemlerine dayalı olarak makul çıktılar üretebilir.

Yapmak için GPT daha yararlı, OpenAI araştırmacılar geliştirdi ÖğretmekGPTinsan talimatlarını takip etmek üzere eğitilmiştir. Bu ince ayar ile elde edilir GPT çeşitli görevlerden insan etiketli verileri kullanma. ÖğretmekGPT çok çeşitli görevleri yerine getirme yeteneğine sahiptir ve aşağıdaki gibi popüler motorlar tarafından kullanılır: ChatGPT.

İnce ayar, aynı zamanda aşağıdakiler için optimize edilmiş temel modellerinin varyantlarını oluşturmak için de kullanılabilir: Belirli Amaçlar dil modellemenin ötesinde. Örneğin, metin sınıflandırma ve arama bulma gibi anlamla ilgili görevler için ince ayarlı modeller vardır. Ek olarak, trafo kodlayıcıları çoklu görev içinde başarılı bir şekilde ince ayarlanmıştır. öğrenme çerçeveleri tek bir paylaşılan model kullanarak birden çok anlamsal görevi gerçekleştirmek için.

Günümüzde, temel modellerin çok sayıda kullanıcı tarafından kullanılabilen versiyonlarını oluşturmak için ince ayar kullanılmaktadır. Süreç, girdiye yanıtların üretilmesini içerir. istemler ve insanların sonuçları sıralamasını sağlamak. Bu sıralama, bir ödül modeli, her çıktıya puan atayan. İnsan geri bildirimi ile pekiştirmeli öğrenme daha sonra modeli daha fazla eğitmek için kullanılır.

Transformers neden yapay zekanın geleceği?

Bir tür güçlü model olan Transformers, ilk olarak dil çevirisi alanında gösterildi. Ancak araştırmacılar, Transformers'ı büyük miktarda etiketlenmemiş metin üzerinde eğiterek ve ardından daha küçük bir etiketli veri kümesi üzerinde ince ayar yaparak, dille ilgili çeşitli görevler için kullanılabileceğini çabucak fark ettiler. Bu yaklaşım, Transformers'ın dil hakkında önemli bilgiler elde etmesini sağladı.

Başlangıçta dil görevleri için tasarlanan Transformer mimarisi, aşağıdakiler gibi diğer uygulamalara da uygulanmıştır: görüntü oluşturma, ses, müzik ve hatta eylemler. Bu, Transformers'ı, toplumun çeşitli yönlerini değiştiren Üretken Yapay Zeka alanında önemli bir bileşen haline getirdi.

gibi araçların ve çerçevelerin mevcudiyeti PyTorch ve TensorFlow Transformer modellerinin yaygınlaşmasında çok önemli bir rol oynamıştır. Huggingface gibi şirketler kendi fikir etrafında iş açık kaynaklı Transformer kitaplıklarının ticarileştirilmesi ve NVIDIA'nın Hopper Tensor Çekirdekleri gibi özel donanımlar, bu modellerin eğitim ve çıkarım hızını daha da hızlandırdı.

Transformers'ın dikkate değer bir uygulaması, ChatGPT, tarafından yayınlanan bir chatbot OpenAI. Kısa sürede milyonlarca kullanıcıya ulaşarak inanılmaz popüler oldu. OpenAI ayrıca yayınlanacağını duyurdu GPT-4gibi görevlerde insan benzeri performans elde edebilen daha güçlü bir versiyon tıbbi ve yasal sınavlar.

Transformers'ın AI alanındaki etkisi ve geniş uygulama yelpazesi inkar edilemez. Onlar sahip yolu değiştirdi dille ilgili görevlere yaklaşıyoruz ve üretken yapay zekada yeni ilerlemelerin önünü açıyoruz.

3 Ön Eğitim Mimarisi Türü

Orijinal olarak bir Kodlayıcı ve bir Kod Çözücüden oluşan Transformer mimarisi, özel ihtiyaçlara dayalı olarak farklı varyasyonları içerecek şekilde gelişmiştir. Bu varyasyonları basit terimlerle inceleyelim.

1. Kodlayıcı Ön Eğitimi: Bu modeller tam cümleleri veya pasajları anlamaya odaklanır. Ön eğitim sırasında kodlayıcı, giriş cümlesindeki maskelenmiş belirteçleri yeniden oluşturmak için kullanılır. Bu, modelin genel bağlamı anlamayı öğrenmesine yardımcı olur. Bu tür modeller, metin sınıflandırma, gereklilik ve çıkarımsal soru yanıtlama gibi görevler için kullanışlıdır.
2. Kod Çözücü Ön Eğitimi: Kod çözücü modelleri, önceki belirteç dizisine dayalı olarak bir sonraki belirteci oluşturmak üzere eğitilir. Otomatik gerileyen dil modelleri olarak bilinirler. Kod çözücüdeki öz-dikkat katmanları, yalnızca cümlede belirli bir belirteçten önceki belirteçlere erişebilir. Bu modeller, metin oluşturmayı içeren görevler için idealdir.
3. Transformatör (Kodlayıcı-Kod Çözücü) Ön Eğitimi: Bu varyasyon, hem kodlayıcı hem de kod çözücü bileşenlerini birleştirir. Kodlayıcının öz-dikkat katmanları tüm girdi belirteçlerine erişebilirken, kod çözücünün öz-dikkat katmanları yalnızca belirli bir belirteçten önceki belirteçlere erişebilir. Bu mimari, kod çözücünün kodlayıcı tarafından öğrenilen temsilleri kullanmasını sağlar. Kodlayıcı-kod çözücü modelleri özetleme, çeviri veya üretken soru yanıtlama gibi görevler için çok uygundur.

Ön eğitim hedefleri, gürültü giderme veya nedensel dil modellemeyi içerebilir. Bu hedefler, yalnızca kodlayıcı veya yalnızca kod çözücü modelleriyle karşılaştırıldığında kodlayıcı-kod çözücü modelleri için daha karmaşıktır. Transformer mimarisi, modelin odağına bağlı olarak farklı varyasyonlara sahiptir. İster tam cümleleri anlamak, ister metin oluşturmak veya çeşitli görevler için her ikisini birleştirmek olsun, Transformers dille ilgili farklı zorlukların üstesinden gelmede esneklik sunar.

Önceden Eğitilmiş Modeller İçin 8 Görev Türü

Bir modeli eğitirken, ona öğrenmesi için bir görev veya hedef vermemiz gerekir. Doğal dil işlemede (NLP) ön eğitim modelleri için kullanılabilecek çeşitli görevler vardır. Bu görevlerden bazılarını basit terimlerle inceleyelim:

1. Dil Modelleme (LM): Model, bir cümledeki bir sonraki belirteci tahmin eder. Bağlamı anlamayı ve tutarlı cümleler kurmayı öğrenir.
2. Nedensel Dil Modelleme: Model, soldan sağa bir sırayı izleyerek bir metin dizisindeki bir sonraki belirteci tahmin eder. Her seferinde bir kelime cümle oluşturan bir hikaye anlatma modeli gibi.
3. Önek Dili Modelleme: Model, bir 'önek' bölümünü ana diziden ayırır. Önek içindeki herhangi bir belirteçle ilgilenebilir ve ardından dizinin geri kalanını otoregresif olarak oluşturur.
4. Maskeli Dil Modellemesi (MLM): Girdi cümlelerindeki bazı belirteçler maskelenir ve model, çevreleyen bağlama göre eksik belirteçleri tahmin eder. Boşlukları doldurmayı öğrenir.
5. Permuted Language Modeling (PLM): Model, giriş dizisinin rastgele bir permütasyonuna dayalı olarak bir sonraki belirteci tahmin eder. Farklı jeton siparişlerini işlemeyi öğrenir.
6. Gürültü Giderici Otomatik Kodlayıcı (DAE): Model, kısmen bozulmuş bir girişi alır ve orijinal, bozulmamış girişi kurtarmayı amaçlar. Gürültüyü veya metnin eksik kısımlarını işlemeyi öğrenir.
7. Değiştirilen Belirteç Tespiti (RTD): Model, bir belirtecin orijinal metinden mi yoksa oluşturulmuş bir sürümden mi geldiğini algılar. Değiştirilen veya manipüle edilen belirteçleri tanımlamayı öğrenir.
8. Sonraki Cümle Tahmini (NSP): Model, eğitim verilerinden iki giriş cümlesinin sürekli segmentler olup olmadığını ayırt etmeyi öğrenir. Cümleler arasındaki ilişkiyi anlar.

Bu görevler, modelin dilin yapısını ve anlamını öğrenmesine yardımcı olur. Bu görevler üzerinde önceden eğitim alarak modeller, belirli uygulamalar için ince ayar yapılmadan önce iyi bir dil anlayışı kazanır.

Yapay Zeka Alanında En İyi 30'dan Fazla Transformatör

FAQs

AI'daki transformatörler bir tür derin öğrenme mimarisi bu, doğal dil işlemeyi ve diğer görevleri değiştirmiştir. Cümledeki kelimeler arasındaki ilişkileri yakalamak için kendine dikkat mekanizmalarını kullanırlar ve insan benzeri metinleri anlamalarını ve oluşturmalarını sağlarlar.

Kodlayıcılar ve kod çözücüler, diziden diziye modellerde yaygın olarak kullanılan bileşenlerdir. Kodlayıcılar, metin veya görüntüler gibi girdi verilerini işler ve sıkıştırılmış bir temsile dönüştürürken, kod çözücüler, dil çevirisi veya görüntü altyazısı gibi görevleri etkinleştirerek kodlanmış temsile dayalı çıktı verileri üretir.

Dikkat katmanları, kullanılan bileşenlerdir. nöral ağlar, özellikle Transformer modellerinde. Modelin girdi dizisinin farklı bölümlerine seçici olarak odaklanmasını sağlar, alaka düzeyine göre her bir öğeye ağırlıklar atar, öğeler arasındaki bağımlılıkları ve ilişkileri etkili bir şekilde yakalamaya izin verir.

İnce ayarlı modeller, performanslarını iyileştirmek ve bunları o görevin özel gereksinimlerine uyarlamak için belirli bir görev veya veri kümesi üzerinde daha fazla eğitilmiş önceden eğitilmiş modelleri ifade eder. Bu ince ayar süreci, tahminlerini optimize etmek ve onu hedef görev için daha özel hale getirmek için modelin parametrelerinin ayarlanmasını içerir.

Transformatörler, doğal dil işleme, görüntü oluşturma ve daha fazlası dahil olmak üzere çok çeşitli görevlerde olağanüstü performans gösterdikleri için yapay zekanın geleceği olarak kabul edilir. Uzun menzilli bağımlılıkları yakalama ve sıralı verileri verimli bir şekilde işleme yetenekleri, onları çeşitli uygulamalar için son derece uyarlanabilir ve etkili kılarak üretken yapay zekadaki ilerlemelerin önünü açar ve toplumun birçok alanında devrim yaratır.

Yapay zekadaki en ünlü transformatör modelleri arasında BERT (Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri), GPT (Üretken Ön Eğitimli Transformatör) ve T5 (Metinden Metne Aktarım Transformatörü). Bu modeller, çeşitli doğal dil işleme görevlerinde dikkate değer sonuçlar elde etmiş ve yapay zeka araştırma topluluğunda önemli bir popülerlik kazanmıştır.

AI hakkında daha fazlasını okuyun:

• Texas Üniversitesi: Bir Beyin Aktivitesi Kod Çözücü Kullanılarak İnsanların Zihinleri Açığa Çıkarılabilir
• Facebook, AI Transformers'ın Performansını İkiye Katlamak İçin Yeni Bir Yöntem Geliştiriyor
• GPT-4 Resim, Belge, Diyagram ve Ekran Görüntüsü Taleplerinizi Karşılayabilir

Yazar hakkında

Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı. 

Daha fazla haber

Damir Yalalov

• 
• 

Damir Yalalov

Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı. 

• 

Daha fazla haber