A 30+ legjobb transzformátormodell az AI-ban: mik ezek és hogyan működnek

Ossza meg ezt a cikket

• 
• 
• 
• 
• 

by Damir Jalalov

Közzétéve: 12. június 2023., 6:52 Frissítve: 12. június 2023., 6:52

by Gaszcz Karolina

Szerkesztve és tényekkel ellenőrzött: 12. június 2023., 6:52

A helyi nyelvi élmény javítása érdekében időnként automatikus fordítási bővítményt alkalmazunk. Kérjük, vegye figyelembe, hogy az automatikus fordítás nem biztos, hogy pontos, ezért olvassa el eredeti cikk a pontos információkért.

Az elmúlt hónapokban számos Transformer modell jelent meg az AI-ban, mindegyik egyedi és néha mulatságos névvel. Előfordulhat azonban, hogy ezek a nevek nem nyújtanak sok betekintést abba, hogy valójában mit is csinálnak ezek a modellek. Ennek a cikknek a célja, hogy átfogó és egyértelmű listát adjon a legnépszerűbb Transformer modellekről. Besorolja ezeket a modelleket, és fontos szempontokat és újításokat vezet be a Transformer családon belül. A toplista fedi modellek képzett önfelügyelt tanulás útján, mint a BERT ill GPT-3, valamint olyan modellek, amelyek emberi részvétellel további képzésen esnek át, mint például az InstructGPT által használt modell ChatGPT.

Mik azok a transzformátorok az AI-ban?

A transzformátorok a mély tanulási modellek egy fajtája, amelyet a „A figyelem minden, amire szüksége van” a Google kutatói által 2017-ben. Ez a tanulmány óriási elismerésre tett szert, mindössze öt év alatt több mint 38,000 XNUMX idézetet gyűjtött össze.

Az eredeti Transformer architektúra a kódoló-dekódoló modellek sajátos formája, amely a bevezetése előtt vált népszerűvé. Ezek a modellek túlnyomórészt támaszkodtak LSTM és a visszatérő neurális hálózatok egyéb változatai (RNN-ek), a figyelem csak az egyik alkalmazott mechanizmus. A Transformer azonban egy forradalmi ötletet javasolt, amely szerint a figyelem szolgálhat az egyetlen mechanizmusként a bemenet és a kimenet közötti függőségek megállapítására.

A Transformers kontextusában a bemenet tokenek sorozatából áll, amelyek lehetnek szavak vagy részszavak a természetes nyelvi feldolgozásban (NLP). Az NLP-modellekben gyakran alkalmaznak részszavakat a szókincsen kívüli szavak problémájának kezelésére. A kódoló kimenete fix dimenziós reprezentációt állít elő minden tokenhez, valamint külön beágyazást a teljes sorozathoz. A dekódoló veszi a kódoló kimenetét, és kimenetként egy token sorozatot generál.

A Transformer újság megjelenése óta a népszerű modellek kedvelik BERTI és a GPT átvették az eredeti architektúra szempontjait, akár a kódoló, akár a dekódoló komponensek használatával. A legfontosabb hasonlóság e modellek között a rétegarchitektúrában rejlik, amely magában foglalja az önfigyelő mechanizmusokat és az előrecsatolt rétegeket. A Transformers programban minden bemeneti token a saját útvonalán halad át a rétegeken, miközben közvetlen függőséget tart fenn a bemeneti szekvencia összes többi tokenjével. Ez az egyedülálló funkció lehetővé teszi a kontextuális token-reprezentációk párhuzamos és hatékony számítását, amely nem megvalósítható szekvenciális modellekkel, például RNN-ekkel.

Noha ez a cikk csak a Transformer architektúra felszínét karcolja meg, bepillantást enged annak alapvető aspektusaiba. Az átfogóbb megértés érdekében javasoljuk, hogy olvassa el az eredeti kutatási cikket vagy a The Illustrated Transformer bejegyzést.

Mik azok a kódolók és dekóderek az AI-ban?

Képzelje el, hogy két modellje van, egy kódoló és egy dekódoló, közös munka mint egy csapat. A kódoló bemenetet vesz, és rögzített hosszúságú vektorrá alakítja. Ezután a dekódoló veszi ezt a vektort, és kimeneti szekvenciává alakítja. Ezeket a modelleket együtt képezték ki annak érdekében, hogy a kimenet a lehető legjobban illeszkedjen a bemenethez.

Mind a kódoló, mind a dekódoló több rétegből állt. A kódoló minden rétegének két alrétege volt: egy többfejes önfigyelő réteg és egy egyszerű előrecsatolt hálózat. Az önfigyelem réteg segít a bemenetben lévő minden tokennek megérteni a kapcsolatot az összes többi tokennel. Ezek az alrétegek maradék kapcsolattal és rétegnormalizációval is rendelkeznek a tanulási folyamat gördülékenyebbé tétele érdekében.

A dekóder többfejes önfigyelő réteg kicsit másképp működik, mint a kódolóban. Elfedi a tokeneket a fókuszban lévő tokentől jobbra. Ez biztosítja, hogy a dekódoló csak azokat a tokeneket nézze meg, amelyek a megjósolni kívánt token előtt vannak. Ez a maszkolt többfejes figyelem segít a dekódernek pontos előrejelzések generálásában. Ezenkívül a dekóder egy másik alréteget is tartalmaz, amely egy többfejes figyelemréteg a kódoló összes kimenetén.

Fontos megjegyezni, hogy ezek a konkrét részletek a Transformer modell különböző változataiban módosultak. Olyan modellek, mint a BERT és GPTpéldául az eredeti architektúra kódoló vagy dekódoló aspektusán alapulnak.

Mik azok a figyelemrétegek az AI-ban?

A korábban tárgyalt modellarchitektúrában a többfejes figyelemrétegek azok a speciális elemek, amelyek erőteljessé teszik. De mi is pontosan a figyelem? Tekintsd úgy, mint egy függvényt, amely egy kérdést leképez egy információhalmazra, és kimenetet ad. Minden bemeneti tokenhez tartozik egy lekérdezés, kulcs és érték. Az egyes tokenek kimeneti reprezentációja az értékek súlyozott összegének kiszámításával történik, ahol az egyes értékek súlyát az határozza meg, hogy mennyire egyezik a lekérdezéssel.

A transzformátorok a skálázott pontterméknek nevezett kompatibilitási függvényt használják a súlyok kiszámításához. A figyelem érdekessége a Transformersben az, hogy minden token a saját számítási útvonalán megy keresztül, lehetővé téve a bemeneti sorozat összes tokenjének párhuzamos számítását. Ez egyszerűen több figyelemblokk, amely egymástól függetlenül számítja ki az egyes token reprezentációit. Ezeket a reprezentációkat azután kombinálják, hogy létrehozzák a token végső reprezentációját.

Összehasonlítva más típusú hálózatokkal, mint a visszatérő és konvolúciós hálózatok, a figyelemrétegeknek van néhány előnye. Számításilag hatékonyak, vagyis gyorsan képesek feldolgozni az információkat. Magasabb összeköttetéssel is rendelkeznek, ami hasznos a hosszú távú kapcsolatok sorozatokban történő rögzítéséhez.

Mik azok a finomhangolt modellek az AI-ban?

Alapozó modellek hatékony modellek, amelyek nagy mennyiségű általános adatra vannak kiképezve. Ezután adaptálhatók vagy finomhangolhatók meghatározott feladatokhoz, ha egy kisebb halmazra betanítják őket célspecifikus adatok. Ez a megközelítés, amelyet a BERT papír, a Transformer-alapú modellek dominanciájához vezetett a nyelvi gépi tanulási feladatokban.

Az olyan modellek esetében, mint a BERT, létrehozzák a bemeneti tokenek reprezentációit, de nem hajtanak végre meghatározott feladatokat önállóan. Ahhoz, hogy hasznosak legyenek, további idegi rétegek tetejére kerülnek, és a modellt végponttól végpontig betanítják, ezt a folyamatot finomhangolásnak nevezik. Azonban azzal generatív modellek mint GPT, a megközelítés kissé eltér. GPT egy dekóder nyelvi modell, amely a mondat következő szavának előrejelzésére van kiképezve. Hatalmas mennyiségű webes adattal kapcsolatos képzéssel, GPT ésszerű kimeneteket generálhat bemeneti lekérdezések vagy promptok alapján.

Ahhoz, hogy GPT segítőkészebb, OpenAI kutatók fejlesztettek ki utasítGPT, amely az emberi utasítások követésére van kiképezve. Ezt finomhangolással érik el GPT különböző feladatokból származó, emberjelölt adatok felhasználásával. UtasítsaGPT sokféle feladat elvégzésére képes, és olyan népszerű motorok használják, mint pl ChatGPT.

A finomhangolás segítségével az alapozási modellek számára optimalizált változatok is létrehozhatók konkrét célokra túl a nyelvi modellezésen. Vannak például olyan szemantikai vonatkozású feladatokra finomhangolt modellek, mint a szövegosztályozás és a keresési visszakeresés. Ezenkívül a transzformátor-kódolókat sikeresen finomhangolták a több feladaton belül tanulási keretek több szemantikai feladat elvégzésére egyetlen megosztott modell használatával.

Ma finomhangolást alkalmaznak az alapmodellek olyan változatainak létrehozására, amelyeket sok felhasználó használhat. A folyamat magában foglalja a bemenetre adott válaszok generálását kéri, és az emberek rangsorolják az eredményeket. Ezt a rangsort az a jutalommodell, amely minden kimenethez pontszámot rendel. A tanulás megerősítése emberi visszajelzéssel ezután a modell továbbképzésére szolgál.

Miért a Transformers a mesterséges intelligencia jövője?

A transzformátorokat, egyfajta erőteljes modellt először a nyelvi fordítás területén mutattak be. A kutatók azonban hamar rájöttek, hogy a Transformers különféle nyelvi feladatokhoz használható, ha nagy mennyiségű címkézetlen szövegre tanítják őket, majd finomhangolják őket egy kisebb címkézett adathalmazon. Ez a megközelítés lehetővé tette a Transformers számára, hogy jelentős ismereteket szerezzen a nyelvről.

Az eredetileg nyelvi feladatokra tervezett Transformer architektúrát más alkalmazásokban is alkalmazták, mint pl képek generálása, hang, zene és még műveletek is. Emiatt a Transformers kulcsfontosságú elemévé vált a generatív mesterséges intelligencia területén, amely megváltoztatja a társadalom különböző aspektusait.

Az eszközök és keretrendszerek elérhetősége, mint pl PyTorch és a TensorFlow döntő szerepet játszott a Transformer modellek széles körű elterjedésében. Az olyan cégek, mint a Huggingface felépítették a magukét üzlet az ötlet körül A nyílt forráskódú Transformer könyvtárak kereskedelmi forgalomba hozatala és a speciális hardverek, például az NVIDIA Hopper Tensor Cores tovább gyorsították e modellek betanítását és következtetési sebességét.

A Transformers egyik figyelemre méltó alkalmazása az ChatGPT, által kiadott chatbot OpenAI. Hihetetlenül népszerűvé vált, rövid időn belül több millió felhasználóhoz jutott el. OpenAI kiadását is bejelentette GPT-4, egy erősebb verzió, amely képes emberhez hasonló teljesítményt elérni olyan feladatokban, mint pl orvosi és jogi vizsgák.

A Transformers hatása a mesterséges intelligencia és széleskörű alkalmazási területére tagadhatatlan. Van nekik átalakította az utat közeledünk a nyelvvel kapcsolatos feladatokhoz, és egyengetjük az utat a generatív mesterséges intelligencia új fejlesztései előtt.

3 Az előképzési architektúrák típusai

Az eredetileg egy kódolóból és egy dekódolóból álló Transformer architektúra úgy fejlődött, hogy az egyedi igények alapján különböző variációkat tartalmazzon. Bontsuk le ezeket a variációkat egyszerű szavakkal.

1. Kódoló előképzés: Ezek a modellek a teljes mondatok vagy szakaszok megértésére összpontosítanak. Az előképzés során a kódolót a bemeneti mondatban lévő maszkolt tokenek rekonstruálására használják. Ez segít a modellnek megtanulni megérteni az általános kontextust. Az ilyen modellek hasznosak olyan feladatoknál, mint a szövegosztályozás, a következmény és a kivonatoló kérdések megválaszolása.
2. Dekóder előképzés: A dekódoló modelleket arra tanítják, hogy az előző tokenek alapján generálják a következő tokent. Ezeket autoregresszív nyelvi modelleknek nevezik. A dekódoló önfigyelő rétegei csak a mondatban megadott token előtti tokenekhez férhetnek hozzá. Ezek a modellek ideálisak a szöveggenerálást igénylő feladatokhoz.
3. Transzformátor (kódoló-dekódoló) előképzés: Ez a változat a kódoló és a dekódoló összetevőket egyaránt kombinálja. A kódoló önfigyelő rétegei az összes bemeneti tokenhez hozzáférhetnek, míg a dekódoló önfigyelő rétegei csak az adott token előtti tokenekhez. Ez az architektúra lehetővé teszi a dekódoló számára, hogy a kódoló által megtanult reprezentációkat használja. A kódoló-dekódoló modellek kiválóan alkalmasak olyan feladatokra, mint az összegzés, a fordítás vagy a generatív kérdések megválaszolása.

Az előképzési célok zajtalanítást vagy kauzális nyelvi modellezést foglalhatnak magukban. Ezek a célok bonyolultabbak a kódoló-dekódoló modellek esetében, mint a csak kódolót vagy csak dekódolót használó modelleknél. A Transformer architektúra a modell fókuszától függően különböző változatokkal rendelkezik. Legyen szó teljes mondatok értelmezéséről, szöveg generálásáról vagy a kettő kombinációjáról különböző feladatokhoz, a Transformers rugalmasságot kínál a különböző nyelvi kihívások kezelésében.

8 típusú feladat előre betanított modellek számára

Amikor egy modellt képezünk, feladatot vagy célt kell adnunk neki, amiből tanulhatunk. A természetes nyelvi feldolgozásban (NLP) számos feladat létezik, amelyek felhasználhatók a modellek előképzéséhez. Egyszerűen bontsunk le néhány feladatot:

1. Nyelvi modellezés (LM): A modell előrejelzi a következő tokent a mondatban. Megtanulja megérteni a szövegkörnyezetet és koherens mondatokat generálni.
2. Oksági nyelvi modellezés: A modell előrejelzi a következő tokent egy szövegsorozatban, balról jobbra haladva. Olyan, mint egy történetmesélési modell, amely egy-egy szót generál mondatokat.
3. Előtag nyelvi modellezése: A modell elválaszt egy „előtag” részt a fő sorozattól. Az előtag bármely tokent képes kezelni, majd a sorozat többi részét autoregresszíven generálja.
4. Maszkolt nyelvi modellezés (MLM): A bemeneti mondatokban lévő tokenek egy része maszkolva van, és a modell a hiányzó tokeneket a környező kontextus alapján jósolja meg. Megtanulja kitölteni az üres helyeket.
5. Permutált nyelvi modellezés (PLM): A modell előrejelzi a következő tokent a bemeneti sorozat véletlenszerű permutációja alapján. Megtanulja kezelni a tokenek különböző sorrendjét.
6. Denoising Autoencoder (DAE): A modell részben sérült bemenetet vesz fel, és célja az eredeti, torzításmentes bemenet visszaállítása. Megtanulja kezelni a zajt vagy a szöveg hiányzó részeit.
7. Replaced Token Detection (RTD): A modell érzékeli, hogy a token az eredeti szövegből vagy egy generált verzióból származik-e. Megtanulja azonosítani a lecserélt vagy manipulált tokeneket.
8. Következő mondat előrejelzése (NSP): A modell megtanulja megkülönböztetni, hogy két bemeneti mondat folyamatos szegmens-e a betanítási adatokból. Megérti a mondatok közötti kapcsolatot.

Ezek a feladatok segítenek a modellnek megtanulni a nyelv szerkezetét és jelentését. E feladatok előképzésével a modellek jól megértik a nyelvet, mielőtt finomhangolnák az adott alkalmazásokhoz.

A 30+ legjobb transzformátor az AI-ban

GYIK

A transzformátorok az AI-ban egyfajta mély tanulási architektúra amely megváltoztatta a természetes nyelvi feldolgozást és más feladatokat. Önfigyelő mechanizmusokat használnak a szavak közötti kapcsolatok rögzítésére egy mondatban, lehetővé téve számukra, hogy megértsék és létrehozzák az emberszerű szöveget.

A kódolók és a dekóderek a sorozat-szekvencia modellekben általánosan használt összetevők. A kódolók feldolgozzák a bemeneti adatokat, például szöveget vagy képeket, és tömörített reprezentációvá alakítják át, míg a dekóderek a kódolt ábrázolás alapján kimeneti adatokat állítanak elő, lehetővé téve olyan feladatokat, mint a nyelvi fordítás vagy a képaláírás.

A figyelemrétegek olyan összetevők, amelyeket használnak neurális hálózatok, különösen a Transformer modelleknél. Lehetővé teszik a modell számára, hogy szelektíven a bemeneti szekvencia különböző részeire összpontosítson, súlyokat rendelve minden elemhez a relevanciájuk alapján, lehetővé téve az elemek közötti függőségek és kapcsolatok hatékony rögzítését.

A finomhangolt modellek olyan előre betanított modellekre utalnak, amelyeket egy adott feladatra vagy adatkészletre tovább képeztek, hogy javítsák teljesítményüket és igazodjanak az adott feladat speciális követelményeihez. Ez a finomhangolási folyamat magában foglalja a modell paramétereinek beállítását annak érdekében, hogy optimalizálja az előrejelzéseket, és speciálisabbá tegye a célfeladatra.

A transzformátorokat a mesterséges intelligencia jövőjének tekintik, mivel rendkívüli teljesítményt nyújtottak számos feladatban, beleértve a természetes nyelvi feldolgozást, a képgenerálást és egyebeket. A nagy hatótávolságú függőségek rögzítésére és a szekvenciális adatok hatékony feldolgozására való képességük rendkívül alkalmazkodóképessé és hatékonysá teszi őket a különböző alkalmazásokhoz, megnyitva az utat a generatív mesterséges intelligencia fejlődéséhez, és forradalmasítja a társadalom számos aspektusát.

Az AI leghíresebb transzformátormodelljei közé tartozik a BERT (Bidirectional Encoder Representations from Transformers), GPT (Generatív előképzett transzformátor) és T5 (Text-to-Text Transfer Transformer). Ezek a modellek figyelemre méltó eredményeket értek el a különböző természetes nyelvi feldolgozási feladatokban, és jelentős népszerűségre tettek szert az AI-kutató közösségben.

Tudjon meg többet az AI-ról:

• Texasi Egyetem: Az emberek elméje felfedhető agytevékenység-dekóder segítségével
• A Facebook új módszert fejleszt ki az AI Transformerek teljesítményének megduplázására
• GPT-4 Képes, dokumentumok, diagramok és képernyőképek iránti kéréseit kezeli

A szerzőről

Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján. 

További cikkek

Damir Jalalov

• 
• 

Damir Jalalov

Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján. 

• 

További cikkek