Viac ako 30 najlepších modelov transformátorov v AI: Čo sú a ako fungujú

Zdieľajte tento článok

• 
• 
• 
• 
• 

by Damir Yalalov

Zverejnené: 12. 2023. 6 o 52:12 Aktualizované: 2023. 6. 52 o XNUMX:XNUMX

by Karolína Gaszczová

Upravené a overené: 12. júna 2023 o 6:52

Na zlepšenie vašej skúsenosti s miestnym jazykom niekedy používame doplnok automatického prekladu. Upozorňujeme, že automatický preklad nemusí byť presný, preto si ho prečítajte originál článok pre presné informácie.

V posledných mesiacoch sa v oblasti AI objavilo množstvo modelov Transformer, z ktorých každý má jedinečné a niekedy aj zábavné názvy. Tieto názvy však nemusia poskytnúť veľa informácií o tom, čo tieto modely skutočne robia. Cieľom tohto článku je poskytnúť komplexný a jednoduchý zoznam najpopulárnejších modelov Transformer. Zatriedi tieto modely a predstaví aj dôležité aspekty a inovácie v rámci rodiny Transformer. Horný zoznam bude pokrývať vycvičené modely prostredníctvom učenia s vlastným dohľadom, ako je BERT alebo GPT-3, ako aj modely, ktoré prechádzajú dodatočným tréningom s ľudským zapojením, ako napríklad InstructGPT model využívaný ChatGPT.

Čo sú Transformers v AI?

Transformátory sú typom modelov hlbokého učenia, ktoré boli predstavené vo výskumnej práci s názvom „Pozornosť je všetko, čo potrebujete“ od výskumníkov spoločnosti Google v roku 2017. Tento dokument si získal obrovské uznanie a za pouhých päť rokov nazbieral viac ako 38,000 XNUMX citácií.

Pôvodná architektúra Transformer je špecifickou formou modelov kódovačov a dekodérov, ktoré si získali popularitu už pred uvedením na trh. Tieto modely sa prevažne spoliehali na LSTM a ďalšie variácie rekurentných neurónových sietí (RNN), pričom pozornosť je len jedným z používaných mechanizmov. Dokument Transformer však navrhol revolučnú myšlienku, že pozornosť by mohla slúžiť ako jediný mechanizmus na vytvorenie závislostí medzi vstupom a výstupom.

V kontexte Transformers pozostáva vstup zo sekvencie tokenov, ktorými môžu byť slová alebo podslová v spracovaní prirodzeného jazyka (NLP). Podslová sa bežne používajú v modeloch NLP na riešenie problému slov mimo slovnej zásoby. Výstup kodéra vytvára reprezentáciu s pevným rozmerom pre každý token spolu so samostatným vložením pre celú sekvenciu. Dekodér preberá výstup z kódovača a ako výstup generuje sekvenciu tokenov.

Od vydania papiera Transformer sa obľúbeným modelom páči BERTI a GPT prijali aspekty pôvodnej architektúry buď pomocou komponentov kódovača alebo dekodéra. Kľúčová podobnosť medzi týmito modelmi spočíva v architektúre vrstiev, ktorá zahŕňa mechanizmy sebapozorovania a dopredné vrstvy. V Transformers každý vstupný token prechádza svojou vlastnou cestou cez vrstvy, pričom si zachováva priame závislosti s každým ďalším tokenom vo vstupnej sekvencii. Táto jedinečná funkcia umožňuje paralelný a efektívny výpočet kontextových reprezentácií tokenov, čo je schopnosť, ktorá nie je možná pri sekvenčných modeloch, ako sú RNN.

Aj keď tento článok iba načrtáva povrch architektúry Transformer, poskytuje pohľad na jej základné aspekty. Pre komplexnejšie pochopenie odporúčame pozrieť si pôvodný výskumný dokument alebo príspevok The Illustrated Transformer.

Čo sú kódovače a dekodéry v AI?

Predstavte si, že máte dva modely, kódovač a dekodér, pracovať spolu ako tím. Kodér vezme vstup a zmení ho na vektor s pevnou dĺžkou. Potom dekodér vezme tento vektor a transformuje ho na výstupnú sekvenciu. Tieto modely sú trénované spoločne, aby sa zabezpečilo, že výstup sa čo najviac zhoduje so vstupom.

Kodér aj dekodér mali niekoľko vrstiev. Každá vrstva v kódovači mala dve podvrstvy: viachlavovú samopozornú vrstvu a jednoduchú doprednú sieť. Vrstva vlastnej pozornosti pomáha každému tokenu vo vstupe pochopiť vzťahy so všetkými ostatnými tokenmi. Tieto podvrstvy majú tiež zvyškové spojenie a normalizáciu vrstiev, aby bol proces učenia plynulejší.

Viachlavový dekodér vrstva sebapozorovania funguje trochu inak ako v kódovači. Maskuje žetóny napravo od žetónu, na ktorý sa zameriava. To zaisťuje, že dekodér sa pozerá iba na tokeny, ktoré sú pred tým, ktorý sa snaží predpovedať. Táto maskovaná pozornosť viacerých hláv pomáha dekodéru generovať presné predpovede. Okrem toho dekodér obsahuje ďalšiu podvrstvu, ktorou je vrstva pozornosti s viacerými hlavami nad všetkými výstupmi z kodéra.

Je dôležité poznamenať, že tieto špecifické detaily boli upravené v rôznych variáciách modelu Transformer. Modely ako BERT a GPT, sú napríklad založené buď na kodérovom alebo dekodérovom aspekte pôvodnej architektúry.

Čo sú to vrstvy pozornosti v AI?

V architektúre modelu, o ktorej sme hovorili vyššie, sú vrstvy pozornosti s viacerými hlavami špeciálnymi prvkami, vďaka ktorým je výkonný. Ale čo je to vlastne pozornosť? Predstavte si to ako funkciu, ktorá mapuje otázku na súbor informácií a poskytuje výstup. Každý token vo vstupe má priradený dotaz, kľúč a hodnotu. Výstupná reprezentácia každého tokenu sa vypočíta tak, že sa vezme vážený súčet hodnôt, pričom váha každej hodnoty je určená podľa toho, ako dobre zodpovedá dopytu.

Transformátory používajú na výpočet týchto hmotností funkciu kompatibility nazývanú súčin škálovaných bodov. Zaujímavosťou pozornosti v Transformers je, že každý token prechádza svojou vlastnou cestou výpočtu, čo umožňuje paralelný výpočet všetkých tokenov vo vstupnej sekvencii. Sú to jednoducho viaceré bloky pozornosti, ktoré nezávisle vypočítavajú reprezentácie pre každý token. Tieto reprezentácie sa potom kombinujú, aby vytvorili konečnú reprezentáciu tokenu.

V porovnaní s inými typmi sietí, ako sú rekurentné a konvolučné siete, vrstvy pozornosti majú niekoľko výhod. Sú výpočtovo efektívne, čo znamená, že dokážu rýchlo spracovať informácie. Majú tiež vyššiu konektivitu, čo je užitočné na zachytenie dlhodobých vzťahov v sekvenciách.

Čo sú vyladené modely v AI?

Modely základov sú výkonné modely, ktoré sú trénované na veľkom množstve všeobecných údajov. Potom môžu byť prispôsobené alebo doladené pre konkrétne úlohy ich trénovaním na menšom súbore cieľovo špecifické údaje. Tento prístup, ktorý spopularizovali papier BERT, viedla k dominancii modelov založených na transformátore v úlohách strojového učenia súvisiacich s jazykom.

V prípade modelov, ako je BERT, vytvárajú reprezentácie vstupných tokenov, ale samostatne nevykonávajú konkrétne úlohy. Aby boli užitočné, dodatočné nervové vrstvy sú pridané navrch a model je trénovaný end-to-end, proces známy ako jemné ladenie. Avšak, s generatívne modely Ako GPT, prístup je trochu odlišný. GPT je jazykový model dekodéra trénovaný na predpovedanie ďalšieho slova vo vete. Školením na obrovské množstvo webových údajov GPT dokáže generovať primerané výstupy na základe vstupných dotazov alebo výziev.

Ak chcete GPT užitočnejšie, OpenAI výskumníci vyvinuli PoučiťGPT, ktorý je vyškolený na dodržiavanie ľudských pokynov. To sa dosiahne jemným doladením GPT pomocou ľudí označených údajov z rôznych úloh. InštruovaťGPT je schopný vykonávať širokú škálu úloh a používajú ho populárne motory ako napr ChatGPT.

Jemné doladenie možno použiť aj na vytvorenie variantov modelov základov optimalizovaných pre špecifické účely mimo jazykového modelovania. Napríklad existujú modely vyladené pre úlohy súvisiace so sémantikou, ako je klasifikácia textu a vyhľadávanie. Okrem toho boli transformátorové kódovače úspešne vyladené v rámci viacerých úloh vzdelávacie rámce na vykonávanie viacerých sémantických úloh pomocou jedného zdieľaného modelu.

Dnes sa jemné ladenie používa na vytváranie verzií modelov základov, ktoré môže používať veľké množstvo používateľov. Proces zahŕňa generovanie odpovedí na vstup a nechať ľudí zoradiť výsledky. Tento rebríček sa používa na tréning a model odmeňovania, ktorá každému výstupu prideľuje skóre. Posilnenie učenia ľudskou spätnou väzbou sa potom použije na ďalšie trénovanie modelu.

Prečo sú Transformers budúcnosťou AI?

Transformátory, typ výkonného modelu, boli prvýkrát demonštrované v oblasti jazykového prekladu. Výskumníci si však rýchlo uvedomili, že Transformers sa dajú použiť na rôzne úlohy súvisiace s jazykom, a to tak, že ich natrénujú na veľké množstvo neoznačeného textu a potom ich doladia na menšom súbore označených údajov. Tento prístup umožnil spoločnosti Transformers získať významné znalosti o jazyku.

Architektúra Transformer, pôvodne navrhnutá pre jazykové úlohy, bola aplikovaná aj na iné aplikácie, napr generovanie obrázkov, zvuk, hudba a dokonca aj akcie. To z Transformers urobilo kľúčový komponent v oblasti generatívnej AI, ktorá mení rôzne aspekty spoločnosti.

Dostupnosť nástrojov a frameworkov ako napr PyTorch a TensorFlow zohrala kľúčovú úlohu pri rozšírenom prijatí modelov Transformer. Spoločnosti ako Huggingface si vybudovali svoje podnikania okolo nápadu komercializácia knižníc Transformer s otvoreným zdrojom a špecializovaného hardvéru, ako je Hopper Tensor Cores od NVIDIA, ďalej zrýchlila rýchlosť školenia a odvodzovania týchto modelov.

Jednou z pozoruhodných aplikácií Transformers je ChatGPT, chatbot prepustený OpenAI. Stala sa neuveriteľne populárnou a v krátkom čase oslovila milióny používateľov. OpenAI tiež oznámila vydanie GPT-4, výkonnejšia verzia schopná dosahovať výkon podobný človeku v úlohách ako napr lekárske a právne skúšky.

Vplyv Transformers v oblasti AI a ich široký rozsah aplikácií je nepopierateľný. Oni majú zmenil spôsob pristupujeme k úlohám súvisiacim s jazykom a pripravujeme pôdu pre nové pokroky v generatívnej AI.

3 Typy architektúr prípravy

Architektúra transformátora, pôvodne pozostávajúca z kodéra a dekodéra, sa vyvinula tak, aby zahŕňala rôzne variácie na základe špecifických potrieb. Poďme si tieto variácie jednoducho rozobrať.

1. Predškolenie kódovača: Tieto modely sa zameriavajú na pochopenie úplných viet alebo pasáží. Počas predtrénovania sa kódovač používa na rekonštrukciu maskovaných tokenov vo vstupnej vete. To pomáha modelu naučiť sa chápať celkový kontext. Takéto modely sú užitočné pri úlohách, ako je klasifikácia textu, zahrnutie a extrakčné zodpovedanie otázok.
2. Predškolenie dekodéra: Modely dekodérov sú trénované na generovanie ďalšieho tokenu na základe predchádzajúcej postupnosti tokenov. Sú známe ako autoregresívne jazykové modely. Vrstvy sebapozorovania v dekodéri majú prístup iba k tokenom pred daným tokenom vo vete. Tieto modely sú ideálne pre úlohy zahŕňajúce generovanie textu.
3. Predškolenie transformátora (kodéra-dekodéra).: Táto variácia kombinuje komponenty kódovača aj dekodéra. Vrstvy samopozornosti kódovača majú prístup ku všetkým vstupným tokenom, zatiaľ čo vrstvy samopozornosti dekodéra môžu pristupovať iba k tokenom pred daným tokenom. Táto architektúra umožňuje dekodéru používať reprezentácie naučené kodérom. Modely kódovač-dekodér sú vhodné pre úlohy, ako je sumarizácia, preklad alebo generatívne odpovedanie na otázky.

Ciele prípravnej prípravy môžu zahŕňať odšumovanie alebo kauzálne modelovanie jazyka. Tieto ciele sú zložitejšie pre modely kódovač-dekodér v porovnaní s modelmi iba s kódovačom alebo iba s dekodérom. Architektúra Transformer má rôzne variácie v závislosti od zamerania modelu. Či už ide o porozumenie úplným vetám, generovanie textu alebo kombináciu oboch pre rôzne úlohy, Transformers ponúkajú flexibilitu pri riešení rôznych jazykových problémov.

8 Typy úloh pre vopred trénované modely

Keď trénujeme model, musíme mu dať úlohu alebo cieľ, z ktorého sa máme učiť. Existujú rôzne úlohy v spracovaní prirodzeného jazyka (NLP), ktoré možno použiť na predtréningové modely. Poďme si jednoducho rozobrať niektoré z týchto úloh:

1. Jazykové modelovanie (LM): Model predpovedá ďalší token vo vete. Učí sa chápať súvislosti a vytvárať súvislé vety.
2. Modelovanie kauzálneho jazyka: Model predpovedá ďalší token v textovej sekvencii v poradí zľava doprava. Je to ako model rozprávania, ktorý generuje vety po jednom slove.
3. Jazykové modelovanie prefixov: Model oddeľuje sekciu „prefix“ od hlavnej sekvencie. Môže sa venovať ľubovoľnému tokenu v rámci predpony a potom generuje zvyšok sekvencie autoregresívne.
4. Maskované jazykové modelovanie (MLM): Niektoré tokeny vo vstupných vetách sú maskované a model predpovedá chýbajúce tokeny na základe okolitého kontextu. Učí sa vyplniť prázdne miesta.
5. Permuted Language Modeling (PLM): Model predpovedá ďalší token na základe náhodnej permutácie vstupnej sekvencie. Učí sa zaobchádzať s rôznymi objednávkami žetónov.
6. Denoising Autoencoder (DAE): Model využíva čiastočne poškodený vstup a jeho cieľom je obnoviť pôvodný, neskreslený vstup. Učí sa zvládať šum alebo chýbajúce časti textu.
7. Replaced Token Detection (RTD): Model zisťuje, či token pochádza z pôvodného textu alebo z vygenerovanej verzie. Učí sa identifikovať nahradené alebo zmanipulované tokeny.
8. Predikcia ďalšej vety (NSP): Model sa učí rozlišovať, či dve vstupné vety sú súvislé segmenty z trénovacích údajov. Chápe vzťah medzi vetami.

Tieto úlohy pomáhajú modelu naučiť sa štruktúru a význam jazyka. Predškolením na tieto úlohy modely dobre porozumejú jazyku predtým, ako sú doladené pre konkrétne aplikácie.

30+ najlepších transformátorov v AI

Často kladené otázky

Transformátory v AI sú typom architektúra hlbokého učenia to zmenilo spracovanie prirodzeného jazyka a ďalšie úlohy. Používajú mechanizmy sebapozorovania na zachytenie vzťahov medzi slovami vo vete, čo im umožňuje porozumieť a generovať ľudský text.

Kódovače a dekodéry sú komponenty bežne používané v sekvenčných modeloch. Kódovače spracovávajú vstupné dáta, ako je text alebo obrázky, a konvertujú ich na komprimovanú reprezentáciu, zatiaľ čo dekodéry generujú výstupné dáta na základe zakódovanej reprezentácie, čo umožňuje úlohy, ako je preklad jazyka alebo popisovanie obrázkov.

Pozorné vrstvy sú komponenty používané v neurálne siete, najmä v modeloch Transformer. Umožňujú modelu selektívne sa zamerať na rôzne časti vstupnej sekvencie, priraďovať váhy každému prvku na základe jeho relevantnosti, čo umožňuje efektívne zachytiť závislosti a vzťahy medzi prvkami.

Jemne vyladené modely sa týkajú vopred pripravených modelov, ktoré boli ďalej trénované na konkrétnu úlohu alebo súbor údajov, aby sa zlepšil ich výkon a prispôsobili sa špecifickým požiadavkám danej úlohy. Tento proces jemného ladenia zahŕňa úpravu parametrov modelu, aby sa optimalizovali jeho predpovede a aby sa viac špecializoval na cieľovú úlohu.

Transformátory sú považované za budúcnosť AI, pretože preukázali výnimočný výkon v širokej škále úloh vrátane spracovania prirodzeného jazyka, generovania obrázkov a ďalších. Ich schopnosť zachytávať závislosti na veľké vzdialenosti a efektívne spracovávať sekvenčné údaje ich robí vysoko prispôsobivými a efektívnymi pre rôzne aplikácie, čím dláždi cestu pre pokrok v generatívnej AI a prináša revolúciu v mnohých aspektoch spoločnosti.

Medzi najznámejšie modely transformátorov v AI patria BERT (Bidirectional Encoder Representations from Transformers), GPT (generatívny vopred pripravený transformátor) a T5 (transformátor na prenos textu na text). Tieto modely dosiahli pozoruhodné výsledky v rôznych úlohách spracovania prirodzeného jazyka a získali významnú popularitu vo výskumnej komunite AI.

Prečítajte si viac o AI:

• Texaská univerzita: Myseľ ľudí možno odhaliť pomocou dekodéra mozgovej aktivity
• Facebook vyvíja novú metódu na zdvojnásobenie výkonu AI transformátorov
• GPT-4 Dokáže spracovať vaše požiadavky na obrázky, dokumenty, diagramy a snímky obrazovky

O autorovi

Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu. 

Ďalšie články

Damir Yalalov

• 
• 

Damir Yalalov

Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu. 

• 

Ďalšie články