Top 30+ transformatormodellen in AI: wat ze zijn en hoe ze werken

deel dit artikel

• 
• 
• 
• 
• 

by Damir Jalalov

Gepubliceerd: 12 juni 2023 om 6:52 uur Bijgewerkt: 12 juni 2023 om 6:52 uur

by Karolina Gaszcz

Bewerkt en gecontroleerd op feiten: 12 juni 2023 om 6:52 uur

Om uw ervaring in de lokale taal te verbeteren, gebruiken we soms een plug-in voor automatische vertaling. Houd er rekening mee dat automatische vertaling mogelijk niet nauwkeurig is, dus lees origineel artikel voor precieze informatie.

De afgelopen maanden zijn er tal van Transformer-modellen verschenen in AI, elk met unieke en soms grappige namen. Deze namen geven echter mogelijk niet veel inzicht in wat deze modellen werkelijk doen. Dit artikel is bedoeld om een ​​uitgebreide en duidelijke lijst te geven van de meest populaire Transformer-modellen. Het zal deze modellen classificeren en ook belangrijke aspecten en innovaties binnen de Transformer-familie introduceren. De toplijst zal dekken modellen opgeleid door zelfgecontroleerd leren, zoals BERT of GPT-3, evenals modellen die een aanvullende training ondergaan met menselijke betrokkenheid, zoals de InstructGPT model gebruikt door ChatGPT.

Wat zijn Transformers in AI?

Transformers zijn een soort deep learning-modellen die werden geïntroduceerd in een onderzoekspaper genaamd "Aandacht is alles wat je nodig hebt”door Google-onderzoekers in 2017. Dit artikel heeft enorme erkenning gekregen en is in slechts vijf jaar tijd meer dan 38,000 keer geciteerd.

De originele Transformer-architectuur is een specifieke vorm van encoder-decodermodellen die vóór de introductie aan populariteit had gewonnen. Deze modellen vertrouwden voornamelijk op LSTM en andere varianten van terugkerende neurale netwerken (RNN's), waarbij aandacht slechts een van de gebruikte mechanismen is. De Transformer-paper stelde echter een revolutionair idee voor dat aandacht zou kunnen dienen als het enige mechanisme om afhankelijkheden tussen input en output vast te stellen.

In de context van Transformers bestaat de invoer uit een reeks tokens, die woorden of subwoorden kunnen zijn in natuurlijke taalverwerking (NLP). Subwoorden worden vaak gebruikt in NLP-modellen om het probleem van woorden die buiten de woordenschat vallen aan te pakken. De uitvoer van de encoder produceert een representatie met een vaste afmeting voor elk token, samen met een afzonderlijke inbedding voor de gehele reeks. De decoder neemt de uitvoer van de encoder en genereert een reeks tokens als uitvoer.

Sinds de publicatie van het Transformer-papier, houden populaire modellen van BERT en GPT hebben aspecten van de oorspronkelijke architectuur overgenomen, hetzij met behulp van de encoder- of decodercomponenten. De belangrijkste overeenkomst tussen deze modellen ligt in de laagarchitectuur, die zelfaandachtsmechanismen en feed-forward-lagen omvat. In Transformers doorloopt elk invoertoken zijn eigen pad door de lagen, terwijl de directe afhankelijkheden met elk ander token in de invoerreeks behouden blijven. Deze unieke functie maakt parallelle en efficiënte berekening van contextuele tokenrepresentaties mogelijk, een mogelijkheid die niet haalbaar is met sequentiële modellen zoals RNN's.

Hoewel dit artikel slechts het oppervlak van de Transformer-architectuur bekrast, biedt het een glimp van de fundamentele aspecten ervan. Voor een beter begrip raden we aan om het originele onderzoeksartikel of het artikel The Illustrated Transformer te raadplegen.

Wat zijn encoders en decoders in AI?

Stel je voor dat je twee modellen hebt, een encoder en een decoder, samen als een team. De encoder neemt een invoer en verandert deze in een vector met vaste lengte. Vervolgens neemt de decoder die vector en transformeert deze in een uitvoerreeks. Deze modellen worden samen getraind om ervoor te zorgen dat de output zo goed mogelijk overeenkomt met de input.

Zowel de encoder als de decoder hadden meerdere lagen. Elke laag in de encoder had twee sublagen: een multi-head self-attention-laag en een eenvoudig feedforward-netwerk. De laag voor zelfaandacht helpt elk token in de invoer de relaties met alle andere tokens te begrijpen. Deze sublagen hebben ook een restverbinding en een laagnormalisatie om het leerproces soepeler te laten verlopen.

De multihead van de decoder zelf-aandacht laag werkt een beetje anders dan die in de encoder. Het maskeert de tokens rechts van het token waarop het focust. Dit zorgt ervoor dat de decoder alleen kijkt naar de tokens die komen voor degene die hij probeert te voorspellen. Deze gemaskeerde aandacht van meerdere hoofden helpt de decoder nauwkeurige voorspellingen te genereren. Bovendien bevat de decoder nog een sublaag, een aandachtslaag met meerdere koppen over alle uitvoer van de encoder.

Het is belangrijk op te merken dat deze specifieke details zijn gewijzigd in verschillende varianten van het Transformer-model. Modellen zoals BERT en GPTzijn bijvoorbeeld gebaseerd op het encoder- of decoderaspect van de oorspronkelijke architectuur.

Wat zijn aandachtslagen in AI?

In de modelarchitectuur die we eerder bespraken, zijn de meerhoofdige aandachtslagen de speciale elementen die het krachtig maken. Maar wat is aandacht precies? Zie het als een functie die een vraag koppelt aan een set informatie en een output geeft. Aan elk token in de invoer is een query, sleutel en waarde gekoppeld. De uitvoerrepresentatie van elk token wordt berekend door een gewogen som van de waarden te nemen, waarbij het gewicht voor elke waarde wordt bepaald door hoe goed deze overeenkomt met de query.

Transformers gebruiken een compatibiliteitsfunctie genaamd scaled dot product om deze gewichten te berekenen. Het interessante aan aandacht in Transformers is dat elk token zijn eigen berekeningspad doorloopt, waardoor parallelle berekening van alle tokens in de invoerreeks mogelijk is. Het zijn gewoon meerdere aandachtsblokken die onafhankelijk representaties voor elk token berekenen. Deze representaties worden vervolgens gecombineerd om de uiteindelijke representatie van het token te creëren.

Vergeleken met andere soorten netwerken zoals terugkerende en convolutionele netwerken, aandachtslagen hebben enkele voordelen. Ze zijn rekenkundig efficiënt, wat betekent dat ze informatie snel kunnen verwerken. Ze hebben ook een hogere connectiviteit, wat handig is voor het vastleggen van langdurige relaties in reeksen.

Wat zijn verfijnde modellen in AI?

Funderingsmodellen zijn krachtige modellen die zijn getraind op een grote hoeveelheid algemene gegevens. Ze kunnen dan worden aangepast of verfijnd voor specifieke taken door ze te trainen op een kleinere set doelspecifieke gegevens. Deze aanpak, gepopulariseerd door de BERT-papier, heeft geleid tot de dominantie van op Transformer gebaseerde modellen in taalgerelateerde machine learning-taken.

In het geval van modellen zoals BERT produceren ze representaties van invoertokens, maar voeren ze zelf geen specifieke taken uit. Om ze nuttig te maken, extra neurale lagen worden bovenop toegevoegd en het model wordt end-to-end getraind, een proces dat bekend staat als fine-tuning. Echter met generatieve modellen als GPT, de aanpak is iets anders. GPT is een decodertaalmodel dat is getraind om het volgende woord in een zin te voorspellen. Door te trainen op grote hoeveelheden webgegevens, GPT kan redelijke output genereren op basis van invoerquery's of -prompts.

Te maken GPT meer behulpzaam, OpenAI onderzoekers ontwikkelden InstruerenGPT, die is getraind om menselijke instructies op te volgen. Dit wordt bereikt door finetuning GPT met behulp van door mensen gelabelde gegevens van verschillende taken. InstruerenGPT is in staat een breed scala aan taken uit te voeren en wordt gebruikt door populaire motoren zoals ChatGPT.

Fine-tuning kan ook worden gebruikt om varianten van funderingsmodellen te creëren die zijn geoptimaliseerd voor specifieke doeleinden voorbij taalmodellering. Er zijn bijvoorbeeld modellen die zijn afgestemd op semantisch gerelateerde taken zoals tekstclassificatie en het ophalen van zoekopdrachten. Bovendien zijn transformator-encoders met succes verfijnd binnen multi-task leerkaders om meerdere semantische taken uit te voeren met behulp van een enkel gedeeld model.

Tegenwoordig wordt finetuning gebruikt om versies van funderingsmodellen te maken die door een groot aantal gebruikers kunnen worden gebruikt. Het proces omvat het genereren van reacties op invoer prompts en mensen de resultaten laten rangschikken. Deze rangschikking wordt gebruikt om a beloningsmodel, die scores toekent aan elke uitvoer. Versterkend leren met menselijke feedback wordt vervolgens gebruikt om het model verder te trainen.

Waarom zijn Transformers de toekomst van AI?

Transformers, een soort krachtig model, werden voor het eerst gedemonstreerd op het gebied van taalvertaling. Onderzoekers realiseerden zich echter al snel dat Transformers voor verschillende taalgerelateerde taken konden worden gebruikt door ze te trainen op een grote hoeveelheid niet-gelabelde tekst en ze vervolgens te verfijnen op een kleinere set gelabelde gegevens. Door deze aanpak konden Transformers aanzienlijke kennis over taal vastleggen.

De Transformer-architectuur, oorspronkelijk ontworpen voor taaltaken, is ook toegepast op andere toepassingen zoals genereren van afbeeldingen, audio, muziek en zelfs acties. Hierdoor zijn Transformers een belangrijk onderdeel geworden op het gebied van generatieve AI, dat verschillende aspecten van de samenleving verandert.

De beschikbaarheid van tools en frameworks zoals PyTorch en TensorFlow heeft een cruciale rol gespeeld in de brede acceptatie van Transformer-modellen. Bedrijven zoals Huggingface hebben hun gebouwd bedrijf rond het idee van het commercialiseren van open-source Transformer-bibliotheken en gespecialiseerde hardware zoals NVIDIA's Hopper Tensor Cores heeft de training en inferentiesnelheid van deze modellen verder versneld.

Een opmerkelijke toepassing van Transformers is ChatGPT, een chatbot uitgebracht door OpenAI. Het werd ongelooflijk populair en bereikte in korte tijd miljoenen gebruikers. OpenAI heeft ook de release aangekondigd van GPT-4, een krachtigere versie die mensachtige prestaties kan bereiken bij taken zoals medische en juridische examens.

De impact van Transformers op het gebied van AI en hun brede scala aan toepassingen valt niet te ontkennen. Zij hebben veranderde de weg we benaderen taalgerelateerde taken en maken de weg vrij voor nieuwe ontwikkelingen in generatieve AI.

3 soorten pre-trainingsarchitecturen

De Transformer-architectuur, oorspronkelijk bestaande uit een Encoder en een Decoder, is geëvolueerd met verschillende variaties op basis van specifieke behoeften. Laten we deze variaties in eenvoudige bewoordingen opsplitsen.

1. Encoder-vooropleiding: Deze modellen richten zich op het begrijpen van volledige zinnen of passages. Tijdens de pre-training wordt de encoder gebruikt om gemaskeerde tokens in de invoerzin te reconstrueren. Dit helpt het model om de algehele context te leren begrijpen. Dergelijke modellen zijn handig voor taken als tekstclassificatie, entailment en extractieve vraagbeantwoording.
2. Decoder Vooropleiding: Decodermodellen worden getraind om het volgende token te genereren op basis van de vorige reeks tokens. Ze staan ​​bekend als auto-regressieve taalmodellen. De zelf-aandachtslagen in de decoder hebben alleen toegang tot tokens vóór een bepaald token in de zin. Deze modellen zijn ideaal voor taken waarbij tekst wordt gegenereerd.
3. Transformator (Encoder-Decoder) Voortraining: Deze variatie combineert zowel de encoder- als de decodercomponenten. De zelf-aandachtslagen van de encoder hebben toegang tot alle invoertokens, terwijl de zelf-aandachtslagen van de decoder alleen toegang hebben tot tokens vóór een bepaald token. Deze architectuur stelt de decoder in staat om de door de encoder geleerde representaties te gebruiken. Encoder-decodermodellen zijn zeer geschikt voor taken als samenvatting, vertaling of generatieve vraagbeantwoording.

Vooropleidingsdoelen kunnen betrekking hebben op denoising of causale taalmodellering. Deze doelstellingen zijn complexer voor encoder-decodermodellen in vergelijking met modellen met alleen een encoder of een decoder. De Transformer-architectuur heeft verschillende variaties, afhankelijk van de focus van het model. Of het nu gaat om het begrijpen van volledige zinnen, het genereren van tekst of het combineren van beide voor verschillende taken, Transformers bieden flexibiliteit bij het aanpakken van verschillende taalgerelateerde uitdagingen.

8 soorten taken voor vooraf getrainde modellen

Bij het trainen van een model moeten we het een taak of doel geven om van te leren. Er zijn verschillende taken in natuurlijke taalverwerking (NLP) die kunnen worden gebruikt voor pre-trainingsmodellen. Laten we enkele van deze taken in eenvoudige bewoordingen opsplitsen:

1. Language Modeling (LM): Het model voorspelt het volgende token in een zin. Het leert de context te begrijpen en coherente zinnen te genereren.
2. Causale taalmodellering: het model voorspelt het volgende token in een tekstreeks, in een volgorde van links naar rechts. Het is als een vertelmodel dat zinnen woord voor woord genereert.
3. Prefix Language Modeling: Het model scheidt een 'prefix'-sectie van de hoofdreeks. Het kan elk token binnen het voorvoegsel bijwonen en genereert vervolgens autoregressief de rest van de reeks.
4. Masked Language Modeling (MLM): sommige tokens in de invoerzinnen zijn gemaskeerd en het model voorspelt de ontbrekende tokens op basis van de omliggende context. Het leert de lege plekken in te vullen.
5. Permuted Language Modeling (PLM): het model voorspelt het volgende token op basis van een willekeurige permutatie van de invoerreeks. Het leert omgaan met verschillende volgordes van tokens.
6. Denoising Autoencoder (DAE): Het model neemt een gedeeltelijk beschadigde invoer en probeert de originele, onvervormde invoer te herstellen. Het leert omgaan met ruis of ontbrekende delen van de tekst.
7. Replaced Token Detection (RTD): Het model detecteert of een token afkomstig is uit de originele tekst of een gegenereerde versie. Het leert vervangen of gemanipuleerde tokens te identificeren.
8. Next Sentence Prediction (NSP): Het model leert te onderscheiden of twee invoerzinnen continue segmenten zijn van de trainingsgegevens. Het begrijpt de relatie tussen zinnen.

Deze taken helpen het model de structuur en betekenis van taal te leren. Door vooraf op deze taken te trainen, krijgen modellen een goed begrip van taal voordat ze worden verfijnd voor specifieke toepassingen.

Top 30+ transformatoren in AI

Veelgestelde vragen

Transformers in AI zijn een soort van deep learning-architectuur dat de verwerking van natuurlijke taal en andere taken heeft veranderd. Ze gebruiken zelfaandachtsmechanismen om relaties tussen woorden in een zin vast te leggen, waardoor ze mensachtige tekst kunnen begrijpen en genereren.

Encoders en decoders zijn componenten die vaak worden gebruikt in sequentie-naar-sequentie-modellen. Encoders verwerken invoergegevens, zoals tekst of afbeeldingen, en zetten deze om in een gecomprimeerde weergave, terwijl decoders uitvoergegevens genereren op basis van de gecodeerde weergave, waardoor taken als taalvertaling of beeldbijschriften mogelijk worden.

Aandachtslagen zijn componenten die worden gebruikt in neurale netwerken, met name in Transformer-modellen. Ze stellen het model in staat om zich selectief te concentreren op verschillende delen van de invoerreeks, waarbij gewichten aan elk element worden toegekend op basis van de relevantie ervan, waardoor afhankelijkheden en relaties tussen elementen effectief kunnen worden vastgelegd.

Verfijnde modellen verwijzen naar vooraf getrainde modellen die verder zijn getraind op een specifieke taak of dataset om hun prestaties te verbeteren en aan te passen aan de specifieke vereisten van die taak. Dit fijnafstemmingsproces omvat het aanpassen van de parameters van het model om de voorspellingen te optimaliseren en het meer gespecialiseerd te maken voor de doeltaak.

Transformers worden beschouwd als de toekomst van AI omdat ze uitzonderlijke prestaties hebben laten zien in een breed scala aan taken, waaronder natuurlijke taalverwerking, het genereren van afbeeldingen en meer. Hun vermogen om afhankelijkheden op lange afstand vast te leggen en sequentiële gegevens efficiënt te verwerken, maakt ze zeer flexibel en effectief voor verschillende toepassingen, wat de weg vrijmaakt voor vooruitgang in generatieve AI en een revolutie teweegbrengt in vele aspecten van de samenleving.

De bekendste transformatormodellen in AI zijn onder meer BERT (Bidirectionele Encoder Representations from Transformers), GPT (Generatieve, vooraf getrainde transformator) en T5 (Tekst-naar-tekst overdrachtstransformator). Deze modellen hebben opmerkelijke resultaten geboekt bij verschillende natuurlijke taalverwerkingstaken en zijn aanzienlijk populair geworden in de AI-onderzoeksgemeenschap.

Lees meer over AI:

• Universiteit van Texas: de geest van mensen kan worden onthuld met behulp van een hersenactiviteitsdecoder
• Facebook ontwikkelt een nieuwe methode om de prestaties van AI-transformatoren te verdubbelen
• GPT-4 Kan uw verzoeken om afbeeldingen, documenten, diagrammen en screenshots afhandelen

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen

Damir Jalalov

• 
• 

Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

• 

Meer artikelen