Die über 30 besten Transformer-Modelle in der KI: Was sie sind und wie sie funktionieren

Teile diesen Artikel

• 
• 
• 
• 
• 

by Damir Jalalow

Veröffentlicht: 12. Juni 2023 um 6:52 Uhr. Aktualisiert: 12. Juni 2023 um 6:52 Uhr

by Karolina Gascz

Bearbeitet und faktengeprüft: 12. Juni 2023 um 6:52 Uhr

Um Ihr Erlebnis in der Landessprache zu verbessern, verwenden wir manchmal ein Plug-in für die automatische Übersetzung. Bitte beachten Sie, dass die automatische Übersetzung möglicherweise nicht genau ist, also lesen Sie Original Artikel für genaue Informationen.

In den letzten Monaten sind zahlreiche Transformer-Modelle in der KI entstanden, jedes mit einzigartigen und manchmal amüsanten Namen. Allerdings geben diese Namen möglicherweise nicht viel Aufschluss darüber, was diese Modelle tatsächlich leisten. Ziel dieses Artikels ist es, eine umfassende und übersichtliche Liste der beliebtesten Transformer-Modelle bereitzustellen. Es werden diese Modelle klassifiziert und außerdem wichtige Aspekte und Neuerungen innerhalb der Transformer-Familie vorgestellt. Die Top-Liste deckt ab Modelle trainiert durch selbstüberwachtes Lernen, wie BERT oder GPT-3sowie Modelle, die mit menschlicher Beteiligung zusätzlich trainiert werden, wie zum Beispiel das InstructGPT Modell verwendet von ChatGPT.

Was sind Transformer in der KI?

Transformer sind eine Art Deep-Learning-Modelle, die in einer Forschungsarbeit mit dem Titel „Aufmerksamkeit ist alles was du brauchst” von Google-Forschern im Jahr 2017. Dieses Papier hat enorme Anerkennung gefunden und in nur fünf Jahren über 38,000 Zitate gesammelt.

Die ursprüngliche Transformer-Architektur ist eine spezielle Form von Encoder-Decoder-Modellen, die vor ihrer Einführung an Popularität gewonnen hat. Diese Modelle stützten sich überwiegend auf LSTM und andere Variationen wiederkehrender neuronaler Netze (RNNs), wobei Aufmerksamkeit nur einer der genutzten Mechanismen ist. Allerdings schlug das Transformer-Papier die revolutionäre Idee vor, dass Aufmerksamkeit als einziger Mechanismus zur Herstellung von Abhängigkeiten zwischen Eingabe und Ausgabe dienen könnte.

Im Kontext von Transformers besteht die Eingabe aus einer Folge von Tokens, bei denen es sich bei der Verarbeitung natürlicher Sprache um Wörter oder Teilwörter handeln kann (NLP). Unterwörter werden in NLP-Modellen häufig verwendet, um das Problem von Wörtern außerhalb des Wortschatzes anzugehen. Die Ausgabe des Encoders erzeugt eine Darstellung mit fester Dimension für jedes Token sowie eine separate Einbettung für die gesamte Sequenz. Der Decoder nimmt die Ausgabe des Encoders und generiert als Ausgabe eine Folge von Token.

Seit der Veröffentlichung des Transformer-Papiers sind beliebte Modelle wie BERT machen GPT haben Aspekte der ursprünglichen Architektur übernommen, entweder unter Verwendung der Encoder- oder Decoder-Komponenten. Die wesentliche Ähnlichkeit zwischen diesen Modellen liegt in der Schichtenarchitektur, die Selbstaufmerksamkeitsmechanismen und Feed-Forward-Schichten umfasst. In Transformers durchläuft jedes Eingabetoken seinen eigenen Pfad durch die Ebenen und behält dabei direkte Abhängigkeiten zu jedem anderen Token in der Eingabesequenz bei. Diese einzigartige Funktion ermöglicht die parallele und effiziente Berechnung kontextbezogener Token-Darstellungen, eine Fähigkeit, die mit sequentiellen Modellen wie RNNs nicht möglich ist.

Während dieser Artikel nur an der Oberfläche der Transformer-Architektur kratzt, bietet er einen Einblick in ihre grundlegenden Aspekte. Für ein umfassenderes Verständnis empfehlen wir, sich auf das Original-Forschungspapier oder den Beitrag von The Illustrated Transformer zu beziehen.

Was sind Encoder und Decoder in der KI?

Stellen Sie sich vor, Sie haben zwei Modelle, einen Encoder und einen Decoder. Zusammenarbeit wie ein Team. Der Encoder nimmt eine Eingabe und wandelt sie in einen Vektor fester Länge um. Dann nimmt der Decoder diesen Vektor und wandelt ihn in eine Ausgabesequenz um. Diese Modelle werden gemeinsam trainiert, um sicherzustellen, dass die Ausgabe so genau wie möglich mit der Eingabe übereinstimmt.

Sowohl der Encoder als auch der Decoder hatten mehrere Schichten. Jede Schicht im Encoder hatte zwei Unterschichten: eine Mehrkopf-Selbstaufmerksamkeitsschicht und ein einfaches Feed-Forward-Netzwerk. Die Selbstaufmerksamkeitsschicht hilft jedem Token in der Eingabe, die Beziehungen zu allen anderen Token zu verstehen. Diese Unterschichten verfügen außerdem über eine Restverbindung und eine Schichtnormalisierung, um den Lernprozess reibungsloser zu gestalten.

Der Mehrkopf des Decoders Selbstaufmerksamkeitsschicht funktioniert etwas anders als im Encoder. Es maskiert die Token rechts von dem Token, auf das es sich konzentriert. Dadurch wird sichergestellt, dass der Decoder nur die Token berücksichtigt, die vor dem Token liegen, den er vorherzusagen versucht. Diese maskierte Mehrkopfaufmerksamkeit hilft dem Decoder, genaue Vorhersagen zu generieren. Darüber hinaus enthält der Decoder eine weitere Unterschicht, bei der es sich um eine Multi-Head-Aufmerksamkeitsschicht über alle Ausgaben des Encoders handelt.

Es ist wichtig zu beachten, dass diese spezifischen Details in verschiedenen Variationen des Transformer-Modells geändert wurden. Modelle wie BERT und GPTbasieren beispielsweise entweder auf dem Encoder- oder Decoder-Aspekt der ursprünglichen Architektur.

Was sind Aufmerksamkeitsebenen in der KI?

In der zuvor besprochenen Modellarchitektur sind die Aufmerksamkeitsschichten mit mehreren Köpfen die besonderen Elemente, die sie leistungsstark machen. Aber was genau ist Aufmerksamkeit? Stellen Sie sich das als eine Funktion vor, die eine Frage einer Reihe von Informationen zuordnet und eine Ausgabe liefert. Jedem Token in der Eingabe sind eine Abfrage, ein Schlüssel und ein Wert zugeordnet. Die Ausgabedarstellung jedes Tokens wird durch eine gewichtete Summe der Werte berechnet, wobei die Gewichtung für jeden Wert dadurch bestimmt wird, wie gut er mit der Abfrage übereinstimmt.

Transformatoren verwenden eine Kompatibilitätsfunktion namens skaliertes Punktprodukt, um diese Gewichte zu berechnen. Das Interessante an Attention in Transformers ist, dass jedes Token seinen eigenen Berechnungspfad durchläuft, was eine parallele Berechnung aller Token in der Eingabesequenz ermöglicht. Es handelt sich einfach um mehrere Aufmerksamkeitsblöcke, die unabhängig voneinander Darstellungen für jeden Token berechnen. Diese Darstellungen werden dann kombiniert, um die endgültige Darstellung des Tokens zu erstellen.

Im Vergleich zu anderen Arten von Netzwerken wie rekurrenten und Faltungsnetzwerke, Aufmerksamkeitsebenen haben einige Vorteile. Sie sind recheneffizient, was bedeutet, dass sie Informationen schnell verarbeiten können. Sie verfügen außerdem über eine höhere Konnektivität, was für die Erfassung langfristiger Beziehungen in Sequenzen hilfreich ist.

Was sind fein abgestimmte Modelle in der KI?

Gründungsmodelle sind leistungsstarke Modelle, die auf einer großen Menge allgemeiner Daten trainiert werden. Sie können dann für bestimmte Aufgaben angepasst oder verfeinert werden, indem Sie sie an einer kleineren Anzahl von Übungen trainieren zielspezifische Daten. Dieser Ansatz, populär gemacht durch die BERT-Papier, hat zur Dominanz von Transformer-basierten Modellen bei sprachbezogenen maschinellen Lernaufgaben geführt.

Im Fall von Modellen wie BERT erzeugen sie Darstellungen von Eingabe-Tokens, führen jedoch keine spezifischen Aufgaben selbst aus. Um sie nützlich und zusätzlich zu machen Nervenschichten werden oben hinzugefügt und das Modell wird Ende-zu-Ende trainiert, ein Prozess, der als Feinabstimmung bezeichnet wird. Allerdings mit generative Modelle Gefällt mir GPT, der Ansatz ist etwas anders. GPT ist ein Decoder-Sprachmodell, das darauf trainiert ist, das nächste Wort in einem Satz vorherzusagen. Durch das Training mit riesigen Mengen an Webdaten, GPT kann auf der Grundlage von Eingabeabfragen oder Eingabeaufforderungen sinnvolle Ausgaben generieren.

Um GPT hilfreicher, OpenAI Forscher entwickelten AnweisenGPT, der darauf trainiert ist, menschlichen Anweisungen zu folgen. Dies wird durch Feinabstimmung erreicht GPT Verwendung von menschlich gekennzeichneten Daten aus verschiedenen Aufgaben. AnweisenGPT ist in der Lage, ein breites Aufgabenspektrum auszuführen und wird von beliebten Engines wie verwendet ChatGPT.

Durch die Feinabstimmung können auch Varianten von Fundamentmodellen erstellt werden, die für optimiert sind spezifische Zwecke über die Sprachmodellierung hinaus. Beispielsweise gibt es Modelle, die speziell auf semantische Aufgaben wie Textklassifizierung und Suchabfrage abgestimmt sind. Darüber hinaus wurde die Feinabstimmung von Transformator-Encodern im Rahmen von Multitasking erfolgreich durchgeführt Lernrahmen um mehrere semantische Aufgaben mithilfe eines einzigen gemeinsamen Modells auszuführen.

Heutzutage werden durch Feinabstimmung Versionen von Fundamentmodellen erstellt, die von einer großen Anzahl von Benutzern verwendet werden können. Der Prozess beinhaltet die Generierung von Antworten auf Eingaben Eingabeaufforderungen und die Einstufung der Ergebnisse durch Menschen. Dieses Ranking wird verwendet, um a zu trainieren Belohnungsmodell, wodurch jeder Ausgabe Punkte zugewiesen werden. Verstärkungslernen mit menschlichem Feedback wird dann verwendet, um das Modell weiter zu trainieren.

Warum sind Transformer die Zukunft der KI?

Transformers, eine Art leistungsstarkes Modell, wurde erstmals im Bereich der Sprachübersetzung demonstriert. Die Forscher erkannten jedoch schnell, dass Transformer für verschiedene sprachbezogene Aufgaben verwendet werden können, indem sie sie anhand einer großen Menge unbeschrifteten Textes trainieren und sie dann anhand eines kleineren Satzes beschrifteter Daten verfeinern. Dieser Ansatz ermöglichte es Transformers, bedeutendes Wissen über Sprache zu erfassen.

Die ursprünglich für Sprachaufgaben konzipierte Transformer-Architektur wurde auch auf andere Anwendungen wie z Bilder erzeugen, Audio, Musik und sogar Aktionen. Dies hat Transformers zu einer Schlüsselkomponente im Bereich der generativen KI gemacht, die verschiedene Aspekte der Gesellschaft verändern soll.

Die Verfügbarkeit von Tools und Frameworks wie z PyTorch machen TensorFlow hat eine entscheidende Rolle bei der weit verbreiteten Einführung von Transformer-Modellen gespielt. Unternehmen wie Huggingface haben ihre aufgebaut Geschäft rund um die Idee Die zunehmende Kommerzialisierung von Open-Source-Transformer-Bibliotheken und spezialisierter Hardware wie NVIDIAs Hopper Tensor Cores haben die Trainings- und Inferenzgeschwindigkeit dieser Modelle weiter beschleunigt.

Eine bemerkenswerte Anwendung von Transformers ist ChatGPT, ein Chatbot, veröffentlicht von OpenAI. Es wurde unglaublich beliebt und erreichte in kurzer Zeit Millionen von Nutzern. OpenAI hat auch die Veröffentlichung von angekündigt GPT-4, eine leistungsstärkere Version, die eine menschenähnliche Leistung bei Aufgaben wie erreichen kann medizinische und juristische Prüfungen.

Der Einfluss von Transformern auf den Bereich der KI und ihr breites Anwendungsspektrum ist unbestreitbar. Sie haben hat den Weg verändert Wir gehen sprachbezogene Aufgaben an und ebnen den Weg für neue Fortschritte in der generativen KI.

3 Arten von Pretraining-Architekturen

Die Transformer-Architektur, die ursprünglich aus einem Encoder und einem Decoder bestand, hat sich weiterentwickelt und umfasst je nach spezifischen Anforderungen verschiedene Varianten. Lassen Sie uns diese Variationen in einfachen Worten aufschlüsseln.

1. Encoder-Vorschulung: Bei diesen Modellen steht das Verstehen ganzer Sätze oder Passagen im Vordergrund. Während des Vortrainings wird der Encoder verwendet, um maskierte Token im Eingabesatz zu rekonstruieren. Dadurch lernt das Modell, den Gesamtkontext zu verstehen. Solche Modelle sind nützlich für Aufgaben wie Textklassifizierung, Folgerung und extraktive Fragebeantwortung.
2. Decoder-Vorschulung: Decoder-Modelle werden darauf trainiert, das nächste Token basierend auf der vorherigen Token-Sequenz zu generieren. Sie werden als autoregressive Sprachmodelle bezeichnet. Die Selbstaufmerksamkeitsschichten im Decoder können nur auf Token vor einem bestimmten Token im Satz zugreifen. Diese Modelle eignen sich ideal für Aufgaben zur Textgenerierung.
3. Vorschulung des Transformators (Encoder-Decoder).: Diese Variante kombiniert sowohl die Encoder- als auch die Decoderkomponenten. Die Selbstaufmerksamkeitsschichten des Encoders können auf alle Eingabetoken zugreifen, während die Selbstaufmerksamkeitsschichten des Decoders nur auf Token vor einem bestimmten Token zugreifen können. Diese Architektur ermöglicht es dem Decoder, die vom Encoder gelernten Darstellungen zu verwenden. Encoder-Decoder-Modelle eignen sich gut für Aufgaben wie Zusammenfassung, Übersetzung oder generative Fragebeantwortung.

Vortrainingsziele können Rauschunterdrückung oder kausale Sprachmodellierung umfassen. Diese Ziele sind bei Encoder-Decoder-Modellen komplexer als bei Nur-Encoder- oder Nur-Decoder-Modellen. Die Transformer-Architektur weist je nach Schwerpunkt des Modells unterschiedliche Variationen auf. Ganz gleich, ob es darum geht, vollständige Sätze zu verstehen, Text zu generieren oder beides für verschiedene Aufgaben zu kombinieren – Transformers bieten Flexibilität bei der Bewältigung unterschiedlicher sprachbezogener Herausforderungen.

8 Arten von Aufgaben für vorab trainierte Modelle

Wenn wir ein Modell trainieren, müssen wir ihm eine Aufgabe oder ein Ziel geben, aus dem es lernen kann. Es gibt verschiedene Aufgaben in der Verarbeitung natürlicher Sprache (NLP), die für das Vortraining von Modellen verwendet werden können. Lassen Sie uns einige dieser Aufgaben in einfachen Worten aufschlüsseln:

1. Sprachmodellierung (LM): Das Modell sagt das nächste Token in einem Satz voraus. Es lernt, den Kontext zu verstehen und zusammenhängende Sätze zu bilden.
2. Kausale Sprachmodellierung: Das Modell sagt das nächste Token in einer Textsequenz in der Reihenfolge von links nach rechts voraus. Es ist wie ein Storytelling-Modell, das Sätze Wort für Wort generiert.
3. Präfix-Sprachmodellierung: Das Modell trennt einen „Präfix“-Abschnitt von der Hauptsequenz. Es kann sich um jedes Token innerhalb des Präfixes kümmern und generiert dann den Rest der Sequenz autoregressiv.
4. Masked Language Modeling (MLM): Einige Token in den Eingabesätzen werden maskiert und das Modell sagt die fehlenden Token basierend auf dem umgebenden Kontext voraus. Es lernt, die Lücken zu füllen.
5. Permuted Language Modeling (PLM): Das Modell sagt den nächsten Token basierend auf einer zufälligen Permutation der Eingabesequenz voraus. Es lernt, mit verschiedenen Reihenfolgen von Token umzugehen.
6. Denoising Autoencoder (DAE): Das Modell nimmt eine teilweise beschädigte Eingabe und zielt darauf ab, die ursprüngliche, unverzerrte Eingabe wiederherzustellen. Es lernt, mit Rauschen oder fehlenden Textteilen umzugehen.
7. Erkennung ersetzter Token (RTD): Das Modell erkennt, ob ein Token aus dem Originaltext oder einer generierten Version stammt. Es lernt, ersetzte oder manipulierte Token zu erkennen.
8. Vorhersage des nächsten Satzes (NSP): Das Modell lernt, aus den Trainingsdaten zu unterscheiden, ob zwei Eingabesätze kontinuierliche Segmente sind. Es versteht die Beziehung zwischen Sätzen.

Diese Aufgaben helfen dem Modell, die Struktur und Bedeutung der Sprache zu lernen. Durch das Vortraining für diese Aufgaben erlangen Modelle ein gutes Verständnis der Sprache, bevor sie für bestimmte Anwendungen feinabgestimmt werden.

Die über 30 besten Transformer in der KI

FAQs

Transformatoren in der KI sind eine Art von Deep-Learning-Architektur Das hat die Verarbeitung natürlicher Sprache und andere Aufgaben verändert. Sie nutzen Selbstaufmerksamkeitsmechanismen, um Beziehungen zwischen Wörtern in einem Satz zu erfassen und so menschenähnlichen Text zu verstehen und zu generieren.

Encoder und Decoder sind Komponenten, die häufig in Sequenz-zu-Sequenz-Modellen verwendet werden. Encoder verarbeiten Eingabedaten wie Text oder Bilder und wandeln sie in eine komprimierte Darstellung um, während Decoder Ausgabedaten basierend auf der codierten Darstellung generieren und so Aufgaben wie Sprachübersetzung oder Bildunterschriften ermöglichen.

Aufmerksamkeitsschichten sind Komponenten, die in verwendet werden Neuronale Netze, insbesondere bei Transformer-Modellen. Sie ermöglichen es dem Modell, sich selektiv auf verschiedene Teile der Eingabesequenz zu konzentrieren und jedem Element basierend auf seiner Relevanz Gewichtungen zuzuweisen, was eine effektive Erfassung von Abhängigkeiten und Beziehungen zwischen Elementen ermöglicht.

Fein abgestimmte Modelle beziehen sich auf vorab trainierte Modelle, die für eine bestimmte Aufgabe oder einen bestimmten Datensatz weiter trainiert wurden, um ihre Leistung zu verbessern und sie an die spezifischen Anforderungen dieser Aufgabe anzupassen. Bei diesem Feinabstimmungsprozess werden die Parameter des Modells angepasst, um seine Vorhersagen zu optimieren und es spezifischer für die Zielaufgabe zu machen.

Transformatoren gelten als die Zukunft der KI, da sie bei einer Vielzahl von Aufgaben außergewöhnliche Leistung gezeigt haben, darunter die Verarbeitung natürlicher Sprache, die Bilderzeugung und mehr. Ihre Fähigkeit, weitreichende Abhängigkeiten zu erfassen und sequentielle Daten effizient zu verarbeiten, macht sie für verschiedene Anwendungen äußerst anpassungsfähig und effektiv, ebnet den Weg für Fortschritte in der generativen KI und revolutioniert viele Aspekte der Gesellschaft.

Zu den bekanntesten Transformatormodellen in der KI gehören BERT (Bidirektionale Encoderdarstellungen von Transformers), GPT (Generative Pre-trained Transformer) und T5 (Text-to-Text Transfer Transformer). Diese Modelle haben bei verschiedenen Aufgaben der Verarbeitung natürlicher Sprache bemerkenswerte Ergebnisse erzielt und in der KI-Forschungsgemeinschaft große Popularität erlangt.

Lesen Sie mehr über KI:

• University of Texas: Die Gedanken der Menschen können mit einem Gehirnaktivitäts-Decoder aufgedeckt werden
• Facebook entwickelt eine neue Methode zur Leistungsverdopplung von KI-Transformern
• GPT-4 Kann Ihre Anfragen nach Bildern, Dokumenten, Diagrammen und Screenshots bearbeiten

Über den Autor

Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein. 

Weitere Artikel

Damir Jalalow

• 
• 

Damir Jalalow

Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein. 

• 

Weitere Artikel