Ponad 30 najlepszych modeli transformatorów w sztucznej inteligencji: czym są i jak działają

Udostępnij ten artykuł

• 
• 
• 
• 
• 

by Damir Jałałow

Opublikowano: 12 czerwca 2023 o 6:52 Zaktualizowano: 12 czerwca 2023 o 6:52

by Karolina Gaszcz

Edytowane i sprawdzone pod kątem faktów: 12 czerwca 2023 o 6:52

Aby poprawić obsługę w języku lokalnym, czasami stosujemy wtyczkę do automatycznego tłumaczenia. Pamiętaj, że automatyczne tłumaczenie może nie być dokładne, więc przeczytaj oryginalny artykuł w celu uzyskania dokładnych informacji.

W ostatnich miesiącach w sztucznej inteligencji pojawiło się wiele modeli Transformerów, z których każdy ma unikalne, a czasem zabawne nazwy. Jednak te nazwy mogą nie zapewniać zbyt dużego wglądu w to, co faktycznie robią te modele. Ten artykuł ma na celu przedstawienie wyczerpującej i prostej listy najpopularniejszych modeli Transformerów. Sklasyfikuje te modele, a także wprowadzi ważne aspekty i innowacje w rodzinie Transformerów. Górna lista obejmie wyszkolone modele poprzez samonadzorowane uczenie się, jak BERT lub GPT-3, a także modele, które przechodzą dodatkowe szkolenia z udziałem człowieka, takie jak InstructGPT model stosowany przez ChatGPT.

Czym są Transformatory w AI?

Transformatory to rodzaj modeli głębokiego uczenia się, które zostały wprowadzone w artykule badawczym zatytułowanym „Uwaga to wszystko, czego potrzebujesz” przez badaczy Google w 2017 r. Ten artykuł zyskał ogromne uznanie, gromadząc ponad 38,000 XNUMX cytowań w ciągu zaledwie pięciu lat.

Oryginalna architektura Transformera to specyficzna forma modeli koder-dekoder, która zyskała popularność przed jej wprowadzeniem. Na tych modelach głównie polegano LSTM i inne odmiany powtarzających się sieci neuronowych (RNN), przy czym uwaga jest tylko jednym z zastosowanych mechanizmów. Jednak artykuł Transformer zaproponował rewolucyjną ideę, że uwaga może służyć jako jedyny mechanizm ustalania zależności między wejściem a wyjściem.

W kontekście Transformers dane wejściowe składają się z sekwencji tokenów, którymi mogą być słowa lub podsłowa w przetwarzaniu języka naturalnego (NLP). Podsłowa są powszechnie stosowane w modelach NLP w celu rozwiązania problemu słów spoza słownika. Dane wyjściowe kodera tworzą stałą reprezentację wymiarową dla każdego tokenu wraz z osobnym osadzeniem dla całej sekwencji. Dekoder pobiera dane wyjściowe kodera i jako swoje dane wyjściowe generuje sekwencję tokenów.

Od czasu publikacji artykułu Transformer popularne modele, takie jak BERTI i GPT przyjęły aspekty oryginalnej architektury, wykorzystując komponenty kodera lub dekodera. Kluczowe podobieństwo między tymi modelami polega na architekturze warstw, która obejmuje mechanizmy samouważności i warstwy wyprzedzające. W Transformers każdy token wejściowy przechodzi własną ścieżkę przez warstwy, zachowując jednocześnie bezpośrednie zależności z każdym innym tokenem w sekwencji wejściowej. Ta unikalna funkcja umożliwia równoległe i wydajne obliczanie kontekstowych reprezentacji tokenów, co jest niemożliwe w przypadku modeli sekwencyjnych, takich jak RNN.

Chociaż ten artykuł to tylko zarysowanie struktury architektury Transformer, daje wgląd w jej podstawowe aspekty. Aby uzyskać pełniejsze zrozumienie, zalecamy zapoznanie się z oryginalnym artykułem badawczym lub postem The Illustrated Transformer.

Czym są kodery i dekodery w sztucznej inteligencji?

Wyobraź sobie, że masz dwa modele, koder i dekoder, współpraca jak zespół. Koder pobiera dane wejściowe i przekształca je w wektor o stałej długości. Następnie dekoder bierze ten wektor i przekształca go w sekwencję wyjściową. Modele te są szkolone razem, aby upewnić się, że dane wyjściowe są jak najbardziej zgodne z danymi wejściowymi.

Zarówno koder, jak i dekoder miały kilka warstw. Każda warstwa w koderze miała dwie warstwy podrzędne: wielogłowicową warstwę samouwagi i prostą sieć sprzężenia zwrotnego. Warstwa samouwagi pomaga każdemu tokenowi na wejściu zrozumieć relacje ze wszystkimi innymi tokenami. Te podwarstwy mają również szczątkowe połączenie i normalizację warstw, aby proces uczenia się był płynniejszy.

Wielogłowica dekodera warstwa samouwagi działa nieco inaczej niż w enkoderze. Maskuje żetony po prawej stronie żetonu, na którym się skupia. Gwarantuje to, że dekoder patrzy tylko na tokeny, które pojawiają się przed tym, który próbuje przewidzieć. Ta zamaskowana wielokierunkowa uwaga pomaga dekoderowi w generowaniu dokładnych prognoz. Dodatkowo dekoder zawiera kolejną podwarstwę, która jest wielogłowicową warstwą uwagi na wszystkich wyjściach z kodera.

Należy zauważyć, że te specyficzne szczegóły zostały zmodyfikowane w różnych wersjach modelu Transformer. Modele takie jak BERT i GPTna przykład są oparte na aspekcie kodera lub dekodera oryginalnej architektury.

Czym są warstwy uwagi w sztucznej inteligencji?

W architekturze modelu, którą omówiliśmy wcześniej, wielogłowicowe warstwy uwagi są specjalnymi elementami, które czynią ją potężną. Ale czym właściwie jest uwaga? Pomyśl o tym jako o funkcji, która odwzorowuje pytanie na zestaw informacji i daje wynik. Z każdym tokenem w danych wejściowych jest skojarzone zapytanie, klucz i wartość. Reprezentacja wyjściowa każdego tokena jest obliczana na podstawie ważonej sumy wartości, przy czym waga każdej wartości jest określana na podstawie dopasowania do zapytania.

Transformatory używają funkcji kompatybilności zwanej skalowanym iloczynem punktowym do obliczania tych wag. Interesującą rzeczą związaną z uwagą w Transformers jest to, że każdy token przechodzi przez własną ścieżkę obliczeniową, co pozwala na równoległe obliczanie wszystkich tokenów w sekwencji wejściowej. To po prostu wiele bloków uwagi, które niezależnie obliczają reprezentacje dla każdego tokena. Reprezentacje te są następnie łączone w celu utworzenia ostatecznej reprezentacji tokena.

W porównaniu do innych typów sieci, takich jak rekurencyjne i sieci splotowe, warstwy uwagi mają kilka zalet. Są wydajne obliczeniowo, co oznacza, że ​​mogą szybko przetwarzać informacje. Mają też lepszą łączność, co jest pomocne przy przechwytywaniu długoterminowych relacji w sekwencjach.

Czym są precyzyjnie dostrojone modele w sztucznej inteligencji?

Modele fundamentów to potężne modele, które są szkolone na dużej ilości ogólnych danych. Można je następnie dostosować lub dostroić do określonych zadań, szkoląc je na mniejszym zestawie dane specyficzne dla celu. Podejście to, spopularyzowane przez Papier BERT, doprowadziło do dominacji modeli opartych na transformatorze w zadaniach uczenia maszynowego związanych z językiem.

W przypadku modeli takich jak BERT tworzą one reprezentacje tokenów wejściowych, ale nie wykonują samodzielnie określonych zadań. Aby były przydatne, dodatkowe warstwy neuronowe są dodawane na górze, a model jest trenowany od końca do końca w procesie znanym jako dostrajanie. Jednak z modele generatywne lubić GPTpodejście jest nieco inne. GPT to model języka dekodera przeszkolony do przewidywania następnego słowa w zdaniu. Trenując na ogromnych ilościach danych internetowych, GPT może generować rozsądne wyniki w oparciu o wejściowe zapytania lub podpowiedzi.

Aby GPT bardziej pomocne, OpenAI rozwinęli się naukowcy PouczaćGPT, który jest przeszkolony, aby postępować zgodnie z instrukcjami człowieka. Osiąga się to poprzez precyzyjne dostrojenie GPT korzystanie z danych oznaczonych przez człowieka z różnych zadań. PouczaćGPT jest w stanie wykonywać szeroki zakres zadań i jest używany przez popularne silniki, takie jak ChatGPT.

Precyzyjne dostrajanie może być również wykorzystywane do tworzenia zoptymalizowanych wariantów modeli fundamentów konkretne cele poza modelowaniem języka. Na przykład istnieją modele dostrojone do zadań związanych z semantyką, takich jak klasyfikacja tekstu i wyszukiwanie. Ponadto enkodery transformatorowe zostały pomyślnie dostrojone w ramach wielozadaniowości ramy uczenia się do wykonywania wielu zadań semantycznych przy użyciu jednego wspólnego modelu.

Obecnie dostrajanie służy do tworzenia wersji modeli fundamentów, z których może korzystać duża liczba użytkowników. Proces obejmuje generowanie odpowiedzi na dane wejściowe monitów, a wyniki oceniane są przez ludzi. Ten ranking służy do szkolenia a model nagrody, który przypisuje wyniki do każdego wyjścia. Uczenie się ze wzmocnieniem z ludzkimi opiniami jest następnie wykorzystywany do dalszego uczenia modelu.

Dlaczego Transformers to przyszłość sztucznej inteligencji?

Transformatory, rodzaj potężnego modelu, zostały po raz pierwszy zademonstrowane w dziedzinie tłumaczeń językowych. Jednak badacze szybko zdali sobie sprawę, że Transformers można używać do różnych zadań związanych z językiem, ucząc ich na dużej ilości nieoznaczonego tekstu, a następnie dostrajając je na mniejszym zbiorze oznaczonych danych. Takie podejście pozwoliło firmie Transformers uchwycić znaczną wiedzę na temat języka.

Architektura Transformer, pierwotnie zaprojektowana do zadań językowych, została również zastosowana w innych aplikacjach, takich jak generowanie obrazów, dźwięk, muzyka, a nawet działania. To sprawiło, że Transformers stał się kluczowym komponentem w dziedzinie generatywnej sztucznej inteligencji, która zmienia różne aspekty społeczeństwa.

Dostępność narzędzi i frameworków, takich jak PyTorch i TensorFlow odegrał kluczową rolę w powszechnym przyjęciu modeli Transformer. Firmy takie jak Huggingface zbudowały swoje biznes wokół idei komercjalizacji bibliotek transformatorów typu open source oraz specjalistycznego sprzętu, takiego jak rdzenie Hopper Tensor firmy NVIDIA, jeszcze bardziej przyspieszyły szybkość uczenia i wnioskowania tych modeli.

Jednym z godnych uwagi zastosowań Transformers jest ChatGPT, chatbot wydany przez OpenAI. Stał się niesamowicie popularny, docierając w krótkim czasie do milionów użytkowników. OpenAI zapowiedział także wydanie GPT-4, potężniejsza wersja zdolna do osiągnięcia wydajności na poziomie człowieka w zadaniach takich jak badania lekarskie i prawnicze.

Wpływ Transformatorów na dziedzinę sztucznej inteligencji i ich szeroki zakres zastosowań jest niezaprzeczalny. Oni mają zmienił sposób podchodzimy do zadań związanych z językiem i torujemy drogę nowym postępom w generatywnej sztucznej inteligencji.

3 typy architektur szkolenia wstępnego

Architektura Transformera, pierwotnie składająca się z kodera i dekodera, ewoluowała, obejmując różne odmiany w zależności od konkretnych potrzeb. Rozłóżmy te odmiany w prosty sposób.

1. Wstępne szkolenie enkodera: Te modele koncentrują się na zrozumieniu pełnych zdań lub fragmentów. Podczas wstępnego uczenia koder jest używany do rekonstrukcji zamaskowanych tokenów w zdaniu wejściowym. Pomaga to modelowi nauczyć się rozumieć ogólny kontekst. Takie modele są przydatne do zadań takich jak klasyfikacja tekstu, implikacja i ekstrakcyjne odpowiadanie na pytania.
2. Wstępne szkolenie dekodera: Modele dekoderów są szkolone w celu generowania następnego tokenu na podstawie poprzedniej sekwencji tokenów. Są one znane jako autoregresyjne modele językowe. Warstwy samouwagi w dekoderze mają dostęp tylko do tokenów przed danym tokenem w zdaniu. Modele te są idealne do zadań związanych z generowaniem tekstu.
3. Wstępne szkolenie transformatora (kodera-dekodera).: Ta odmiana łączy w sobie elementy kodera i dekodera. Warstwy samouwagi kodera mają dostęp do wszystkich tokenów wejściowych, podczas gdy warstwy samouwagi dekodera mają dostęp tylko do tokenów przed danym tokenem. Ta architektura umożliwia dekoderowi korzystanie z reprezentacji wyuczonych przez koder. Modele kodera-dekodera dobrze nadają się do zadań takich jak podsumowywanie, tłumaczenie lub generatywne odpowiadanie na pytania.

Cele wstępnego szkolenia mogą obejmować odszumianie lub modelowanie języka przyczynowego. Cele te są bardziej złożone w przypadku modeli koder-dekoder w porównaniu z modelami tylko koder lub tylko dekoder. Architektura Transformer ma różne warianty w zależności od ukierunkowania modelu. Niezależnie od tego, czy chodzi o rozumienie pełnych zdań, generowanie tekstu, czy też łączenie obu tych rozwiązań w różnych zadaniach, Transformers oferuje elastyczność w rozwiązywaniu różnych problemów językowych.

8 rodzajów zadań dla wstępnie wyszkolonych modeli

Podczas szkolenia modelu musimy przydzielić mu zadanie lub cel, z którego ma się uczyć. Istnieją różne zadania przetwarzania języka naturalnego (NLP), które mogą być używane do modeli wstępnego uczenia. Rozłóżmy niektóre z tych zadań w prosty sposób:

1. Modelowanie językowe (LM): Model przewiduje następny token w zdaniu. Uczy się rozumieć kontekst i generować spójne zdania.
2. Modelowanie języka przyczynowego: Model przewiduje następny token w sekwencji tekstu, zgodnie z kolejnością od lewej do prawej. To jak model opowiadania historii, który generuje zdania jedno słowo na raz.
3. Modelowanie języka prefiksów: model oddziela sekcję „przedrostków” od sekwencji głównej. Może obsłużyć dowolny token w obrębie prefiksu, a następnie generuje autoregresywnie resztę sekwencji.
4. Modelowanie języka maskowanego (MLM): niektóre tokeny w zdaniach wejściowych są maskowane, a model przewiduje brakujące tokeny na podstawie otaczającego kontekstu. Uczy się wypełniać puste miejsca.
5. Permuted Language Modeling (PLM): Model przewiduje następny token na podstawie losowej permutacji sekwencji wejściowej. Uczy się obsługi różnych rzędów tokenów.
6. Denoising Autoencoder (DAE): Model bierze częściowo uszkodzony sygnał wejściowy i ma na celu odzyskanie oryginalnego, niezniekształconego sygnału wejściowego. Uczy się radzić sobie z szumem lub brakującymi fragmentami tekstu.
7. Zastąpione wykrywanie tokenów (RTD): model wykrywa, czy token pochodzi z oryginalnego tekstu, czy z wygenerowanej wersji. Uczy się identyfikować zastąpione lub zmanipulowane tokeny.
8. Przewidywanie następnego zdania (NSP): model uczy się rozróżniać, czy dwa zdania wejściowe są ciągłymi segmentami z danych treningowych. Rozumie relacje między zdaniami.

Zadania te pomagają modelowi poznać strukturę i znaczenie języka. Dzięki wstępnemu szkoleniu w zakresie tych zadań modele dobrze rozumieją język, zanim zostaną dostrojone do konkretnych aplikacji.

Ponad 30 najlepszych transformatorów w sztucznej inteligencji

Najczęściej zadawane pytania

Transformatory w AI są rodzajem architektura głębokiego uczenia które zmieniło przetwarzanie języka naturalnego i inne zadania. Używają mechanizmów samouwagi, aby uchwycić relacje między słowami w zdaniu, umożliwiając im zrozumienie i wygenerowanie tekstu podobnego do ludzkiego.

Kodery i dekodery to komponenty powszechnie stosowane w modelach sekwencji do sekwencji. Kodery przetwarzają dane wejściowe, takie jak tekst lub obrazy, i konwertują je na skompresowaną reprezentację, podczas gdy dekodery generują dane wyjściowe na podstawie zakodowanej reprezentacji, umożliwiając zadania takie jak tłumaczenie języka lub podpisy obrazów.

Warstwy uwagi to komponenty używane w sieci neuronowe, szczególnie w modelach Transformer. Umożliwiają modelowi selektywne skupienie się na różnych częściach sekwencji wejściowej, przypisując wagi do każdego elementu na podstawie jego istotności, pozwalając na skuteczne uchwycenie zależności i relacji między elementami.

Precyzyjnie dostrojone modele odnoszą się do wstępnie wytrenowanych modeli, które zostały dalej przeszkolone w zakresie określonego zadania lub zbioru danych w celu poprawy ich wydajności i dostosowania ich do określonych wymagań tego zadania. Ten proces dostrajania polega na dostosowaniu parametrów modelu w celu zoptymalizowania jego przewidywań i uczynienia go bardziej wyspecjalizowanym w zadaniu docelowym.

Transformatory są uważane za przyszłość sztucznej inteligencji, ponieważ wykazały się wyjątkową wydajnością w szerokim zakresie zadań, w tym w przetwarzaniu języka naturalnego, generowaniu obrazów i nie tylko. Ich zdolność do wychwytywania zależności dalekiego zasięgu i wydajnego przetwarzania danych sekwencyjnych sprawia, że ​​są wysoce elastyczne i skuteczne w różnych zastosowaniach, torując drogę postępowi w generatywnej sztucznej inteligencji i rewolucjonizując wiele aspektów społeczeństwa.

Do najbardziej znanych modeli transformatorów w AI zaliczają się BERT (Bilateral Encoder Representations from Transformers), GPT (Wstępnie wyszkolony transformator generatywny) i T5 (Transformator transferu tekstu na tekst). Modele te osiągnęły niezwykłe wyniki w różnych zadaniach związanych z przetwarzaniem języka naturalnego i zyskały znaczną popularność w społeczności badawczej AI.

Przeczytaj więcej o sztucznej inteligencji:

• University of Texas: Umysły ludzi można ujawnić za pomocą dekodera aktywności mózgu
• Facebook opracowuje nową metodę podwojenia wydajności transformatorów AI
• GPT-4 Może obsłużyć Twoje prośby o obrazy, dokumenty, diagramy i zrzuty ekranu

O autorze

Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym. 

Więcej artykułów

Damir Jałałow

• 
• 

Damir Jałałow

Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym. 

• 

Więcej artykułów