AI의 상위 30개 이상의 트랜스포머 모델: 정의 및 작동 방식

최근 몇 달 동안 AI에서 각각 독특하고 때로는 재미있는 이름을 가진 수많은 Transformer 모델이 등장했습니다. 그러나 이러한 이름은 이러한 모델이 실제로 수행하는 작업에 대한 많은 통찰력을 제공하지 않을 수 있습니다. 이 문서는 가장 인기 있는 Transformer 모델의 포괄적이고 간단한 목록을 제공하는 것을 목표로 합니다. 이러한 모델을 분류하고 Transformer 제품군 내에서 중요한 측면과 혁신을 소개합니다. 상위 목록이 포함됩니다. 훈련된 모델 BERT와 같은 자기 지도 학습을 통해 GPT-3, Instruct와 같이 사람이 참여하여 추가 교육을 받는 모델도 포함됩니다.GPT 에서 활용하는 모델 ChatGPT.

프로 팁
이 가이드 초보자부터 고급 학습자까지 신속한 엔지니어링에 대한 포괄적인 지식과 실용적인 기술을 제공하도록 설계되었습니다.
많은 코스가 있습니다 AI 및 관련 기술에 대해 자세히 알아보려는 개인이 사용할 수 있습니다.
살펴보기 상위 10개 이상의 AI 가속기 성능면에서 시장을 주도 할 것으로 예상됩니다.

AI의 변압기는 무엇입니까?

트랜스포머는 "라는 연구 논문에서 소개된 일종의 딥러닝 모델입니다.관심만 있으면 됩니다이 논문은 불과 2017년 만에 38,000회 이상 인용되는 등 엄청난 인정을 받았습니다.

원래 Transformer 아키텍처는 소개되기 전에 인기를 얻은 특정 형태의 인코더-디코더 모델입니다. 이러한 모델은 주로 LSTM 및 순환 신경망의 다른 변형(RNN), 어텐션은 활용되는 메커니즘 중 하나일 뿐입니다. 그러나 트랜스포머 논문은 어텐션이 입력과 출력 간의 종속성을 설정하는 유일한 메커니즘으로 작용할 수 있다는 혁신적인 아이디어를 제안했습니다.

Transformers의 맥락에서 입력은 일련의 토큰으로 구성되며 자연어 처리에서 단어 또는 하위 단어일 수 있습니다(NLP). 하위 단어는 어휘 외 단어 문제를 해결하기 위해 NLP 모델에서 일반적으로 사용됩니다. 인코더의 출력은 전체 시퀀스에 대한 별도의 임베딩과 함께 각 토큰에 대한 고정 차원 표현을 생성합니다. 디코더는 인코더의 출력을 가져와 토큰 시퀀스를 출력으로 생성합니다.

트랜스포머 페이퍼 출시 이후, 다음과 같은 인기 모델 BERT 및 GPT 인코더 또는 디코더 구성 요소를 사용하여 원래 아키텍처의 측면을 채택했습니다. 이러한 모델 간의 주요 유사점은 self-attention 메커니즘과 피드포워드 레이어를 통합하는 레이어 아키텍처에 있습니다. Transformers에서 각 입력 토큰은 입력 시퀀스의 다른 모든 토큰과 직접적인 종속성을 유지하면서 레이어를 통해 자체 경로를 통과합니다. 이 고유한 기능을 사용하면 RNN과 같은 순차 모델에서는 실현할 수 없는 기능인 상황별 토큰 표현을 병렬적이고 효율적으로 계산할 수 있습니다.

이 기사는 Transformer 아키텍처의 표면만 살펴보았지만 기본적인 측면을 엿볼 수 있습니다. 보다 포괄적인 이해를 위해 원본 연구 논문 또는 The Illustrated Transformer 게시물을 참조하는 것이 좋습니다.

AI의 인코더와 디코더는 무엇입니까?

인코더와 디코더라는 두 가지 모델이 있다고 상상해보십시오. 함께 일하는 팀처럼. 인코더는 입력을 받아 고정 길이 벡터로 바꿉니다. 그런 다음 디코더는 해당 벡터를 가져와 출력 시퀀스로 변환합니다. 이러한 모델은 함께 훈련되어 출력이 입력과 최대한 일치하는지 확인합니다.

인코더와 디코더 모두 여러 계층을 가졌습니다. 인코더의 각 레이어에는 멀티 헤드 셀프 어텐션 레이어와 간단한 피드 포워드 네트워크라는 두 개의 하위 레이어가 있습니다. self-attention 계층은 입력의 각 토큰이 다른 모든 토큰과의 관계를 이해하도록 도와줍니다. 이러한 하위 계층에는 잔여 연결과 계층 정규화가 있어 학습 프로세스를 원활하게 합니다.

디코더의 멀티 헤드 자기주의 계층 인코더의 것과 약간 다르게 작동합니다. 초점을 맞추고 있는 토큰의 오른쪽에 있는 토큰을 마스킹합니다. 이렇게 하면 디코더가 예측하려는 토큰 앞에 오는 토큰만 보도록 합니다. 이 마스킹된 다중 헤드 어텐션은 디코더가 정확한 예측을 생성하는 데 도움이 됩니다. 또한 디코더에는 인코더의 모든 출력에 대한 멀티 헤드 어텐션 레이어인 다른 하위 레이어가 포함되어 있습니다.

Transformer 모델의 다양한 변형에서 이러한 특정 세부 사항이 수정되었다는 점에 유의하는 것이 중요합니다. BERT와 같은 모델 GPT예를 들어, 원래 아키텍처의 인코더 또는 디코더 측면을 기반으로 합니다.

AI의 주의 레이어는 무엇입니까?

앞서 논의한 모델 아키텍처에서 다중 헤드 어텐션 레이어는 이를 강력하게 만드는 특수 요소입니다. 그러나 주의란 정확히 무엇입니까? 질문을 일련의 정보에 매핑하고 출력을 제공하는 기능으로 생각하십시오. 입력의 각 토큰에는 연결된 쿼리, 키 및 값이 있습니다. 각 토큰의 출력 표현은 값의 가중 합계를 취하여 계산되며 각 값의 가중치는 쿼리와 얼마나 일치하는지에 따라 결정됩니다.

트랜스포머는 스케일링된 내적이라는 호환성 함수를 사용하여 이러한 가중치를 계산합니다. Transformers의 어텐션에 대한 흥미로운 점은 각 토큰이 자체 계산 경로를 통과하여 입력 시퀀스의 모든 토큰을 병렬로 계산할 수 있다는 것입니다. 각 토큰에 대한 표현을 독립적으로 계산하는 여러 주의 블록입니다. 그런 다음 이러한 표현을 결합하여 토큰의 최종 표현을 만듭니다.

순환 네트워크와 같은 다른 유형의 네트워크와 비교하여 컨볼 루션 네트워크, 어텐션 레이어에는 몇 가지 장점이 있습니다. 그들은 계산적으로 효율적이어서 정보를 빠르게 처리할 수 있습니다. 또한 연결성이 더 높기 때문에 시퀀스에서 장기적인 관계를 캡처하는 데 도움이 됩니다.

AI의 미세 조정 모델이란 무엇입니까?

기초 모델 많은 양의 일반 데이터에 대해 훈련된 강력한 모델입니다. 그런 다음 더 작은 세트의 훈련을 통해 특정 작업에 맞게 조정하거나 미세 조정할 수 있습니다. 대상별 데이터. 이 접근 방식은 BERT 종이, 언어 관련 기계 학습 작업에서 Transformer 기반 모델이 우세하게 되었습니다.

BERT와 같은 모델의 경우 입력 토큰의 표현을 생성하지만 자체적으로 특정 작업을 수행하지는 않습니다. 유용하게 사용하려면 추가로 신경층 위에 추가되고 모델은 미세 조정으로 알려진 프로세스인 종단 간 훈련됩니다. 그러나, 생성 모델 처럼 GPT, 접근 방식이 약간 다릅니다. GPT 문장의 다음 단어를 예측하도록 훈련된 디코더 언어 모델입니다. 방대한 양의 웹 데이터를 학습함으로써, GPT 입력 쿼리나 프롬프트를 기반으로 합리적인 출력을 생성할 수 있습니다.

만들려면 GPT 더 도움이 되고, OpenAI 연구원들이 개발한 지시GPT, 인간의 지시를 따르도록 훈련되었습니다. 이는 미세 조정을 통해 달성됩니다. GPT 다양한 작업에서 사람이 라벨링한 데이터를 사용합니다. 지시하다GPT 광범위한 작업을 수행할 수 있으며 다음과 같은 인기 있는 엔진에서 사용됩니다. ChatGPT.

미세 조정을 사용하여 다음에 최적화된 기초 모델의 변형을 생성할 수도 있습니다. 특정 목적 언어 모델링을 넘어 예를 들어 텍스트 분류 및 검색 검색과 같은 의미 체계 관련 작업을 위해 미세 조정된 모델이 있습니다. 또한 변압기 엔코더는 다중 작업 내에서 성공적으로 미세 조정되었습니다. 학습 프레임워크 단일 공유 모델을 사용하여 여러 시맨틱 작업을 수행합니다.

오늘날 미세 조정은 많은 사용자가 사용할 수 있는 기초 모델 버전을 만드는 데 사용됩니다. 프로세스에는 입력에 대한 응답 생성이 포함됩니다. 프롬프트 및 사람이 결과 순위 지정. 이 순위는 훈련에 사용됩니다. 보상 모델, 각 출력에 점수를 할당합니다. 사람의 피드백을 통한 강화 학습 그런 다음 모델을 추가로 훈련하는 데 사용됩니다.

트랜스포머가 AI의 미래인 이유는 무엇입니까?

강력한 모델의 일종인 Transformers는 언어 번역 분야에서 처음 시연되었습니다. 그러나 연구자들은 트랜스포머를 레이블이 지정되지 않은 대량의 텍스트에 대해 교육한 다음 레이블이 지정된 더 작은 데이터 세트에서 미세 조정함으로써 다양한 언어 관련 작업에 트랜스포머를 사용할 수 있다는 사실을 금방 깨달았습니다. 이 접근 방식을 통해 Transformers는 언어에 대한 중요한 지식을 캡처할 수 있었습니다.

원래 언어 작업용으로 설계된 Transformer 아키텍처는 다음과 같은 다른 응용 프로그램에도 적용되었습니다. 이미지 생성, 오디오, 음악, 심지어 동작까지. 이로 인해 Transformers는 사회의 다양한 측면을 변화시키는 Generative AI 분야의 핵심 구성 요소가 되었습니다.

다음과 같은 도구 및 프레임워크의 가용성 파이 토치 및 TensorFlow Transformer 모델의 광범위한 채택에 중요한 역할을 했습니다. Huggingface와 같은 회사는 아이디어를 중심으로 한 비즈니스 오픈 소스 Transformer 라이브러리를 상용화하고 NVIDIA의 Hopper Tensor Core와 같은 특수 하드웨어는 이러한 모델의 교육 및 추론 속도를 더욱 가속화했습니다.

변압기의 주목할만한 응용 프로그램 중 하나는 ChatGPT, 에서 출시한 챗봇 OpenAI. 단기간에 수백만 명의 사용자에게 도달하면서 엄청난 인기를 얻었습니다. OpenAI 의 출시도 발표했습니다. GPT-4, 다음과 같은 작업에서 인간과 유사한 성능을 달성할 수 있는 보다 강력한 버전입니다. 의료 및 법률 시험.

AI 분야와 광범위한 응용 분야에서 트랜스포머의 영향은 부인할 수 없습니다. 그들은 가지고 있다 방법을 변형 우리는 언어 관련 작업에 접근하고 생성 AI의 새로운 발전을 위한 길을 닦고 있습니다.

사전 학습 아키텍처의 3가지 유형

원래 인코더와 디코더로 구성된 Transformer 아키텍처는 특정 요구 사항에 따라 다양한 변형을 포함하도록 발전했습니다. 이러한 변형을 간단한 용어로 분석해 보겠습니다.

1. 인코더 사전 훈련: 이 모델은 완전한 문장이나 구절을 이해하는 데 중점을 둡니다. 사전 훈련 중에 인코더는 입력 문장에서 마스킹된 토큰을 재구성하는 데 사용됩니다. 이것은 모델이 전반적인 맥락을 이해하는 법을 배우는 데 도움이 됩니다. 이러한 모델은 텍스트 분류, 수반 및 추출 질문 답변과 같은 작업에 유용합니다.
2. 디코더 사전 훈련: 디코더 모델은 이전 토큰 시퀀스를 기반으로 다음 토큰을 생성하도록 훈련됩니다. 이를 자동 회귀 언어 모델이라고 합니다. 디코더의 self-attention 레이어는 문장에서 주어진 토큰 이전의 토큰에만 액세스할 수 있습니다. 이러한 모델은 텍스트 생성과 관련된 작업에 이상적입니다.
3. 변환기(인코더-디코더) 사전 훈련: 이 변형은 인코더와 디코더 구성 요소를 모두 결합합니다. 인코더의 self-attention 계층은 모든 입력 토큰에 액세스할 수 있는 반면, 디코더의 self-attention 계층은 주어진 토큰 이전의 토큰에만 액세스할 수 있습니다. 이 아키텍처를 통해 디코더는 인코더에서 학습한 표현을 사용할 수 있습니다. 인코더-디코더 모델은 요약, 번역 또는 생성적 질문 답변과 같은 작업에 매우 적합합니다.

사전 교육 목표에는 노이즈 제거 또는 인과 관계 언어 모델링이 포함될 수 있습니다. 이러한 목표는 인코더 전용 또는 디코더 전용 모델에 비해 인코더-디코더 모델에서 더 복잡합니다. Transformer 아키텍처는 모델의 초점에 따라 다양한 변형이 있습니다. 완전한 문장을 이해하든, 텍스트를 생성하든, 또는 다양한 작업을 위해 두 가지를 결합하든, Transformers는 다양한 언어 관련 문제를 해결할 수 있는 유연성을 제공합니다.

선행 학습된 모델의 8가지 작업 유형

모델을 교육할 때 학습할 작업이나 목표를 부여해야 합니다. 자연어 처리(NLP)에는 모델 사전 학습에 사용할 수 있는 다양한 작업이 있습니다. 이러한 작업 중 일부를 간단한 용어로 분석해 보겠습니다.

1. 언어 모델링(LM): 이 모델은 문장에서 다음 토큰을 예측합니다. 문맥을 이해하고 일관된 문장을 생성하는 방법을 배웁니다.
2. 인과 언어 모델링: 이 모델은 왼쪽에서 오른쪽 순서에 따라 텍스트 시퀀스에서 다음 토큰을 예측합니다. 한 번에 한 단어씩 문장을 생성하는 스토리텔링 모델과 같습니다.
3. 접두사 언어 모델링: 모델은 기본 시퀀스에서 '접두사' 섹션을 분리합니다. 접두사 내의 모든 토큰에 참석할 수 있으며 나머지 시퀀스는 자동 회귀적으로 생성됩니다.
4. 마스킹된 언어 모델링(MLM): 입력 문장의 일부 토큰이 마스킹되고 모델이 주변 컨텍스트를 기반으로 누락된 토큰을 예측합니다. 빈칸을 채우는 법을 배웁니다.
5. 순열 언어 모델링(PLM): 이 모델은 입력 시퀀스의 임의 순열을 기반으로 다음 토큰을 예측합니다. 다른 순서의 토큰을 처리하는 방법을 배웁니다.
6. DAE(Denoising Autoencoder): 이 모델은 부분적으로 손상된 입력을 가져와 왜곡되지 않은 원래 입력을 복구하는 것을 목표로 합니다. 텍스트의 노이즈 또는 누락된 부분을 처리하는 방법을 배웁니다.
7. 대체 토큰 감지(RTD): 모델은 토큰이 원본 텍스트에서 오는지 또는 생성된 버전에서 오는지를 감지합니다. 대체되거나 조작된 토큰을 식별하는 방법을 학습합니다.
8. 다음 문장 예측(NSP): 이 모델은 두 개의 입력 문장이 훈련 데이터의 연속 세그먼트인지 구별하는 방법을 학습합니다. 문장 간의 관계를 이해합니다.

이러한 작업은 모델이 언어의 구조와 의미를 학습하는 데 도움이 됩니다. 이러한 작업에 대한 사전 교육을 통해 모델은 특정 응용 프로그램에 맞게 미세 조정되기 전에 언어를 잘 이해합니다.

AI의 상위 30개 이상의 트랜스포머

성함	사전 학습 아키텍처	태스크	어플리케이션	에 의해 개발
ALBERT	인코더	MLM/NSP	BERT와 동일	구글
알파카	디코더	LM	텍스트 생성 및 분류 작업	스탠포드
알파 폴드	인코더	단백질 폴딩 예측	단백질 폴딩	딥 마인드
인간 조수(또한 참조)	디코더	LM	일반 대화에서 코드 어시스턴트까지.	인류
바트	인코더/디코더	DAE	텍스트 생성 및 텍스트 이해 작업	페이스북
BERT	인코더	MLM/NSP	언어 이해 및 질문 답변	구글
블렌더봇 3	디코더	LM	텍스트 생성 및 텍스트 이해 작업	페이스북
BLOOM	디코더	LM	텍스트 생성 및 텍스트 이해 작업	빅 사이언스/허깅페이스
ChatGPT	디코더	LM	대화 에이전트	OpenAI
친칠라	디코더	LM	텍스트 생성 및 텍스트 이해 작업	딥 마인드
쥐다	인코더		이미지/객체 분류	OpenAI
CTRL	디코더		제어 가능한 텍스트 생성	세일즈 포스
DALL-E	디코더	캡션 예측	텍스트를 이미지로	OpenAI
DALL-E-2	인코더/디코더	캡션 예측	텍스트를 이미지로	OpenAI
데베르타	디코더	MLM	BERT와 동일	Microsoft
결정 변환기	디코더	다음 행동 예측	일반 RL(강화 학습 작업)	구글/UC 버클리/FAIR
다이얼로GPT	디코더	LM	대화 설정에서 텍스트 생성	Microsoft
디스틸버트	인코더	MLM/NSP	언어 이해 및 질문 답변	허깅 페이스
DQ-바트	인코더/디코더	DAE	텍스트 생성 및 이해	아마존
인형	디코더	LM	텍스트 생성 및 분류 작업	데이터브릭스, Inc
에니	인코더	MLM	지식 집약적 관련 업무	다양한 중국 기관
플라밍고	디코더	캡션 예측	텍스트를 이미지로	딥 마인드
갈 락 티카	디코더	LM	과학적 QA, 수학적 추론, 요약, 문서 생성, 분자 속성 예측 및 엔터티 추출.	메타
활주	인코더	캡션 예측	텍스트를 이미지로	OpenAI
GPT-3.5	디코더	LM	대화 및 일반 언어	OpenAI
GPT지시	디코더	LM	지식 집약적 대화 또는 언어 작업	OpenAI
HTML	인코더/디코더	DAE	구조화된 HTML 프롬프트를 허용하는 언어 모델	페이스북
영상	T5	캡션 예측	텍스트를 이미지로	구글
람다	디코더	LM	일반 언어 모델링	구글
LLaMA	디코더	LM	상식 추론, 질문 답변, 코드 생성 및 독해.	메타
미네르바	디코더	LM	수학적 추론	구글
손바닥	디코더	LM	언어 이해 및 생성	구글
로베르타	인코더	MLM	언어 이해 및 질문 답변	UW/구글
참새	디코더	LM	대화 에이전트 및 Q&A와 같은 일반 언어 생성 애플리케이션	딥 마인드
안정적인 확산	인코더/디코더	캡션 예측	텍스트를 이미지로	LMU 뮌헨 + Stability.ai + Eleuther.ai
비 쿠나	디코더	LM	대화 에이전트	UC 버클리, CMU, 스탠포드, UC 샌디에고, MBZUAI

자주 묻는 질문

AI의 트랜스포머는 일종의 딥 러닝 아키텍처 자연어 처리 및 기타 작업을 변경했습니다. 그들은 self-attention 메커니즘을 사용하여 문장에서 단어 사이의 관계를 포착하여 사람과 같은 텍스트를 이해하고 생성할 수 있습니다.

인코더와 디코더는 sequence-to-sequence 모델에서 일반적으로 사용되는 구성 요소입니다. 인코더는 텍스트나 이미지와 같은 입력 데이터를 처리하고 압축된 표현으로 변환하는 반면 디코더는 인코딩된 표현을 기반으로 출력 데이터를 생성하여 언어 번역이나 이미지 캡션과 같은 작업을 가능하게 합니다.

어텐션 레이어는 다음에서 사용되는 구성 요소입니다. 신경망, 특히 트랜스포머 모델에서. 이를 통해 모델은 입력 시퀀스의 다른 부분에 선택적으로 초점을 맞추고 관련성에 따라 각 요소에 가중치를 할당하여 요소 간의 종속성과 관계를 효과적으로 캡처할 수 있습니다.

미세 조정 모델은 성능을 개선하고 해당 작업의 특정 요구 사항에 맞게 조정하기 위해 특정 작업 또는 데이터 세트에 대해 추가로 훈련된 사전 훈련된 모델을 말합니다. 이 미세 조정 프로세스에는 모델의 매개 변수를 조정하여 예측을 최적화하고 대상 작업에 대해 보다 전문화되도록 하는 작업이 포함됩니다.

트랜스포머는 자연어 처리, 이미지 생성 등 다양한 작업에서 탁월한 성능을 보여왔기 때문에 AI의 미래로 꼽힌다. 장거리 종속성을 포착하고 순차적 데이터를 효율적으로 처리하는 능력은 다양한 애플리케이션에 대한 적응력과 효율성을 높여 생성 AI의 발전을 위한 길을 닦고 사회의 여러 측면을 혁신합니다.

AI에서 가장 유명한 변환기 모델로는 BERT(BiDirectional Encoder Representations from Transformers), GPT (생성 사전 훈련된 변환기) 및 T5(텍스트-텍스트 전송 변환기). 이러한 모델은 다양한 자연어 처리 작업에서 놀라운 결과를 얻었으며 AI 연구 커뮤니티에서 큰 인기를 얻었습니다.

AI에 대해 자세히 알아보기:

• 텍사스 대학교: 뇌 활동 디코더를 사용하여 사람의 마음을 드러낼 수 있음
• Facebook, AI 트랜스포머의 성능을 두 배로 높이는 새로운 방법 개발
• GPT-4 이미지, 문서, 다이어그램 및 스크린샷에 대한 요청을 처리할 수 있습니다.