Facebook, AI 트랜스포머의 성능을 두 배로 높이는 새로운 방법 개발
요컨대
Facebook은 트랜스포머 아키텍처를 기반으로 AI 트랜스포머의 성능을 두 배로 높이는 새로운 방법을 개발했습니다.
새로운 방법은 서로 다른 블록을 처리하는 사이의 간격에서 가장 유사한 패치를 찾아 결합하여 계산 복잡성을 줄입니다.
페이스북은 새로운 방법 AI 트랜스포머의 성능을 두 배로 높이기 위해. 방법은 트랜스포머 아키텍처 기반 책, 기사 및 블로그와 같은 긴 형식의 텍스트를 위해 특별히 설계되었습니다. 새로운 AI 트랜스포머의 목표는 변압기 기반 모델 긴 시퀀스를 보다 효율적이고 효과적으로 처리하여 긴 형식의 텍스트에 적용할 수 있습니다. AI 변환기의 결과는 매우 유망하며 이 새로운 방법은 다양한 작업에서 변환기 기반 모델의 성능을 개선하는 데 도움이 될 수 있습니다.
이 새로운 방법은 언어 번역, 요약 및 질의 응답 시스템과 같은 자연어 처리 작업에 상당한 영향을 미칠 것으로 예상됩니다. 또한 더 길고 복잡한 텍스트를 처리할 수 있는 보다 정교한 AI 모델 개발로 이어질 것으로 기대된다.
이미지를 처리하기 위해 최신 변환기는 이미지를 패치(일반적으로 사각형: 아래 gif 참조)로 자른 다음 각각 "토큰"으로 표시되는 이러한 입자의 표현에 대해 작동합니다. 우리가 알다시피 트랜스포머는 이러한 토큰 조각이 많을수록 느리게 작동하며(이는 텍스트와 이미지 모두에 적용됨) 가장 일반적인 트랜스포머는 XNUMX차 관계를 갖습니다. 즉, 더 많은 토큰이 추가될수록 처리 속도가 느려집니다. 이 문제를 해결하기 위해 연구원들은 계층적 및 적응형 풀링과 같이 이미지 처리에 필요한 토큰 수를 줄이기 위한 다양한 기술을 제안했습니다. 이러한 방법은 계산 비용을 최소화하면서 출력 품질을 유지하는 것을 목표로 합니다.
새로운 방법은 서로 다른 블록을 처리하는 사이의 간격에서 가장 유사한 패치를 찾아 결합하여 계산 복잡성을 줄입니다. 병합된 토큰의 점유율은 하이퍼파라미터입니다. 높을수록 품질은 낮아지지만 가속도도 높아집니다. 실험에 따르면 약 40%의 토큰을 0.1-0.4%의 품질 손실로 병합하고 두 배의 가속을 얻을 수 있습니다(따라서 메모리 사용량이 적음). 이 새로운 방법은 이미지 처리의 계산 복잡성을 줄이기 위한 유망한 솔루션이며 최종 출력의 품질을 손상시키지 않고 더 빠르고 효율적인 처리를 허용할 수 있습니다.
독창성과 작동 방식에 대한 이해를 바탕으로 한 이러한 공학적 접근 방식은 매우 매력적으로 보입니다. 또한 Meta의 개발자는 작업 속도를 높이기 위해 StableDiffusion에 더 많은 것을 가져올 것을 약속합니다. 트랜스포머는 어디에나 있기 때문에 이러한 트릭을 다양한 모델에서 빠르게 구현할 수 있습니다. 이는 엔지니어링 솔루션이 다양한 산업에 광범위한 영향을 미칠 수 있는 가능성을 보여줍니다. 이러한 발전이 어떻게 변압기 모델 시간이 지남에 따라 계속 발전하고 개선될 것입니다.
- 메타 AI 및 Paperswithcode 보다 정확하고 빠른 예측을 가능하게 하는 과학 텍스트에 대해 훈련된 최초의 120B 모델 Galactica를 출시했습니다. Galactica의 목표는 연구자들이 중요한 것과 관련 없는 것을 분리하도록 돕는 것입니다.
더 많은 관련 뉴스 읽기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
