Alibaba, 오픈 소스 Qwen-7B 언어 모델 도입
알리바바가 공개한 오픈소스 LLM(Large Language Model) 퀸-7B, 공개적으로 액세스할 수 있는 LLM 영역에 첫 진입을 표시합니다. 이 모델은 7억 개의 매개변수를 기반으로 구축되었습니다.
맥락상 Qwen-7B는 2.2조 2048천억 개의 토큰을 사용하여 훈련을 받았습니다. 이 교육 단계에서 설정된 컨텍스트 크기는 8192이었지만 사용자는 테스트 중에 이를 최대 XNUMX까지 확장할 수 있습니다. 비교해 보면, Llama-2, 또 다른 LLM은 4096의 컨텍스트 크기를 제공합니다.
벤치마크는 이러한 모델의 성능을 측정하는 데 필수적이며, 이 영역에서 중국 개발자는 Qwen-7B가 능가했다고 주장합니다. Llama-2. 눈에 띄는 지표 중 하나는 Human-Eval 코딩 벤치마크로, Qwen-7B는 24.4점을 받았습니다. Llama-2의 12.8. 그러나 이 수치를 어느 정도 주의해서 보는 것이 좋습니다. 일부 벤치마크에서는 Qwen-7B가 기본 모델뿐만 아니라 성능도 뛰어남을 나타냅니다. LLama-2-7B 뿐만 아니라 LLaMA-2-13B 변형. 그러나 세련된 버전과 비교하면 Llama-2이면 차이의 폭이 좁아진다. Qwen-7B의 정확한 훈련 방법은 개발자가 명시적으로 자세히 설명하지 않았다는 점에 유의해야 합니다.
기능적으로 병행하여 LLaMa2-채팅, Qwen은 Qwen-7B-Chat이라는 채팅 중심 버전을 선보였습니다. 이 모델은 사용자와의 상호 작용에 최적화되어 있으며 다양한 도구와 API 응답성을 향상시키기 위해.
기술적 세부 사항에 관심이 있는 사람들은 Qwen-7B의 아키텍처 기반이 다음과 유사하다는 사실에 관심이 있을 것입니다. LLaMA. 그러나 Qwen-7B를 차별화하는 뚜렷한 특징이 있습니다.
- 묶이지 않은 임베딩을 사용합니다.
- 회전 위치 임베딩이 활용됩니다.
- 주의할 QKV를 제외하고 바이어스는 제외됩니다.
- RMSNorm은 LayerNorm보다 선호됩니다.
- 표준 ReLU 대신 SwiGLU가 통합되었습니다.
- 교육 프로세스를 신속하게 처리하기 위해 Flash Attention이 도입되었습니다.
- 이 모델은 32개의 레이어로 구성되어 있고 임베딩 차원은 4096이며 32개의 어텐션 헤드를 수용합니다.
라이센스 측면에서 Qwen-7B는 Llama-2. 상업적 사용을 허용하지만 사용자 수에 대한 규정이 있습니다. 하는 동안 Llama-2는 이 한도를 월간 활성 사용자 700억 명으로 설정하고 Qwen-7B의 임계값은 100억 명입니다.
심층 조사를 원하는 사람들은 GitHub에서 제공되는 기술 보고서를 참조할 수 있습니다. 추가적으로, Qwen-7B 시연는 중국어로 제공되며 모델의 기능을 실제로 탐색하는 데 관심이 있는 사용자가 액세스할 수 있습니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
