Guanaco, 잠재적인 오픈 소스로 부상 ChatGPT 경쟁자
요컨대
워싱턴 대학 연구원들이 개발한 오픈 소스 챗봇인 Guanaco는 ChatGPT 교육에 소요되는 시간과 비용이 적습니다.
그러나 새로운 연구에서는 Alpaca와 같은 모델의 효능에 의문을 제기했습니다.
워싱턴 대학 연구진이 발표한 구아 나코, 성능 경쟁을 목표로하는 오픈 소스 챗봇 ChatGPT 교육에 필요한 시간과 자원을 크게 줄입니다. 남미 친척의 이름을 따서 명명되었습니다. llamas, Guanaco는 LLaMA 언어 모델을 사용하고 QLoRA라는 새로운 미세 조정 방법을 통합합니다.
Guanaco의 제작자는 Guanaco가 비슷한 성능을 달성한다고 주장합니다. ChatGPT 그러나 단 하루 만에 교육을 받을 수 있습니다. 이 놀라운 성과는 훈련에 필요한 GPU 메모리의 양을 크게 줄이는 언어 모델 미세 조정 기술인 QLoRA 덕분에 가능했습니다. 하는 동안 ChatGPT 무려 780GB의 GPU 메모리가 필요합니다. 65억 개의 매개변수가 있는 모델의 경우 Guanaco의 가장 간단한 버전은 5GB만 필요합니다.
이러한 인상적인 효율성 향상으로 Guanaco 및 유사한 오픈 소스 모델은 비용이 많이 드는 교육이 필요하다는 개념에 도전하고 있습니다. 최신 언어 모델. 과나코의 등장, 알파카및 다른 모델 비용의 일부만으로 훈련하는 것은 다음과 같은 값비싼 모델의 미래에 대한 추측으로 이어졌습니다. GPT.
그러나 모든 사람이 오픈 소스 모델에 대한 이러한 낙관적인 견해에 동의하는 것은 아닙니다. 캘리포니아 대학에서 최근에 실시한 연구 의심을 던졌다 알파카와 같은 모델의 능력에 대해 이야기하고 그들의 진정한 잠재력에 대한 의문을 제기했습니다. 처음에 연구원들은 Guanaco 창시자와 유사한 결론에 도달했습니다. 즉, 적절하게 훈련되면 오픈 소스 모델이 경쟁할 수 있다는 것입니다. GPT 능력에. 추가 테스트에서는 상당한 한계가 드러났습니다. 때때로 "돌리"라고 불리는 이러한 모델은 훈련 중에 직면한 문제에 대한 해결책을 모방하는 데 능숙합니다. 그러나 명시적으로 노출되지 않은 작업을 잘 수행하는 데 어려움을 겪으며 고급 모델보다 뒤처집니다.
이 계시는 훈련에 수백만 달러 투자 GPT 유사한 모델이 헛되지 않았을 수 있습니다. Guanaco와 그 대응 제품이 유망한 결과를 보여주지만 더 정교한 모델이 뛰어난 영역이 여전히 있습니다. 주목할 가치가 있는 것은 캘리포니아 대학에서 수행한 연구 오픈 소스 모델이 다음과 같은 값비싼 모델을 완전히 대체할 수 있다는 통념에 도전합니다. GPT.
자연어 처리 분야가 발전함에 따라 Guanaco 및 기타 오픈 소스 모델이 기존 모델에 비해 얼마나 공정한지 지켜보는 것은 흥미로울 것입니다. 다음과 같은 벤치마크 ChatGPT. 높은 수준의 혁신과 지속적인 연구는 의심할 여지 없이 언어 모델의 미래에 영향을 미치고 특정 응용 프로그램에 어떤 모델이 적합한지 결정할 것입니다.
- 최초의 상용 오픈 소스 2.0B Chat-LLM인 Dolly 12, 발표되었다 데이터브릭스. 이것은 기업이 값비싼 GPU 클러스터에 투자하지 않고도 효과적인 언어 모델을 생성할 수 있도록 하는 기계 학습 산업의 중요한 발전입니다. Databricks는 MIT 라이선스에 따라 EleutherAI의 Pythia-5,000B 언어 모델을 포함하는 오픈 소스 언어 모델을 만들기 위해 12명의 직원을 참여시켰습니다. Dolly 2.0과 관련 코드는 MIT 라이선스에 따라 사용할 수 있습니다. Dolly 2.0은 업계를 변화시킬 잠재력이 있으며 기계 학습을 위한 중요한 단계입니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
