OpenFlamingo: Meta AI 및 LAION의 새로운 오픈 소스 이미지-텍스트 프레임워크
요컨대
OpenFlamingo는 DeepMind Flamingo 모델의 오픈 소스 버전으로 LLaMA 대형 언어 모델.
개발자는 비전 언어 문제를 처리할 수 있는 다중 모드 시스템을 만들고자 합니다. GPT-4시각적 및 텍스트 입력을 처리하는 데 있어 의 강점과 적응성.
DeepMind의 Flamingo 모델의 오픈 소스 버전, 오픈플라밍고, 방금 출시되었습니다. OpenFlamingo는 기본적으로 대규모 다중 모드 모델(LMM)의 교육 및 평가를 허용하는 프레임워크입니다. OpenFlamingo는 OpenFlamingo를 기반으로 구축되었습니다. LLaMA Meta AI가 개발한 대규모 언어 모델입니다.
이 첫 번째 릴리스에 대한 개발자의 기여는 다음과 같습니다.
- 텍스트와 시각적 시퀀스를 결합하는 상당한 규모의 멀티모달 데이터 세트입니다.
- 시각 및 언어를 포함한 활동에 대한 상황 내 학습 평가를 위한 벤치마크입니다.
- 우리의 예비 버전 LLaMA기반 OpenFlamingo-9B 모델.
OpenFlamingo를 통해 개발자는 다양한 비전 언어 문제를 처리할 수 있는 다중 모드 시스템을 만들 수 있기를 희망합니다. 궁극적인 목표는 평등하다 GPT-4시각적 및 텍스트 입력을 처리하는 데 있어 의 강점과 적응성. 개발자들은 이 목표를 달성하기 위해 이미지, 비디오 및 텍스트를 처리하고 추론할 수 있는 LMM인 DeepMind Flamingo 모델의 오픈 소스 버전을 개발하고 있습니다. 개발자는 협력을 촉진하고 개발을 가속화하며 최첨단 LMM에 대한 액세스를 민주화하는 데 투명성이 중요하다고 생각하기 때문에 완전한 오픈 소스 모델 개발에 전념하고 있습니다.
OpenFlamingo-9B 모델의 초기 체크포인트를 제공하고 있습니다. 모델이 아직 완전히 최적화되지는 않았지만 프로젝트의 가능성을 보여줍니다. 개발자는 협력하고 커뮤니티 피드백을 받아 더 나은 LMM을 교육할 수 있습니다. 그들은 개발 프로세스에 참여하기 위해 대중을 초대하여 입력을 제공하고 저장소에 추가합니다.
구현은 Flamingo의 구현과 매우 유사합니다. Flamingo 모델은 인터리빙된 텍스트와 그래픽 상황에 맞는 몇 번의 학습 기술을 갖추도록 합니다. 원래 Flamingo 연구에서 제안된 것과 동일한 아키텍처(Perceiver 리샘플러, 교차 주의 계층)가 OpenFlamingo에서 구현됩니다. 그러나 Flamingo의 교육 데이터는 일반 대중이 액세스할 수 없기 때문에 개발자는 오픈 소스 데이터 세트를 사용하여 모델을 교육합니다. 새로 게시된 OpenFlamingo-9B 체크포인트는 LAION-10B의 2만 개 샘플과 새로운 Multimodal C5 데이터 세트의 4만 개 샘플에 대해 특별히 훈련되었습니다.
개발자들은 또한 다음을 기반으로 하는 미완성 LMM OpenFlamingo-9B의 체크포인트를 포함하고 있습니다. LLaMA 7B 및 CLIP ViT/L-14가 릴리스의 일부로 제공됩니다. 이 개념은 아직 개발 중이지만 커뮤니티는 이미 이로부터 큰 이익을 얻을 수 있습니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
