Google은 AI 모델 Flamingo에게 YouTube 동영상에 대한 설명을 작성하도록 가르쳤습니다.
요컨대
Flamingo는 자동으로 설명을 생성하여 짧은 동영상이 검색을 통해 찾기 어려운 문제를 해결합니다.
인공지능 연구소인 구글 딥마인드는 개발 YouTube의 짧은 동영상에 대한 설명을 작성할 수 있는 Flamingo라는 시각적 언어 모델입니다. Flamingo가 해결하는 문제는 설명에 필요한 정보가 부족하여 짧은 비디오를 검색을 통해 찾기 어려운 경우가 많다는 것입니다. Flamingo 모델은 비디오 호스팅 사이트에서 수백만 개의 짧은 비디오 클립에 대한 텍스트를 자동으로 생성하여 이 문제를 해결합니다. 이 텍스트는 쉽게 검색할 수 있도록 "뒤에서" 사용됩니다. 동영상 작성자는 메타데이터를 볼 수 없지만 시청자가 Shorts를 찾고 탐색하는 데 도움이 됩니다. 현재 Flamingo는 오랫동안 YouTube에 업로드된 이전 동영상을 처리하고 새 클립을 작업하고 있습니다.
과거 구글은 검색창을 이용해 동영상 속 정보를 검색할 수 있는 알고리즘을 도입했다. 최근 TwelveLabs는 유사한 개발을 위해 투자자로부터 12만 달러를 모금했습니다. 이러한 도구는 비디오에 대한 새로운 기회를 창출합니다. 콘텐츠 제작자 도달 범위와 가시성을 높입니다. AI를 활용하여 짧은 형식 콘텐츠의 검색 프로세스와 발견을 개선하고 단순화함으로써 DeepMind 및 이와 유사한 신생 기업은 비디오에 혁명을 일으키고 있습니다. 스트리밍 서비스. 그들은 보다 지능적이고 효율적인 검색 기술의 개발에 기여하여 시청자가 진정으로 관심 있는 콘텐츠를 훨씬 더 쉽게 찾을 수 있도록 합니다.
인공 지능은 검색 기술을 업그레이드하는 데 중요한 역할을 합니다. Flamingo 모델은 AI를 활용하여 콘텐츠를 스캔 및 직렬화하고 사용자가 탐색하는 데 도움이 되도록 콘텐츠를 요약하는 텍스트를 생성할 수 있습니다. Flamingo 모델은 심층 신경망을 사용하여 비디오의 오디오 및 시각적 콘텐츠를 기반으로 비디오 클립의 텍스트 설명을 생성합니다. 짧은 형식 콘텐츠의 청각적 및 시각적 구성 요소를 캡처하여 사용자가 쉽게 검색하고 액세스할 수 있는 요약으로 변환할 수 있습니다.
AI를 사용하면 설명을 추가하는 동안 작성자의 수동 작업에서 놓칠 수 있는 중요한 정보를 사용자에게 식별하는 데 도움이 될 수 있습니다. 모든 세부 사항을 수동으로 캡처하는 데 시간이 많이 걸리는 노력은 특히 YouTube와 같은 플랫폼에 업로드되는 짧은 형식의 비디오 콘텐츠가 지속적으로 흐르는 경우 항상 실용적이지 않습니다. 이로 인해 특정 짧은 형식 콘텐츠를 검색할 때 사용자 혼란과 불만이 발생할 수 있습니다. 그러나 Flamingo와 같은 시각적 언어 모델을 사용하면 쉽게 액세스할 수 있도록 요약을 제공하는 메타데이터가 자동으로 생성되어 시간을 절약하고 검색 프로세스를 보다 효율적이고 정확하게 만들 수 있습니다.
Flamingo는 개방형 작업을 위한 새로운 최첨단 시각적 언어 모델을 설정합니다.
가장 중요한 내용은 단일 시각 언어 모델인 Flamingo의 도입입니다.VLM) 광범위한 개방형 다중 모달 작업에 대한 소수 학습에서 새로운 최신 기술을 설정합니다. Flamingo는 단일 시각적 언어 모델(VLM)로defi광범위한 개방형 다중 모드 활동에 대한 몇 번의 학습이 필요합니다. 그것은 수신 신속한 인터리빙된 이미지, 비디오 및 텍스트를 입력으로 구성하고 관련 언어를 출력합니다. 대규모 언어 모델과 같은 Flamingo의 시각 및 텍스트 인터페이스(LLM), 다중 모드 목표를 달성하는 방향으로 모델을 이끌 수 있습니다. 모델은 새로운 이미지 또는 비디오로 질문을 한 다음 Flamingo의 프롬프트로 구성된 몇 가지 시각적 입력 및 예상 텍스트 응답 쌍을 제공하여 답변을 구성할 수 있습니다.
Flamingo는 대규모 언어 모델을 강력한 시각적 표현과 융합하는 시각적 언어 모델이며 기계 학습 목적으로 주석이 달린 데이터를 사용하지 않고 웹에서만 제공되는 보완적인 대규모 다중 모드 데이터의 혼합에 대해 교육됩니다. 작업당 XNUMX개의 예제만 제공될 때 이전의 모든 소수 학습 접근 방식을 능가하고 각 작업에 대해 독립적으로 미세 조정 및 최적화되고 몇 배 더 많은 작업별 데이터를 사용하는 방법을 능가합니다. 또한 텍스트의 독성을 평가하는 Google의 Perspective API를 통해 성별 및 피부색과 관련된 이미지를 캡션하고 생성된 캡션을 실행하는 등 현재 벤치마크를 넘어서는 모델의 정성적 기능을 테스트했습니다. Flamingo를 사용하면 모델을 수정하지 않고도 이러한 예제 및 기타 작업에 즉석에서 효율적으로 적응할 수 있으며 즉시 사용 가능한 다중 모드 대화 기능을 시연할 수 있습니다.
Flamingo는 최소한의 작업별 예제로 이미지 및 비디오 이해 작업에 적용할 수 있는 범용 모델 제품군입니다. 최소한의 작업별 예제로 이미지 및 비디오 이해 작업에 적용할 수 있는 효과적이고 효율적인 범용 모델 제품군입니다. Flamingo의 기능은 학습된 시각적 언어 모델과의 풍부한 상호 작용을 통해 시각적 도우미와 같은 더 나은 해석과 흥미로운 새 응용 프로그램을 가능하게 합니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
