Text-to-3D: Google은 텍스트 설명에서 3D 모델을 생성하는 신경망을 개발했습니다.
요컨대
텍스트를 3D로 신경망은 텍스트에서 3D 모델을 생성할 수 있습니다.
DreamFusion은 Imagen 텍스트 투 이미지를 기반으로 3D 장면을 최적화합니다.
2D 확산 모델은 텍스트-이미지 합성에 사용할 수 있습니다.
구글은 신경망 텍스트 설명에서 3D 모델을 생성할 수 있습니다. 가장 좋은 점은 가장 어려운 부분은 가르칠 필요조차 없다는 것입니다. Imagen은 Text-to-3D의 기반으로 사용되었습니다.
무엇에 대해 알아야 합니까? 드림퓨전?
수십억 개의 이미지-텍스트 쌍에 대해 훈련된 확산 모델은 텍스트-이미지 합성의 최근 발전으로 이어졌습니다. 3D 합성에 이 접근 방식을 적용하려면 현재 사용할 수 없는 효율적인 노이즈 제거 3D 데이터 아키텍처뿐만 아니라 레이블이 지정된 3D 자산의 대규모 데이터 세트가 필요합니다. 본 논문에서는 미리 훈련된 3D로 text-to-2D 합성을 수행하여 이러한 제한을 극복합니다. 텍스트에서 이미지로의 확산 모델. 우리는 2D 확산 모델이 파라메트릭 최적화를 위한 사전 모델로 사용될 수 있도록 하는 확률 밀도 증류에 기반한 손실을 제시합니다. 그림 생성기. 이 손실을 사용하여 우리는 무작위로 초기화된 3D 모델(Neural Radiance Field 또는 NeRF)을 최적화하기 위해 경사하강법을 사용하여 무작위 각도의 2D 렌더링이 최소한의 손실을 갖도록 합니다.
지정된 텍스트의 생성된 3D 모델은 모든 각도에서 볼 수 있으며 가변 조명으로 조명되고 모든 3D 환경으로 합성됩니다. 이 방법에는 3D 교육 데이터가 필요하지 않으며 이미지 확산 모델, 이전과 같이 사전 훈련된 이미지 확산 모델을 사용하는 효능을 설명합니다.
텍스트에서 생성된 3D의 예
사물을 모아서 장면 만들기
어떻게 진행합니까?
DreamFusion은 Imagen 텍스트-이미지 생성 모델을 사용하여 캡션을 기반으로 3D 장면을 최적화합니다. 확산 모델에서 샘플을 생성하기 위해 손실 함수를 최적화하는 SDS(Score Distillation Sampling)를 제안합니다. 이미지에 다르게 매핑할 수 있는 한 SDS를 사용하면 3D 공간과 같은 모든 매개 변수 공간에서 샘플을 최적화할 수 있습니다. 에게 defi이 차별화 가능한 매핑에서는 Neural Radiance Fields 또는 NeRF와 유사한 3D 장면 매개변수화를 사용합니다. SDS만으로도 무난한 장면 모양을 생성하지만 DreamFusion은 추가 정규화 및 최적화 기술로 형상을 향상시킵니다. 생성되는 훈련된 NeRF는 일관되고 우수한 법선, 표면 기하학 및 깊이를 가지며 Lambertian 음영 모델을 사용하여 재조명될 수 있습니다.
관련 기사를 읽으십시오 :
책임 한계
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
