Text-to-3D: Google vyvinul neuronovou síť, která generuje 3D modely z textových popisů
Stručně
Převod textu do 3D neuronová síť umí generovat 3D modely z textu
DreamFusion optimalizuje 3D scény na základě Imagen text-to-image
2D difúzní model lze použít pro syntézu textu na obrázek
Google vytvořil a nervová síť schopný vytvářet 3D modely z textových popisů. Nejlepší na tom je, že ten nejtěžší aspekt nebylo třeba ani učit. Imagen byl použit jako základ pro Text-to-3D.
O čem byste měli vědět DreamFusion?
Difúzní modely trénované na miliardách párů obrázek-text vedly k nedávnému pokroku v syntéze textu na obrázek. Přizpůsobení tohoto přístupu k 3D syntéze si vyžádá rozsáhlé datové sady označených 3D aktiv a také efektivní odšumovací 3D datové architektury, z nichž žádná není v současnosti dostupná. V tomto článku jsme tato omezení překonali provedením syntézy textu do 3D s předem trénovaným 2D šíření textu do obrázku Modelka. Představujeme ztrátu založenou na destilaci hustoty pravděpodobnosti, která umožňuje použít 2D difúzní model jako prioritu pro optimalizaci parametrického generátor obrázků. Pomocí této ztráty využíváme gradientní sestup k optimalizaci náhodně inicializovaného 3D modelu (Neural Radiance Field nebo NeRF), aby jeho 2D vykreslení z náhodných úhlů mělo minimální ztrátu.
Vygenerovaný 3D model zadaného textu lze prohlížet z libovolného úhlu, osvětlit proměnným osvětlením a sloučit do libovolného 3D prostředí. Jeho metoda nevyžaduje žádná 3D tréninková data a žádné změny model difúze obrazu, ilustrující účinnost použití předem připravených modelů difúze obrazu jako dříve.
Příklady generovaného 3D z textu
Skládání objektů dohromady a vytvoření scény
Jak to funguje?
DreamFusion optimalizuje 3D scénu na základě titulku pomocí generativního modelu Imagen text-to-image. Navrhuje Score Destillation Sampling (SDS), který zahrnuje optimalizaci ztrátové funkce pro výrobu vzorků z difúzního modelu. Pokud můžeme zpětně mapovat obrázky odlišně, SDS nám umožňuje optimalizovat vzorky v libovolném parametrovém prostoru, jako je 3D prostor. Na defiv tomto rozlišitelném mapování využívá parametrizaci 3D scény, která je podobná polím Neural Radiance Fields nebo NeRF. Samotný SDS vytváří přijatelný vzhled scény, ale DreamFusion vylepšuje geometrii pomocí dalších regularizérů a optimalizačních technik. Vytrénované NeRF, které jsou vytvořeny, jsou koherentní, mají vynikající normály, povrchovou geometrii a hloubku a lze je znovu osvětlit pomocí modelu Lambertova stínování.
Přečtěte si související články:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
