Teksta pārveide 3D: Google ir izstrādājis neironu tīklu, kas ģenerē 3D modeļus no teksta aprakstiem
Īsumā
Teksts 3D formātā neironu tīkls var ģenerēt 3D modeļus no teksta
DreamFusion optimizē 3D ainas, pamatojoties uz Imagen teksta-attēlu
2D difūzijas modeli var izmantot teksta-attēla sintēzei
Google izveidoja a neironu tīklu spēj izveidot 3D modeļus no teksta aprakstiem. Pats labākais ir tas, ka grūtākais aspekts pat nebija jāiemāca. Imagen tika izmantots kā teksta pārveides 3D pamats.
Kas jums būtu jāzina DreamFusion?
Difūzijas modeļi, kas apmācīti uz miljardiem attēla un teksta pāru, ir noveduši pie neseniem sasniegumiem teksta-attēla sintēzē. Pielāgojot šo pieeju 3D sintēzei, būs nepieciešamas liela mēroga datu kopas ar marķētiem 3D aktīviem, kā arī efektīvas trokšņu slāpēšanas 3D datu arhitektūras, no kurām neviena pašlaik nav pieejama. Šajā rakstā mēs pārvarēsim šos ierobežojumus, veicot teksta 3D sintēzi ar iepriekš apmācītu 2D. teksta-attēlu difūzija modelis. Mēs piedāvājam zaudējumus, kas balstīti uz varbūtības blīvuma destilāciju, kas ļauj izmantot 2D difūzijas modeli kā parametru optimizāciju. attēlu ģenerators. Izmantojot šo zudumu, mēs izmantojam gradienta nolaišanos, lai optimizētu nejauši inicializētu 3D modeli (neirāla starojuma lauku vai NeRF), lai tā 2D atveidojumos no nejaušiem leņķiem būtu minimāli zaudējumi.
Norādītā teksta ģenerēto 3D modeli var apskatīt no jebkura leņķa, apgaismot ar mainīgu apgaismojumu un salikt jebkurā 3D vidē. Tās metodei nav nepieciešami 3D apmācības dati un nekādas izmaiņas attēla difūzijas modelis, kas ilustrē iepriekš apmācītu attēlu difūzijas modeļu izmantošanas efektivitāti, kā iepriekš.
No teksta ģenerētas 3D piemēri
Objektu salikšana kopā, lai izveidotu ainu
Kā tas darbojas?
DreamFusion optimizē 3D ainu, pamatojoties uz parakstu, izmantojot Imagen teksta-attēlu ģeneratīvo modeli. Tas ierosina punktu destilācijas paraugu ņemšanu (SDS), kas ietver zudumu funkcijas optimizēšanu, lai iegūtu paraugus no difūzijas modeļa. Kamēr mēs varam atšķirīgi kartēt attēlus, SDS ļauj optimizēt paraugus jebkurā parametru telpā, piemēram, 3D telpā. Uz defiNeraugoties uz šo diferencējamo kartēšanu, tajā tiek izmantota 3D ainas parametrizācija, kas ir līdzīga neironu starojuma laukiem vai NeRF. SDS vien rada pieņemamu ainas izskatu, bet DreamFusion uzlabo ģeometriju ar papildu regulatoriem un optimizācijas paņēmieniem. Izgatavotie apmācītie NeRF ir saskaņoti, tiem ir lieliskas normas, virsmas ģeometrija un dziļums, un tos var atkārtoti apgaismot, izmantojot Lambertian ēnojuma modeli.
Lasiet saistītos rakstus:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
