Tekstas į 3D: „Google“ sukūrė neuroninį tinklą, kuris generuoja 3D modelius iš teksto aprašymų
Trumpai
Tekstas į 3D neuroninis tinklas gali generuoti 3D modelius iš teksto
„DreamFusion“ optimizuoja 3D scenas, remdamasi „Imagen“ tekstu į vaizdą
2D difuzijos modelis gali būti naudojamas teksto į vaizdą sintezei
Google sukūrė a neuroninis tinklas galintis kurti 3D modelius iš tekstinių aprašymų. Geriausia tai, kad sunkiausio aspekto net nereikėjo mokyti. Imagen buvo naudojamas kaip tekstas į 3D pagrindas.
Apie ką turėtumėte žinoti DreamFusion?
Difuzijos modeliai, parengti naudojant milijardus vaizdo ir teksto porų, lėmė naujausią teksto į vaizdą sintezės pažangą. Pritaikius šį požiūrį į 3D sintezę, reikės didelio masto pažymėtų 3D išteklių duomenų rinkinių, taip pat efektyvių 3D duomenų architektūrų, kurios šiuo metu nėra prieinamos. Šiame darbe mes įveikiame šiuos apribojimus atlikdami teksto į 3D sintezę su iš anksto paruoštu 2D teksto į vaizdą sklaida modelis. Pateikiame nuostolius, pagrįstus tikimybės tankio distiliavimu, kuris leidžia naudoti 2D difuzijos modelį kaip išankstinį parametrinį optimizavimą. paveikslėlių generatorius. Naudodami šį praradimą, mes naudojame gradiento nusileidimą, kad optimizuotume atsitiktinai inicijuotą 3D modelį (Neural Radiance Field arba NeRF), kad jo 2D atvaizdavimas iš atsitiktinių kampų būtų minimalus.
Sukurtas nurodyto teksto 3D modelis gali būti peržiūrimas bet kokiu kampu, apšviestas kintamu apšvietimu ir sukomponuotas į bet kurią 3D aplinką. Jo metodui nereikia 3D mokymo duomenų ir jokių pakeitimų vaizdo sklaidos modelis, iliustruojantis iš anksto paruoštų vaizdo sklaidos modelių naudojimo efektyvumą, kaip ir anksčiau.
Sukurto 3D iš teksto pavyzdžiai
Objektų sujungimas, kad būtų sukurta scena
Kaip tai veikia?
„DreamFusion“ optimizuoja 3D sceną pagal antraštę, naudodama „Imagen“ teksto į vaizdą generavimo modelį. Jame siūlomas taškinis distiliavimo mėginių ėmimas (SDS), kuris apima nuostolių funkcijos optimizavimą, kad būtų gauti mėginiai iš difuzijos modelio. Kol galime skirtingai susieti vaizdus, SDS leidžia optimizuoti pavyzdžius bet kurioje parametrų erdvėje, pvz., 3D erdvėje. Į defiBe šio diferencijuojamo atvaizdavimo, jis naudoja 3D scenos parametrizavimą, kuris yra panašus į neuronų spinduliavimo laukus arba NeRF. Vien SDS sukuria priimtiną scenos išvaizdą, tačiau „DreamFusion“ pagerina geometriją, naudodama papildomus reguliariuosius ir optimizavimo būdus. Pagaminti išmokyti NeRF yra nuoseklūs, turi puikius normalius parametrus, paviršiaus geometriją ir gylį, todėl juos galima pakartotinai apšviesti naudojant Lambertian šešėlio modelį.
Skaityti susijusius straipsnius:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
