TextMesh: una novità Stable Diffusion-Modello da testo a 3D basato su Google
In Breve
TextMesh è un nuovo lavoro di text-to-3D di Google che migliora l'approccio ormai alla moda dell'utilizzo Stable Diffusion per generare diversi angoli dello stesso prompt di base (immagine 2D) e quindi una mesh 3D viene assemblata da questo utilizzando NeRF.
Recentemente, la capacità di generare immagini 2D da prompt di testo ha avuto un grande successo grazie al lavoro dei modelli di generazione di immagini diffusive. Questi modelli sono altamente in grado di produrre campioni di immagini di alta qualità con un prompt di testo, consentendo una semplice interfaccia da testo a immagine. Basandosi su questi progressi nel campo della generazione di immagini 2D, la grande domanda in questo settore è se sia possibile applicare modelli di diffusione simili per generare modelli 3D dal testo.
E ora Google ha introdotto un nuovo metodo di conversione da testo a 3D con il nome elegante TextMesh. Questo metodo promette di migliorare l'approccio ormai di moda Stable Diffusion-based modello da testo a 3D generazione. Al suo interno, vengono generati più angoli inserendo un input 2D di base nel modello. Quindi i risultati vengono elaborati e assimilati in una mesh 3D utilizzando l'approccio Neural Radiance Fields (NeRF).
| Consigliato: Guida definitiva di Prompt Engineering 2023: |
I vantaggi di questo approccio innovativo rispetto agli attuali DreamFusion e CLIPMesh sono, soprattutto, l'output user-friendly. Piuttosto che utilizzare il formato impegnativo NeRF, TextMesh fornisce mesh 3D con trame, rendendolo così molto più applicabile agli usi del mondo reale. Inoltre, l'approccio evita l'effetto di saturazione elevata spesso riscontrato da altri modelli e riesce ad aumentare i dettagli.
I il modello funziona formando prima una mesh 3D da un'immagine di input con l'aiuto di NeRF. I risultati passano quindi attraverso il framework SDF (Signed Distance Fields) per perfezionare ulteriormente la trama, migliorando la chiarezza complessiva della mesh di output. Per non parlare del fatto che il framework SDF aiuta a evitare l'effetto di sovrasaturazione che altri 3D modelli di solito soffre.
Mesh 3D create come esempio
Questo approccio sfrutta il successo dei modelli DiG ed estende le reti NeRF in modo che siano basate su una dorsale SDF. Ciò produce migliori capacità di estrazione della mesh 3D e mesh 3D dall'aspetto molto più realistico rispetto ai metodi discussi in precedenza.
I risultati dell'utilizzo di TextMesh sono estremamente convincenti. Gli autori forniscono anche un collegamento a un'immagine di uno scoiattolo creata utilizzando il loro modello, che è a dir poco impressionante.
TextMesh si dimostra un nuovo modello 3D rivoluzionario che offre una miriade di vantaggi e può produrre mesh 3D estremamente realistiche. Il suo utilizzo è destinato a diventare sempre più popolare nel prossimo futuro.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
