TextMesh: Ένα νέο Stable Diffusion-Βασισμένο μοντέλο κειμένου σε 3D από την Google
Εν συντομία
Το TextMesh είναι ένα νέο έργο κειμένου σε 3D από την Google που βελτιώνει τη μοντέρνα πλέον προσέγγιση χρήσης Stable Diffusion για να δημιουργήσετε διαφορετικές γωνίες της ίδιας βασικής προτροπής (εικόνα 2D) και στη συνέχεια συναρμολογείται ένα τρισδιάστατο πλέγμα από αυτό χρησιμοποιώντας το NeRF.
Πρόσφατα, η δυνατότητα δημιουργίας εικόνων 2D από μηνύματα κειμένου γνώρισε μεγάλη επιτυχία λόγω της εργασίας των μοντέλων δημιουργίας διάχυτης εικόνας. Αυτά τα μοντέλα είναι εξαιρετικά ικανά να παράγουν δείγματα εικόνας υψηλής ποιότητας με την προτροπή κειμένου, επιτρέποντας μια απλή διεπαφή κειμένου σε εικόνα. Με βάση αυτές τις προόδους στον τομέα της δημιουργίας 2D εικόνων, το μεγάλο ερώτημα σε αυτόν τον κλάδο είναι εάν είναι δυνατόν να εφαρμοστούν παρόμοια μοντέλα διάχυσης για τη δημιουργία τρισδιάστατων μοντέλων από κείμενο.
Και τώρα η Google εισήγαγε μια νέα μέθοδο μετατροπής κειμένου σε 3D με το κομψό όνομα TextMesh. Αυτή η μέθοδος υπόσχεται να βελτιώσει τη μοντέρνα πλέον προσέγγιση του Stable Diffusion-Με βάση μοντέλο κειμένου σε 3D γενιά. Στον πυρήνα του, δημιουργούνται πολλαπλές γωνίες τροφοδοτώντας μια βασική δισδιάστατη είσοδο στο μοντέλο. Στη συνέχεια τα αποτελέσματα υποβάλλονται σε επεξεργασία και αφομοιώνονται σε ένα τρισδιάστατο πλέγμα χρησιμοποιώντας την προσέγγιση Neural Radiance Fields (NeRF).
| Συνιστάται: Prompt Engineering Ultimate Guide 2023: |
Τα πλεονεκτήματα αυτής της καινοτόμου προσέγγισης έναντι των μοντέρνων DreamFusion και CLIPMesh είναι, κυρίως, η φιλική προς τον χρήστη έξοδο. Αντί να χρησιμοποιεί την απαιτητική μορφή NeRF, το TextMesh παρέχει τρισδιάστατο πλέγμα με υφές, καθιστώντας το έτσι πολύ πιο εφαρμόσιμο σε πραγματικές χρήσεις. Επιπλέον, η προσέγγιση αποφεύγει το φαινόμενο υψηλού κορεσμού που συναντάμε συχνά σε άλλα μοντέλα και καταφέρνει να αυξήσει τις λεπτομέρειες.
Η το μοντέλο λειτουργεί σχηματίζοντας πρώτα ένα τρισδιάστατο πλέγμα από μια εικόνα εισόδου με τη βοήθεια του NeRF. Στη συνέχεια, τα αποτελέσματα περνούν από το πλαίσιο SDF (Signed Distance Fields) για να βελτιώσουν περαιτέρω την υφή, βελτιώνοντας τη συνολική διαύγεια του πλέγματος εξόδου. Για να μην αναφέρουμε, το πλαίσιο SDF βοηθά στην αποφυγή του φαινομένου υπερκορεσμού από άλλα 3D μοντέλα συνήθως υποφέρουν από.
Τρισδιάστατα πλέγματα που δημιουργήθηκαν ως παράδειγμα
Αυτή η προσέγγιση εκμεταλλεύεται την επιτυχία των μοντέλων DiG και επεκτείνει τα δίκτυα NeRF ώστε να βασίζονται σε έναν κορμό SDF. Αυτό παράγει βελτιωμένες δυνατότητες εξαγωγής πλέγματος 3D και πολύ πιο ρεαλιστικά 3D πλέγματα σε σύγκριση με τις μεθόδους που συζητήθηκαν προηγουμένως.
Τα αποτελέσματα από τη χρήση του TextMesh είναι εξαιρετικά πειστικά. Οι συγγραφείς παρέχουν ακόμη και έναν σύνδεσμο προς μια εικόνα ενός σκίουρου που δημιουργήθηκε χρησιμοποιώντας το μοντέλο τους, κάτι που δεν είναι τίποτα λιγότερο από εντυπωσιακό.
Το TextMesh αποδεικνύεται ότι είναι ένα επαναστατικό νέο τρισδιάστατο μοντέλο που προσφέρει μια πληθώρα πλεονεκτημάτων και μπορεί να παράγει εξαιρετικά ρεαλιστικά 3D πλέγματα. Η χρήση του αναμένεται να γίνει όλο και πιο δημοφιλής στο εγγύς μέλλον.
Διαβάστε περισσότερα για το AI:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
