TextMesh: nowy Stable Diffusion-Based Text-to-3D Model od Google
W skrócie
TextMesh to nowa praca Google polegająca na zamianie tekstu na 3D, która ulepsza modne obecnie podejście do używania Stable Diffusion aby wygenerować różne kąty tego samego podstawowego monitu (obraz 2D), a następnie z tego montowana jest siatka 3D za pomocą NeRF.
Ostatnio możliwość generowania obrazów 2D z monitów tekstowych odniosła wielki sukces dzięki pracy modeli dyfuzyjnego generowania obrazów. Modele te są bardzo zdolne do tworzenia wysokiej jakości próbek obrazów po otrzymaniu monitu tekstowego, co pozwala na prosty interfejs tekst-obraz. Opierając się na tych postępach w dziedzinie generowania obrazów 2D, głównym pytaniem w tej branży jest to, czy możliwe jest zastosowanie podobnych modeli dyfuzji do generowania modeli 3D z tekstu.
A teraz Google wprowadziło nową metodę zamiany tekstu na 3D o eleganckiej nazwie Siatka tekstowa. Ta metoda obiecuje poprawę modnego obecnie podejścia Stable DiffusionOparte model zamiany tekstu na 3D Pokolenie. W swej istocie wiele kątów jest generowanych przez wprowadzenie podstawowych danych wejściowych 2D do modelu. Następnie wyniki są przetwarzane i asymilowane w siatkę 3D przy użyciu podejścia Neural Radiance Fields (NeRF).
Przewagą tego innowacyjnego podejścia nad modnymi obecnie DreamFusion i CLIPMesh jest przede wszystkim łatwość obsługi. Zamiast korzystać z wymagającego formatu NeRF, TextMesh zapewnia siatkę 3D z teksturami, dzięki czemu jest znacznie bardziej odpowiedni do rzeczywistych zastosowań. Ponadto podejście to pozwala uniknąć często spotykanego efektu wysokiego nasycenia w innych modelach i pozwala zwiększyć szczegółowość.
Połączenia prace modelarskie najpierw tworząc siatkę 3D z obrazu wejściowego za pomocą NeRF. Wyniki przechodzą następnie przez strukturę SDF (Signed Distance Fields), aby jeszcze bardziej udoskonalić teksturę, poprawiając ogólną przejrzystość wyjściowej siatki. Nie wspominając o tym, że framework SDF pomaga uniknąć efektu przesycenia, który występuje w przypadku innych formatów 3D modele zwykle cierpieć.
Siatki 3D utworzone jako przykład
Podejście to wykorzystuje sukces modeli DiG i rozszerza sieci NeRF tak, aby były oparte na szkielecie SDF. Daje to ulepszone możliwości wyodrębniania siatek 3D i znacznie bardziej realistycznie wyglądające siatki 3D w porównaniu z poprzednio omówionymi metodami.
Wyniki korzystania z TextMesh są niezwykle przekonujące. Autorzy podają nawet link do zdjęcia wiewiórki stworzonego przy użyciu ich modelu, co jest po prostu imponujące.
TextMesh okazuje się być rewolucyjnym nowym modelem 3D, który oferuje mnóstwo zalet i może tworzyć niezwykle realistyczne siatki 3D. Jego użycie z pewnością stanie się w niedalekiej przyszłości coraz bardziej popularne.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
