TextMesh: Mới Stable Diffusion-Mô hình chuyển văn bản thành 3D dựa trên Google
Tóm lại
TextMesh là một công việc chuyển văn bản thành 3D mới của Google nhằm cải thiện cách tiếp cận hiện đại của việc sử dụng Stable Diffusion để tạo các góc khác nhau của cùng một dấu nhắc cơ bản (hình ảnh 2D) và sau đó lưới 3D được lắp ráp từ đó bằng cách sử dụng NeRF.
Gần đây, khả năng tạo hình ảnh 2D từ lời nhắc văn bản đã đạt được thành công lớn nhờ công việc của các mô hình tạo hình ảnh khuếch tán. Các mô hình này có khả năng tạo ra các mẫu hình ảnh chất lượng cao với lời nhắc văn bản, cho phép giao diện chuyển văn bản thành hình ảnh đơn giản. Dựa trên những tiến bộ này trong lĩnh vực tạo hình ảnh 2D, câu hỏi lớn trong ngành này là liệu có thể áp dụng các mô hình khuếch tán tương tự để tạo mô hình 3D từ văn bản hay không.
Và bây giờ Google đã giới thiệu một phương pháp chuyển văn bản thành 3D mới với cái tên bóng bẩy Văn bảnMesh. Phương pháp này hứa hẹn sẽ cải thiện cách tiếp cận thời thượng hiện nay của Stable DiffusionDựa trên mô hình văn bản thành 3D thế hệ. Về cốt lõi, nhiều góc được tạo bằng cách cung cấp đầu vào 2D cơ bản vào mô hình. Sau đó, các kết quả được xử lý và đồng hóa thành lưới 3D bằng cách sử dụng phương pháp Trường bức xạ thần kinh (NeRF).
Ưu điểm của cách tiếp cận sáng tạo này so với DreamFusion và CLIPMesh thời thượng hiện nay là đầu ra thân thiện với người dùng. Thay vì sử dụng định dạng NeRF đầy thách thức, TextMesh cung cấp lưới 3D có kết cấu, do đó làm cho nó phù hợp hơn nhiều với việc sử dụng trong thế giới thực. Ngoài ra, phương pháp này tránh được hiệu ứng bão hòa cao thường gặp của các mô hình khác và quản lý để tăng chi tiết.
Sản phẩm người mẫu hoạt động bằng cách đầu tiên tạo lưới 3D từ hình ảnh đầu vào với sự trợ giúp của NeRF. Sau đó, các kết quả sẽ chuyển qua khung SDF (Trường khoảng cách đã ký) để tinh chỉnh thêm kết cấu, cải thiện độ rõ nét tổng thể của lưới đầu ra. Chưa kể, khung SDF giúp tránh hiệu ứng quá bão hòa mà 3D khác mô hình thường mắc phải.
Các lưới 3D được tạo làm ví dụ
Cách tiếp cận này tận dụng sự thành công của các mô hình DiG và mở rộng các mạng NeRF dựa trên đường trục SDF. Điều này tạo ra khả năng trích xuất lưới 3D được cải thiện và các mắt lưới 3D trông thực tế hơn nhiều so với các phương pháp đã thảo luận trước đây.
Kết quả từ việc sử dụng TextMesh cực kỳ thuyết phục. Các tác giả thậm chí còn cung cấp một liên kết đến một bức tranh về một con sóc được tạo bằng mô hình của họ, điều này không kém phần ấn tượng.
TextMesh chứng tỏ mình là một mô hình 3D mới mang tính cách mạng mang lại rất nhiều lợi thế và có thể tạo ra các mắt lưới 3D cực kỳ chân thực. Việc sử dụng nó chắc chắn sẽ ngày càng trở nên phổ biến hơn trong tương lai gần.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
