Text-to-SVG: Berkeley đã công bố trừu tượng hóa mô hình khuếch tán dựa trên pixel
Tóm lại
Tổng hợp văn bản thành hình ảnh – Các nhà nghiên cứu của UC Berkeley chứng minh đồ họa véc tơ với văn bản có điều kiện mô hình khuếch tán
Trong tổng hợp văn bản thành hình ảnh, các mô hình khuếch tán có chứng minh kết quả nổi bật. Các mô hình khuếch tán học cách tạo ra các hình ảnh raster của các đối tượng và tình huống cực kỳ đa dạng bằng cách sử dụng cơ sở dữ liệu khổng lồ về các bức ảnh có chú thích. Tuy nhiên, đối với các biểu tượng, đồ họa và nhãn dán kỹ thuật số, các nhà thiết kế thường sử dụng các biểu diễn véc tơ của hình ảnh như Đồ họa véc tơ có thể mở rộng (SVG). Đồ họa vector nhỏ và có thể được thu nhỏ theo kích thước bất kỳ.
UC Berkeley trình bày cách tạo đồ họa véc tơ có thể được xuất dưới dạng SVG bằng cách sử dụng mô hình khuếch tán có điều kiện hóa văn bản đã được đào tạo về biểu diễn pixel ảnh. Nó thực hiện điều này mà không cần sử dụng bộ sưu tập SVG phong phú có chú thích. Thay vào đó, các nhà nghiên cứu Berkeley véc tơ hóa một khuếch tán văn bản thành hình ảnh mẫu và tinh chỉnh nó với sự mất mát Lấy mẫu Chưng cất Điểm, được thúc đẩy bởi công việc gần đây về tổng hợp văn bản thành 3D.
Các vectơ được tạo ví dụ
Kiểm tra thư viện SVG mới được tạo tại đây.
Đồ họa vector nhỏ nhưng vẫn duy trì độ sắc nét khi được thu nhỏ theo bất kỳ kích thước nào. Các nhà nghiên cứu tại Berkeley cải thiện tình trạng mất văn bản hình ảnh dựa trên Lấy mẫu Chưng cất Điểm để tối ưu hóa đồ họa vector. Trình kết xuất SVG có thể phân biệt DiffVG, được sử dụng bởi VectorFusion, giúp tạo ra các hình ảnh nghịch đảo.
Ngoài ra, VectorFusion cho phép cấu hình nhiều giai đoạn hiệu quả hơn và có chất lượng cao hơn. Phương pháp này bắt đầu bằng cách lấy các mẫu raster từ mô hình khuếch tán văn bản sang hình ảnh gọi là Stable Diffusion. Sau đó, các mẫu được VectorFusion tự động theo dõi bằng LIVE. Tuy nhiên, những mẫu này thường thiếu chi tiết, nhàm chán hoặc khó thích ứng với đồ họa vector. Tăng cường sự sống động và tính nhất quán của văn bản thông qua Lấy mẫu chưng cất điểm số.
VectorFusion có thể tạo nghệ thuật điểm ảnh theo phong cách của các trò chơi điện tử cũ bằng cách giới hạn các đường dẫn SVG thành các ô vuông trên lưới.
Cách tiếp cận này dễ dàng được mở rộng để hỗ trợ tạo văn bản thành bản phác thảo. Để tìm hiểu một bản vẽ đường trừu tượng thể hiện chính xác văn bản do người dùng cung cấp, trước tiên chúng tôi vẽ 16 nét được chọn ngẫu nhiên. Sau đó, chúng tôi tối ưu hóa tổn thất Lấy mẫu chưng cất điểm tiềm ẩn của mình.
Đọc các bài liên quan:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
