GLIGEN: mô hình tạo văn bản thành hình ảnh cố định mới với hộp giới hạn
Tóm lại
GLIGEN, hay Tạo ngôn ngữ có căn cứ thành hình ảnh, là một kỹ thuật mới dựa trên và mở rộng khả năng của các mô hình khuếch tán được đào tạo trước hiện tại.
Với đầu vào điều kiện chú thích và hộp giới hạn, mô hình GLIGEN tạo ra text2img có nền tảng thế giới mở.
GLIGEN có thể tạo nhiều đối tượng ở những vị trí và kiểu cụ thể bằng cách tận dụng kiến thức từ mô hình text2img được đào tạo trước.
GLIGEN cũng có thể tạo nền tảng cho các điểm chính của con người trong khi tạo văn bản thành hình ảnh.
Các mô hình khuếch tán văn bản thành hình ảnh quy mô lớn đã đi một chặng đường dài. Tuy nhiên, thông lệ hiện tại là chỉ dựa vào kiểu nhập văn bản, điều này có thể hạn chế khả năng kiểm soát. GLIGEN, hay Thế hệ ngôn ngữ thành hình ảnh có căn cứ, là một kỹ thuật mới được xây dựng dựa trên và mở rộng khả năng của các mô hình khuếch tán văn bản thành hình ảnh được đào tạo trước hiện tại bằng cách cho phép chúng được điều chỉnh dựa trên các đầu vào nối đất.
Để duy trì kiến thức khái niệm sâu rộng của mô hình được đào tạo trước, các nhà phát triển đóng băng tất cả các trọng số của nó và bơm thông tin nền tảng vào các lớp có thể đào tạo mới thông qua một quy trình được kiểm soát. Với đầu vào điều kiện chú thích và hộp giới hạn, mô hình GLIGEN tạo văn bản thành hình ảnh có nền tảng trong thế giới mở và khả năng nền tảng khái quát hóa hiệu quả cho các khái niệm và cấu hình không gian mới.
Kiểm tra các bản demo tại đây.
- GLIGEN dựa trên nền tảng được đào tạo trước hiện có mô hình khuếch tán, các trọng số ban đầu đã được đóng băng để giữ lại một lượng lớn kiến thức được đào tạo trước.
- Tại mỗi khối máy biến áp, một lớp Tự chú ý có cổng có thể đào tạo mới được tạo ra để hấp thụ đầu vào nối đất bổ sung.
- Mỗi mã thông báo nối đất có hai loại thông tin: thông tin ngữ nghĩa về thứ được nối đất (văn bản hoặc hình ảnh được mã hóa) và thông tin vị trí không gian (hộp giới hạn được mã hóa hoặc các điểm chính).
| Bài viết liên quan: VToonify: Mô hình AI thời gian thực để tạo video chân dung nghệ thuật |
| Bài viết liên quan: Microsoft đã phát hành một mô hình khuếch tán có thể tạo hình đại diện 3D từ một bức ảnh duy nhất của một người |
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
