Gen-1: AI tạo video mới từ những video hiện có bằng cách kết hợp lời nhắc và hình ảnh
Tóm lại
Gen-1 là một mạng thần kinh có thể tạo video mới từ những video hiện có bằng cách kết hợp gợi ý và hình ảnh.
Nó cũng có thể được sử dụng để tạo các video hoàn toàn mới từ đầu.
Khả năng tạo video mới từ những video hiện có có một số ứng dụng tiềm năng.
RunWayML, một công ty khởi nghiệp trí tuệ nhân tạo, đã công bố một sản phẩm mới có tên Gen-1, một mạng thần kinh có thể tạo video mới từ những video hiện có bằng cách kết hợp lời nhắc và hình ảnh. Trong nhiều năm, các mạng nơ-ron đã bị giới hạn trong nhiệm vụ chuyển đổi phong cách, đó là quá trình chụp ảnh và áp dụng phong cách của một hình ảnh khác cho nó. Đây là cách chúng tôi có được những video chuyển giao theo phong cách học sâu nhanh chóng, chẳng hạn như một phong cảnh được hiển thị theo phong cách Đêm đầy sao của Van Gogh.
Giờ đây, với Gen-1, mạng nơ-ron có thể làm được nhiều việc hơn là chỉ chuyển kiểu. Nó có thể tạo video mới từ đầu, sử dụng lời nhắc và hình ảnh làm đầu vào. Điều này mở ra một loạt các khả năng mới cho Video do AI tạo. Hiện tại, các video do Gen-1 tạo ra rất ngắn và đơn giản. Nhưng khi công nghệ phát triển, chúng ta có thể mong đợi thấy những điều phức tạp hơn và video thực tế được tạo bởi AI.
| Bài viết được đề xuất: Sức khỏe sinh sản của nam giới được cải thiện nhờ xem video người lớn trong thực tế ảo |
Gen-1 là gì?
Các công cụ chỉnh sửa và tạo ảnh mạnh mẽ được mở khóa bằng hướng dẫn bằng văn bản mô hình khuếch tán thế hệ. Mặc dù những điều này đã được áp dụng để tạo video, nhưng các phương pháp hiện tại để chỉnh sửa nội dung của tài liệu đã có sẵn trong khi vẫn duy trì cấu trúc của nó đòi hỏi phải đào tạo lại tốn kém cho mỗi đầu vào hoặc phụ thuộc vào sự lan truyền rủi ro của các thay đổi hình ảnh giữa các khung hình.
Các nhà phát triển mô tả một mô hình phổ biến video có hướng dẫn về cấu trúc và nội dung, giúp thay đổi phim dựa trên các mô tả bằng văn bản hoặc bằng hình ảnh về kết quả mong muốn. Do tách rời không đủ, xung đột giữa sửa đổi nội dung do người dùng cung cấp và biểu diễn cấu trúc phát sinh. Họ chứng minh rằng tính toàn vẹn của cấu trúc và nội dung có thể được kiểm soát bằng cách đào tạo về ước tính độ sâu bằng một mắt với các mức độ chi tiết khác nhau.
Tổng hợp các video mới theo cách thực tế và nhất quán bằng cách áp dụng bố cục và kiểu của một hình ảnh hoặc lời nhắc văn bản cho cấu trúc của video nguồn của bạn. Nó giống như quay một cái gì đó mới mà không thực sự quay bất cứ thứ gì.
Chuyển kiểu của hình ảnh hoặc lời nhắc sang mọi khung hình của video có thể là một cách tuyệt vời để thống nhất dự án của bạn, tạo cho dự án một chủ đề trực quan bao quát và tạo sự nhất quán.
Thông qua việc sử dụng phần mềm và thiết kế sáng tạo, các mô hình mô phỏng có thể được chuyển đổi thành các kết xuất tương tác và đẹp mắt về mặt thẩm mỹ, mang lại tầm nhìn của người dùng vào cuộc sống.
Với các tính năng chỉnh sửa video, thật dễ dàng để tách các phần của video và nâng cao chúng bằng lời nhắc văn bản.
Áp dụng một hình ảnh đầu vào hoặc nhanh chóng đối với các kết xuất không có kết cấu có thể cải thiện đáng kể tính chân thực của chúng, làm cho các mô hình 3D trở nên sống động.
Runway Research chuyên xây dựng các hệ thống AI đa phương thức cho phép các hình thức sáng tạo mới. Gen-1 đại diện cho một bước quan trọng khác của chúng tôi trong sứ mệnh này. Nếu bạn là người sáng tạo muốn thử nghiệm tương lai của nghệ thuật kể chuyện, hãy yêu cầu quyền truy cập bên dưới.
Gen-1 cũng có thể được sử dụng để tạo các video hoàn toàn mới từ đầu. Nó có thể được sử dụng cho một số mục đích, bao gồm tạo phiên bản mới của phim hiện có hoặc tạo phim mới hoàn toàn. Tin tức này chắc chắn sẽ kích thích các nhà làm phim và các nhà sáng tạo khác, những người luôn tìm kiếm những cách mới để vượt qua ranh giới nghệ thuật của họ. Với Gen-1, giờ đây họ có một công cụ mạnh mẽ mới để tùy ý sử dụng.
Khả năng tạo video mới từ những cái hiện có có một số ứng dụng tiềm năng. Ví dụ: nó có thể được sử dụng để tạo các phiên bản mới của nội dung video hiện có, do đó, nó có thể được sử dụng để tạo các phiên bản thay thế của cảnh hoặc cảnh quay có thể quá tốn kém hoặc khó quay phim về mặt hậu cần.
Bạn có thể đăng ký sử dụng mô hình khi nó đang ở giai đoạn thử nghiệm beta tại đây.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
