Futureverse tiết lộ JEN-1: Mô hình AI mang tính cách mạng để tạo văn bản thành nhạc theo thời gian thực


Tóm lại
Futureverse, một công ty tiên phong về công nghệ AI và metaverse, đã giới thiệu JEN-1, một mô hình AI được thiết kế để tạo văn bản thành nhạc.
JEN-1 đại diện cho một bước tiến vượt bậc trong AI âm nhạc bằng cách đạt được mức độ liên kết văn bản-âm nhạc và chất lượng âm nhạc chưa từng có, đồng thời duy trì hiệu quả tính toán vượt trội.

Futureverse, một công ty nội dung và công nghệ AI và metaverse, đã công bố ra mắt JEN-1, một mô hình AI mới để tạo văn bản thành nhạc. JEN-1 là một tiến bộ đáng kể trong AI âm nhạc, vì đây là mô hình đầu tiên đạt được hiệu suất tiên tiến nhất trong việc căn chỉnh văn bản-nhạc và chất lượng âm nhạc trong khi vẫn duy trì hiệu quả tính toán.
“Chúng tôi đánh giá rộng rãi JEN-1 dựa trên các đường cơ sở tiên tiến nhất trên các chỉ số khách quan và đánh giá của con người. Kết quả cho thấy JEN-1 tạo ra âm nhạc có chất lượng cao hơn (85.7/100) so với các phương pháp tốt nhất hiện tại (83.8/100)”, Futureverse viết.
Tạo nhạc từ văn bản rất khó vì tính chất phức tạp của cách sắp xếp âm nhạc và yêu cầu tốc độ lấy mẫu cao. Dựa theo Bài viết của Futureverse, JEN-1 có thể vượt qua những thách thức này vì mô hình khuếch tán của nó dựa trên đào tạo tự hồi quy và không tự hồi quy. Điều này cho phép JEN-1 tạo ra âm nhạc chân thực và sáng tạo.
Do hiệu quả tính toán của nó, có thể sử dụng JEN-1 để tạo nhạc trong thời gian thực, điều này mở ra những khả năng mới cho sản xuất âm nhạc, biểu diễn trực tiếp và thực tế ảo.
Mô hình AI sử dụng bộ mã hóa tự động đặc biệt và mô hình khuếch tán để trực tiếp tạo ra âm thanh nổi chi tiết ở tốc độ lấy mẫu cao 48kHz. Hơn nữa, JEN-1 tránh được tình trạng giảm chất lượng thông thường khi chuyển đổi các tính năng âm thanh. Mô hình này được đào tạo để thực hiện nhiều nhiệm vụ, bao gồm tạo nhạc, tiếp tục chuỗi nhạc và điền vào các phần còn thiếu, khiến nó trở nên linh hoạt.
JEN-1 cũng khéo léo kết hợp các phương pháp tự hồi quy và không tự hồi quy để cân bằng sự đánh đổi giữa việc nắm bắt các phụ thuộc trong Âm nhạc và tạo ra nó một cách hiệu quả. Ngoài ra, mô hình AI sử dụng các kỹ thuật học tập thông minh và được đào tạo để xử lý nhiều khía cạnh âm nhạc khác nhau cùng một lúc.
JEN-1 so với MusicLM, MusicGen và các mô hình AI khác
Futureverse so sánh JEN-1 với các mô hình tiên tiến nhất hiện nay, chẳng hạn như MusicLM của Google và MusicGen của Meta, đồng thời chứng minh rằng cách tiếp cận của nó tạo ra kết quả tốt hơn về độ trung thực và hiện thực.
Việc đánh giá dựa trên hiệu suất của các kiểu máy khác nhau trên bộ thử nghiệm MusicCaps, đây là bộ dữ liệu gồm các cặp âm nhạc và văn bản. Futureverse đã sử dụng cả các biện pháp định lượng và định tính để đánh giá các mô hình. Các biện pháp định lượng bao gồm điểm số FAD (Fidelity-Awareness-Disentanglement) và điểm số CLAP (Continuity-and-Local-Anomaly-Penalties). Các biện pháp định tính bao gồm đánh giá của con người về chất lượng và sự liên kết của âm nhạc được tạo ra.
Kết quả cho thấy JEN-1 vượt trội so với các mô hình khác về các phép đo định lượng và định tính. JEN-1 có điểm FAD và CLAP cao nhất và nhận được điểm cao nhất từ những người đánh giá là con người. Ngoài ra, JEN-1 còn hiệu quả hơn về mặt tính toán so với các mẫu khác, chỉ bằng 22.6% thông số của MusicGen và 57.7% thông số của Noise2Music.
JEN-1 là dấu hiệu cho thấy tiềm năng ngày càng tăng của AI trong ngành công nghiệp âm nhạc. AI đã được sử dụng để tạo nhạc, nhưng JEN-1 là một bước tiến quan trọng. Đây là mô hình đầu tiên đạt được hiệu suất tiên tiến trên cả các phép đo định lượng và định tính, đồng thời nó cũng hiệu quả hơn về mặt tính toán so với các mô hình trước đó.
Tìm hiểu thêm:
- 20 mẫu Chuyển văn bản thành nhạc AI hàng đầu với lời nhắc của Mubert
- Google AI đã công bố Trình tạo văn bản thành nhạc đầu tiên AudioLM
- MusicLM: một mô hình AI chuyển văn bản thành nhạc và hình ảnh thành nhạc mới của Google
- Futureverse tham gia lực lượng với các dự án ngoại lai cho Chương trình tăng tốc trại cơ sở Futureverse
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Agne là một nhà báo đưa tin về các xu hướng và sự phát triển mới nhất trong metaverse, AI và Web3 các ngành công nghiệp cho Metaverse Post. Niềm đam mê kể chuyện đã khiến cô thực hiện nhiều cuộc phỏng vấn với các chuyên gia trong các lĩnh vực này, luôn tìm cách khám phá những câu chuyện thú vị và hấp dẫn. Agne có bằng Cử nhân văn học và có kiến thức sâu rộng về viết về nhiều chủ đề bao gồm du lịch, nghệ thuật và văn hóa. Cô cũng tình nguyện làm biên tập viên cho tổ chức bảo vệ quyền động vật, nơi cô giúp nâng cao nhận thức về các vấn đề phúc lợi động vật. Liên hệ với cô ấy trên [email được bảo vệ].
Xem thêm bài viết

Agne là một nhà báo đưa tin về các xu hướng và sự phát triển mới nhất trong metaverse, AI và Web3 các ngành công nghiệp cho Metaverse Post. Niềm đam mê kể chuyện đã khiến cô thực hiện nhiều cuộc phỏng vấn với các chuyên gia trong các lĩnh vực này, luôn tìm cách khám phá những câu chuyện thú vị và hấp dẫn. Agne có bằng Cử nhân văn học và có kiến thức sâu rộng về viết về nhiều chủ đề bao gồm du lịch, nghệ thuật và văn hóa. Cô cũng tình nguyện làm biên tập viên cho tổ chức bảo vệ quyền động vật, nơi cô giúp nâng cao nhận thức về các vấn đề phúc lợi động vật. Liên hệ với cô ấy trên [email được bảo vệ].