Futureverse, JEN-1 공개: 실시간 텍스트-음악 생성을 위한 혁신적인 AI 모델

by 아그네 시메르만

게시: 10년 2023월 2일 오후 57시 10분 업데이트: 2023년 2월 58일 오후 XNUMX시 XNUMX분

by 다닐 먀킨

편집 및 사실 확인: 10년 2023월 2일 오후 57시 XNUMX분

요컨대

선구적인 AI 및 메타버스 기술 회사인 Futureverse는 텍스트-음악 생성을 위해 설계된 AI 모델인 JEN-1을 도입했습니다.

JEN-1은 놀라운 계산 효율성을 유지하면서 전례 없는 수준의 텍스트 음악 정렬 및 음악 품질을 달성함으로써 음악 AI의 놀라운 도약을 나타냅니다.

AI 및 메타버스 기술 및 콘텐츠 회사인 Futureverse는 텍스트-음악 세대를 위한 새로운 AI 모델인 JEN-1의 출시를 발표했습니다. JEN-1은 계산 효율성을 유지하면서 텍스트 음악 정렬 및 음악 품질에서 최첨단 성능을 달성한 최초의 모델이므로 음악 AI의 상당한 발전입니다.

“우리는 객관적인 지표와 인간 평가 전반에 걸쳐 최첨단 기준선에 대해 JEN-1을 광범위하게 평가합니다. 결과는 JEN-1이 현재 최상의 방법(85.7/100)에 비해 지각적으로 더 높은 품질(83.8/100)의 음악을 생성한다는 것을 보여줍니다.”라고 Futureverse는 썼습니다.

음악 편곡의 복잡한 특성과 높은 샘플링 속도가 필요하기 때문에 텍스트에서 음악을 만드는 것은 어렵습니다. 에 따르면 Futureverse의 논문, JEN-1은 확산 모델이 자동 회귀 및 비자동 회귀 훈련을 기반으로 하므로 이러한 문제를 극복할 수 있습니다. 이를 통해 JEN-1은 사실적이고 창의적인 음악을 생성할 수 있습니다.

계산 효율성으로 인해 JEN-1을 사용하여 실시간으로 음악을 생성할 수 있으므로 음악 제작, 라이브 공연 및 가상 현실에 대한 새로운 가능성이 열립니다.

AI 모델은 특수한 오토인코더를 사용하고 확산 모델 48kHz의 높은 샘플링 속도로 상세한 스테레오 오디오를 직접 생성합니다. 또한 JEN-1은 오디오 기능을 변환할 때 일반적인 품질 손실을 방지합니다. 이 모델은 음악 생성, 음악 시퀀스 계속, 누락된 부분 채우기 등 다양한 작업을 통해 훈련되어 다재다능하게 만들어졌습니다.

JEN-1은 또한 자동 회귀 및 비자동 회귀 방법을 교묘하게 결합하여 종속성 캡처 간의 균형을 맞춥니다. 음악 효율적으로 생성합니다. 또한 AI 모델은 스마트러닝 기법을 활용해 다양한 음악적 측면을 한번에 처리할 수 있도록 훈련됐다.

JEN-1 대 MusicLM, MusicGen 및 기타 AI 모델

Futureverse는 JEN-1을 Google의 MusicLM 및 Meta의 MusicGen과 같은 현재 최신 모델과 비교하고 그 접근 방식이 충실도와 현실감에서 더 나은 결과를 생성함을 보여줍니다.

평가는 음악과 텍스트 쌍의 데이터 세트인 MusicCaps 테스트 세트에서 다양한 모델의 성능을 기반으로 했습니다. Futureverse는 모델을 평가하기 위해 정량적 및 정성적 측정을 모두 사용했습니다. 정량적 측정에는 FAD(Fidelity-Awareness-Disentanglement) 점수와 CLAP(Continuity-and-Local-Anomaly-Penalties) 점수가 포함되었습니다. 질적 측정에는 생성된 음악의 품질 및 정렬에 대한 사람의 평가가 포함되었습니다.

결과는 JEN-1이 정량적 및 정성적 측정에서 다른 모델보다 우수한 것으로 나타났습니다. JEN-1은 FAD 및 CLAP 점수가 가장 높았으며 인간 평가자로부터 가장 높은 점수를 받았습니다. 또한 JEN-1은 MusicGen의 매개변수의 22.6%와 Noise57.7Music의 매개변수의 2%로 다른 모델보다 계산적으로 더 효율적이었습니다.

JEN-1은 음악 산업에서 AI의 잠재력이 커지고 있다는 신호입니다. AI는 이미 음악을 만드는 데 사용되지만 JEN-1은 중요한 발전입니다. 양적 측정과 정성적 측정 모두에서 최첨단 성능을 달성한 최초의 모델이며 이전 모델보다 계산 효율성도 높습니다.

더 읽기 :

태그 :

책임 부인

줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.

저자에 관하여

Agne는 메타버스, AI, Web3 산업 Metaverse Post. 스토리텔링에 대한 그녀의 열정으로 인해 그녀는 이 분야의 전문가들과 수많은 인터뷰를 진행했으며 항상 흥미롭고 매력적인 이야기를 발견하기 위해 노력했습니다. Agne는 문학 학사 학위를 보유하고 있으며 여행, 예술, 문화를 포함한 광범위한 주제에 대한 글쓰기에 대한 광범위한 배경을 가지고 있습니다. 그녀는 또한 동물 권리 단체의 편집자로 자원 봉사하여 동물 복지 문제에 대한 인식을 높이는 데 도움을 주었습니다. 그녀에게 연락하세요 [이메일 보호].

더 많은 기사

아그네 시메르만