Futureverse が JEN-1 を発表: リアルタイムのテキストから音楽への生成のための革新的な AI モデル

by アグネ・シメルマン

公開日: 10 年 2023 月 2 日 57:10 更新日: 2023 年 2 月 58 日 XNUMX:XNUMX

by ダニル・ミャキン

編集および事実確認: 10 年 2023 月 2 日午後 57 時 XNUMX 分

簡単に言えば

AI およびメタバーステクノロジーの先駆者である Futureverse は、テキストから音楽を生成するために設計された AI モデルである JEN-1 を導入しました。

JEN-1 は、驚くべき計算効率を維持しながら、前例のないレベルのテキストと音楽の整合性と音楽品質を達成することにより、音楽 AI の目覚ましい進歩を表しています。

AI およびメタバースのテクノロジーおよびコンテンツ企業である Futureverse は、テキストから音楽を生成するための新しい AI モデルである JEN-1 の発売を発表しました。 JEN-1 は、計算効率を維持しながらテキストと音楽の整合性と音楽品質において最先端のパフォーマンスを実現した最初のモデルであり、音楽 AI の大幅な進歩です。

「私たちは、客観的な指標と人間による評価にわたる最先端のベースラインに対して JEN-1 を広範囲に評価しています。結果は、JEN-1 が現在の最良の方法 (85.7/100) と比較して、知覚的により高い品質の音楽 (83.8/100) を生成することを示しています」と Futureverse は書いています。

音楽アレンジの複雑な性質と高いサンプリングレートの必要性のため、テキストから音楽を作成することは困難です。によるとフューチャーバースの論文, JEN-1 の普及モデルは自己回帰トレーニングと非自己回帰トレーニングに基づいているため、これらの課題を克服できます。これにより、JEN-1 はリアルでクリエイティブな音楽を生成することができます。

JEN-1 は計算効率が高いため、リアルタイムで音楽を生成することができ、音楽制作、ライブパフォーマンス、仮想現実の新たな可能性を開きます。

AI モデルは特別なオートエンコーダーを使用しており、拡散モデル 48kHz の高いサンプリングレートで詳細なステレオオーディオを直接生成します。さらに、JEN-1 は、オーディオ機能を変換する際によくある品質の損失を回避します。このモデルは、音楽の生成、音楽シーケンスの継続、欠落部分の補完などの複数のタスクでトレーニングされているため、多用途に使用できます。

JEN-1 はまた、自己回帰メソッドと非自己回帰メソッドを巧みに組み合わせて、依存関係のキャプチャ間のトレードオフのバランスをとります。音楽そしてそれを効率的に生成します。さらに、AI モデルはスマートな学習技術を採用しており、音楽のさまざまな側面を一度に処理できるようにトレーニングされています。

JEN-1 と MusicLM、MusicGen、その他の AI モデルの比較

Futureverse は、JEN-1 を Google の MusicLM や Meta の MusicGen などの現在の最先端モデルと比較し、そのアプローチが忠実度とリアリズムにおいてより良い結果を生み出すことを実証しています。

評価は、音楽とテキストのペアのデータセットである MusicCaps テストセットでのさまざまなモデルのパフォーマンスに基づいて行われました。 Futureverse は、定量的測定と定性的測定の両方を使用してモデルを評価しました。定量的な測定には、FAD (忠実性認識解消) スコアと CLAP (継続性とローカル異常ペナルティ) スコアが含まれます。定性的測定には、生成された音楽の品質と整合性に関する人間による評価が含まれます。

結果は、JEN-1 が定量的および定性的測定において他のモデルよりも優れていることを示しました。 JEN-1 は FAD スコアと CLAP スコアが最も高く、人間の評価者から最高スコアを受け取りました。さらに、JEN-1 は他のモデルよりも計算効率が高く、MusicGen のパラメータのわずか 22.6%、Noise57.7Music のパラメータの 2% でした。

JEN-1 は、音楽業界における AI の可能性が高まっていることを示しています。 AI はすでに音楽作成に使用されていますが、JEN-1 は大きな進歩です。これは、定量的および定性的測定の両方で最先端のパフォーマンスを達成した最初のモデルであり、以前のモデルよりも計算効率が高くなります。

続きを読む：

タグ：

免責事項

に沿ってトラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポートページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。

著者について

アグネは、メタバース、AI、およびメタバースの最新のトレンドと開発をカバーするジャーナリストです。 Web3 のための産業 Metaverse Post。ストーリーテリングに対する彼女の情熱により、これらの分野の専門家に数多くのインタビューを実施し、常にエキサイティングで魅力的なストーリーを明らかにしようと努めています。アグネは文学の学士号を取得しており、旅行、芸術、文化など幅広いトピックについて執筆する幅広い経歴を持っています。彼女は動物愛護団体の編集者としてもボランティアとして参加し、動物福祉問題についての意識を高めることに貢献しました。彼女に連絡する [メール保護].

より多くの記事

アグネ・シメルマン