SingSong: Google の AI 研究者が入力ボーカルに合わせて音楽を生成する方法を発見
簡単に言えば
SingSong と呼ばれる新しいシステムは、深い 学習モデル 既存のシステムよりも歌とより同期した音楽を生成します。
研究者は、このシステムを使用して、プロの歌手向けのカラオケ トラックを作成したり、アマチュアの歌手が自分の声に合った伴奏を見つけたりするのに役立てることができると述べています。
Google の研究者は、人工知能を使用して歌と互換性のある音楽を生成する方法を発見しました。 SingSong と呼ばれる新しいシステムは、ディープ ラーニング モデルを使用して、他の既存のシステムよりも歌と同期した伴奏を生成します。 研究者は、このシステムを使用して、プロの歌手向けのカラオケ トラックを作成したり、アマチュアの歌手が自分の声により適した伴奏を見つけたりするのに役立てることができると述べています。
歌を歌う は、Google が開発した、入力されたボーカルに合わせてインストゥルメンタル音楽を作成するシステムです。 それは、ミュージシャンとそうでない人の両方に、自分の声を特徴とする音楽を作るためのシンプルで新しいアプローチを提供するかもしれません. 開発者は、これを実現するために、音楽ソースの分離とオーディオ制作における最近の進歩に基づいています。 開発者は、特に最先端のソース分離方法を使用して、大量の音楽録音のコーパスから整列したボーカルと楽器のソースのペアを構築します。 次に、開発者は変更します AudioLMこれは、条件付きの「オーディオからオーディオへ」の生成タスクのために、ソースが分離された (ボーカル、インストゥルメンタル) ペアでトレーニングできるようにする、無条件のオーディオ制作のための最先端の方法です。
AI研究者は、音声入力のさまざまな特徴付けを調査し、その最良のものは、ソース分離されたトレーニングデータからのシステムの一般化を改善するために、デフォルトのAudioLM特徴付けと比較して、分離されたボーカルの定量的パフォーマンスを53％向上させます（ボーカルにはインストルメンタル) 開発者がユーザーに期待するかもしれない孤立したボーカルに。 リスナーは、同じ音声入力とのペアごとの比較で、強力な検索ベースラインからのインストルメンタルよりも、SingSong によって生成されたインストルメンタルに対してかなりの好みを示しました。
対照的に、新しいシステムでは、 深層学習モデル それは音楽の大規模なデータセットでトレーニングされています。 これにより、システムは歌手の声とタイミングに同期した伴奏を生成することができます。
この研究では、リスナーには 10 つの 18 秒間のボーカルと楽器のマッシュアップが与えられます。この中で、声 (MUDBXNUMX テストから取得) は同じですが、楽器は異なり、さまざまなソース (グラウンド トゥルース、グラウンド トゥルース、 Googleモデル、またはベースライン）。 この質問では、XNUMX つの組み合わせのうち、どちらの組み合わせが音楽的によりボーカルに合っているかをリスナーに選択してもらいます。
SingSong の新鮮な例
一連のディープ ニューラル ネットワークを使用することで、 生成モデル、開発者は、長いセグメントでもレイテンシーなしでハーモニーの伴奏を生成できます。
前の例では、MUDB18 データセットのプロの声が使用されました。 また、誰もが自分の声で音楽を作成できるようにする SingSong の能力にも興味をそそられます。 ここでは、家庭用電化製品で作成されたアマチュア ボーカリストの録音を含む Vocadito データセットのボーカル サンプルを使用して、これを調べます。
システムはまだ開発の初期段階にあります。 研究者は、商業的に使用する前に改善する必要があると述べていますが、カラオケ業界に革命をもたらし、アマチュア歌手が自分に合った伴奏を見つけるのに役立つ可能性があると考えています.
関連記事をもっと読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
