MusicLM : un nouveau modèle d'IA text-to-music et image-to-music de Google
En bref
Google présente MusicLM, un modèle permettant de générer de la musique haute fidélité à partir de descriptions textuelles.
MusicLM peut être conditionné à la fois sur du texte et sur une mélodie dans la mesure où il peut transformer des mélodies sifflées et fredonnées selon le style décrit dans une légende de texte.
Le modèle peut générer de la musique dans une variété de genres, dont le classique, le jazz et le rock.
Google présente MusicLM, un modèle permettant de générer de la musique haute fidélité à partir de descriptions textuelles telles que "une mélodie de violon apaisante soutenue par un riff de guitare déformé". MusicLM présente le processus de génération conditionnelle de musique comme une tâche de modélisation séquence à séquence hiérarchique, et il génère de la musique à 24 kHz qui reste cohérente pendant plusieurs minutes.
Les expériences de Google montrent que MusicLM surpasse les systèmes précédents, à la fois en termes de qualité audio et de respect de la description textuelle. De plus, il démontre que MusicLM peut être conditionné à la fois sur un texte et sur une mélodie en ce qu'il peut transformer des mélodies sifflées et fredonnées selon le style décrit dans une légende de texte. Pour soutenir les recherches futures, nous publions MusicCaps, un ensemble de données composé de 5.5 XNUMX paires musique-texte avec des descriptions textuelles riches fournies par des experts humains.
| Article connexe: Text-to-3D : Google a développé un réseau de neurones qui génère des modèles 3D à partir de descriptions textuelles |
Le modèle MusicLM a été formé sur un large corpus de partitions musicales, ce qui a permis à l'IA d'apprendre la structure de la musique. Le modèle peut générer de la musique dans une variété de genres, dont le classique, le jazz et le rock. De plus, le modèle IA peut créer de nouvelles compositions originales.
Le modèle MusicLM est un développement important dans le domaine de la musique générée par l'IA. Le modèle représente une avancée significative par rapport aux modèles précédents, qui étaient limités à des morceaux de musique plus courts ou seulement capables de générer des mélodies simples. Le nouveau modèle ouvre la possibilité d'utiliser l'IA pour générer des morceaux de musique longs et complexes, qui pourraient être utilisés dans des films, des jeux vidéo ou d'autres médias.
Le nouveau modèle d'IA peut générer de la musique longue générations jusqu'à cinq minutes.
| Article connexe: Stable Diffusion peut créer de la nouvelle musique en générant des spectrogrammes basés sur du texte |
Le modèle AI peut créer de la musique en utilisant des sous-titres de jeux et de films.
De plus, le modèle AI peut générer de la musique en utilisant des images comme entrée.
En savoir plus sur l'IA dans l'industrie de la musique :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
