MusicLM: en ny tekst-til-musik og billed-til-musik AI-model fra Google
Kort sagt
Google introducerer MusicLM, en model til at generere high-fidelity-musik ud fra tekstbeskrivelser.
MusicLM kan være betinget af både tekst og en melodi, idet den kan transformere fløjtede og nynnede melodier i overensstemmelse med den stil, der er beskrevet i en teksttekst.
Modellen kan skabe musik i en række genrer, herunder klassisk, jazz og rock.
Google introducerer MusicLM, en model til at generere high-fidelity-musik fra tekstbeskrivelser såsom "en beroligende violinmelodi understøttet af et forvrænget guitarriff." MusicLM kaster processen med betinget musikgenerering som en hierarkisk sekvens-til-sekvens-modelleringsopgave, og den genererer musik ved 24 kHz, der forbliver konsistent over flere minutter.
Google-eksperimenter viser, at MusicLM udkonkurrerer tidligere systemer, både i lydkvalitet og overholdelse af tekstbeskrivelsen. Desuden demonstrerer den, at MusicLM kan betinges af både tekst og melodi, idet den kan transformere fløjtede og nynnende melodier i overensstemmelse med den stil, der er beskrevet i en tekstoverskrift. For at understøtte fremtidig forskning udgiver vi offentligt MusicCaps, et datasæt bestående af 5.5k musik-tekst-par med fyldige tekstbeskrivelser leveret af menneskelige eksperter.
| Relateret artikel: Tekst-til-3D: Google har udviklet et neuralt netværk, der genererer 3D-modeller ud fra tekstbeskrivelser |
MusicLM-modellen er blevet trænet på et stort korpus af noder, hvilket har gjort det muligt for AI at lære strukturen af musikken. Modellen kan skabe musik i en række genrer, herunder klassisk, jazz og rock. Derudover kan AI-modellen skabe nye, originale kompositioner.
MusicLM-modellen er en vigtig udvikling inden for AI-genereret musik. Modellen repræsenterer et betydeligt fremskridt i forhold til tidligere modeller, som var begrænset til kortere musikstykker eller kun var i stand til at generere simple melodier. Den nye model åbner muligheden for at bruge AI til at generere lange, komplekse musikstykker, som kan bruges i film, videospil eller andre medier.
Den nye AI-model kan generere lang musik generationer på op til fem minutter.
| Relateret artikel: Stable Diffusion kan skabe ny musik ved at generere spektrogrammer baseret på tekst |
AI-modellen kan skabe musik ved hjælp af billedtekster fra spil og film.
Derudover kan AI-modellen generere musik ved hjælp af billeder som input.
Læs mere om AI i musikbranchen:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
