SingSong: Google AI-forskare hittar ett sätt att generera musik som ackompanjerar ingående sång
I korthet
Det nya systemet som kallas SingSong använder en djup inlärningsmodell att generera musik som är mer synkroniserad med sång än befintliga system.
Forskarna säger att systemet kan användas för att skapa karaokespår för professionella sångare eller för att hjälpa amatörsångare att hitta ackompanjemang som matchar deras röster.
Forskare på Google har hittat ett sätt att använda artificiell intelligens för att skapa musik som är kompatibel med sång. Det nya systemet, kallat SingSong, använder en modell för djupinlärning för att generera ackompanjemang som är mer synkroniserad med sång än andra befintliga system. Forskarna säger att systemet kan användas för att skapa karaokespår för professionella sångare eller för att hjälpa amatörsångare att hitta ackompanjemang som bättre passar deras röster.
Allsång är ett system utvecklat av Google som skapar instrumental musik för att ackompanjera ingångssång. Det kan ge både musiker och icke-musiker ett enkelt nytt sätt att göra musik med deras egna röster. Utvecklare bygger på de senaste framstegen inom musikalisk källseparering och ljudproduktion för att uppnå detta. Utvecklare använder specifikt en banbrytande källseparationsmetod för att bygga sammanpassade sång- och instrumentalkällpar från en enorm samling musikinspelningar. Sedan ändrar utvecklarna AudioLM, en banbrytande metod för ovillkorlig ljudproduktion, så att den kan tränas på källseparerade (sång, instrumentala) par för villkorade "ljud-till-ljud"-genereringsuppgifter.
| Rekommenderat inlägg: Topp 5 AI-musik- och ljudgeneratorer för att skapa royaltyfria spår |
AI-forskare undersöker olika funktioner för röstinmatning, varav den bästa förbättrar kvantitativ prestanda på isolerade sång med 53 % jämfört med standardinställningen för AudioLM, för att förbättra systemets generalisering från källseparerade träningsdata (där sången innehåller artefakter av instrumental) till isolerade sång som utvecklare kan förvänta sig av användare. Lyssnare uppvisade en betydande preferens för instrumental producerat av SingSong framför de från en stark återvinningsbaslinje i en parvis jämförelse med samma röstinmatningar.
Det nya systemet däremot använder en djup inlärningsmodell som har tränats på en stor datauppsättning av musik. Detta gör att systemet kan generera ackompanjemang som är synkroniserat med sångarens röst och timing.
För studien ges lyssnarna två 10-sekunders vokal-instrumentala mashups där rösterna (tagna från MUSDB18-testet) är desamma medan instrumentalerna skiljer sig och kommer från olika källor (ground sanning, google modeller, eller baslinjer). Frågan uppmanar lyssnarna att välja vilken av de två kombinationerna de tycker att de instrumentala bakgrunderna passar sången mer musikaliskt.
| Rekommenderat inlägg: Topp 7 AI-röstgeneratorer och röstkloning för text-till-tal |
SingSongs färska exempel
Genom att använda en serie djupa neurala nätverk och generativa modeller, kan utvecklare producera harmoniska ackompanjemang utan latens för längre segment.
MUSDB18-datauppsättningens professionella röster användes i de föregående exemplen. Vi är också fascinerade av SingSongs förmåga att stödja och göra det möjligt för vem som helst att skapa musik med sin röst. Här undersöker vi detta med hjälp av röstprover från Vocadito-datasetet, som inkluderar inspelningar av amatörsångare gjorda på hemelektronik.
Systemet är fortfarande i ett tidigt utvecklingsskede. Medan forskarna säger att det kommer att behöva förbättras innan det kan användas kommersiellt, tror de att det har potential att revolutionera karaokeindustrin och hjälpa amatörsångare att hitta ackompanjemang som fungerar bra för dem.
Läs fler relaterade artiklar:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
