SingSong: Pesquisadores de IA do Google encontram uma maneira de gerar música para acompanhar vocais de entrada
Em Breve
O novo sistema chamado SingSong usa um profundo modelo de aprendizagem para gerar música que esteja mais sincronizada com o canto do que os sistemas existentes.
Os pesquisadores dizem que o sistema pode ser usado para criar faixas de karaokê para cantores profissionais ou para ajudar cantores amadores a encontrar acompanhamento que combine com suas vozes.
Pesquisadores do Google descobriram uma maneira de usar inteligência artificial para gerar música compatível com o canto. O novo sistema, chamado SingSong, usa um modelo de aprendizado profundo para gerar acompanhamento mais sincronizado com o canto do que outros sistemas existentes. Os pesquisadores dizem que o sistema pode ser usado para criar faixas de karaokê para cantores profissionais ou para ajudar cantores amadores a encontrar um acompanhamento que melhor se adapte às suas vozes.
Cantar é um sistema desenvolvido pelo Google que cria música instrumental para acompanhar os vocais de entrada. Pode fornecer a músicos e não-músicos uma nova abordagem simples para fazer música que apresenta suas próprias vozes. Os desenvolvedores se baseiam em avanços recentes na separação de fontes musicais e produção de áudio para conseguir isso. Os desenvolvedores usam especificamente um método de separação de fontes de ponta para construir pares de fontes vocais e instrumentais alinhados a partir de um grande corpus de gravações musicais. Em seguida, os desenvolvedores modificam ÁudioLM, um método de ponta para produção de áudio incondicional, para que possa ser treinado em pares separados por fonte (vocal, instrumental) para tarefas de geração condicional de “áudio para áudio”.
| Postagem recomendada: Os 5 principais geradores de música e áudio AI para criar faixas isentas de royalties |
Pesquisadores de IA investigam diferentes recursos de entradas vocais, o melhor dos quais aprimora o desempenho quantitativo em vocais isolados em 53% em comparação com os recursos padrão do AudioLM, a fim de melhorar a generalização do sistema a partir de dados de treinamento separados por fonte (onde os vocais contêm artefatos do instrumental) para vocais isolados que os desenvolvedores podem esperar dos usuários. Os ouvintes exibiram uma preferência substancial por instrumentais produzidos por SingSong sobre aqueles de uma linha de base de recuperação forte em uma comparação de pares com as mesmas entradas de voz.
O novo sistema, ao contrário, usa um modelo de aprendizagem profunda que foi treinado em um grande conjunto de dados de música. Isso permite que o sistema gere um acompanhamento sincronizado com a voz e o tempo do cantor.
Para o estudo, os ouvintes recebem dois mashups vocais-instrumentais de 10 segundos nos quais as vozes (retiradas do teste MUSDB18) são as mesmas, enquanto os instrumentais diferem e vêm de várias fontes (verdade fundamental, modelos do Googleou linhas de base). A pergunta pede aos ouvintes que escolham qual das duas combinações eles acham que os apoios instrumentais se adaptam mais musicalmente aos vocais.
| Postagem recomendada: Os 7 principais geradores de voz AI e clonagem de voz para conversão de texto em fala |
Novos exemplos de SingSong
Usando uma série de redes neurais profundas e modelos generativos, os desenvolvedores são capazes de produzir acompanhamentos harmônicos sem latência para segmentos mais longos.
As vozes profissionais do conjunto de dados MUSDB18 foram usadas nos exemplos anteriores. Também estamos intrigados com a capacidade do SingSong de apoiar e permitir que qualquer pessoa crie música com sua voz. Aqui, examinamos isso usando amostras vocais do conjunto de dados Vocadito, que inclui gravações de vocalistas amadores feitas em eletrônicos de consumo.
O sistema ainda está nos estágios iniciais de desenvolvimento. Embora os pesquisadores digam que ele precisará ser melhorado antes de poder ser usado comercialmente, eles acreditam que ele tem o potencial de revolucionar a indústria do karaokê e ajudar cantores amadores a encontrar um acompanhamento que funcione bem para eles.
Leia mais artigos relacionados:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
