Futureverse revela JEN-1: modelo revolucionário de IA para geração de texto para música em tempo real


Em Breve
A Futureverse, uma empresa pioneira de tecnologia de IA e metaverso, apresentou o JEN-1, um modelo de IA projetado para geração de texto para música.
O JEN-1 representa um salto notável na IA musical, alcançando níveis sem precedentes de alinhamento texto-música e qualidade musical, mantendo uma notável eficiência computacional.

A Futureverse, uma empresa de conteúdo e tecnologia de IA e metaverso, anunciou o lançamento do JEN-1, um novo modelo de IA para geração de texto para música. O JEN-1 é um avanço significativo na IA musical, pois é o primeiro modelo a alcançar desempenho de ponta em alinhamento texto-música e qualidade musical, mantendo a eficiência computacional.
“Avaliamos extensivamente o JEN-1 em relação a linhas de base de última geração em métricas objetivas e avaliações humanas. Os resultados demonstram que o JEN-1 produz música de qualidade perceptivelmente superior (85.7/100) em comparação com os melhores métodos atuais (83.8/100)”, escreveu o Futureverse.
Criar música a partir de texto é difícil devido à natureza complexa dos arranjos musicais e à necessidade de uma alta taxa de amostragem. De acordo com papel do Futureverse, JEN-1 pode superar esses desafios, pois seu modelo de difusão é baseado em treinamento autorregressivo e não autorregressivo. Isso permite que o JEN-1 gere músicas realistas e criativas.
Por causa de sua eficiência computacional, é possível usar o JEN-1 para gerar música em tempo real, o que abre novas possibilidades para produção musical, performance ao vivo e realidade virtual.
O modelo AI usa um autoencoder especial e modelo de difusão para produzir diretamente áudio estéreo detalhado a uma alta taxa de amostragem de 48kHz. Além disso, o JEN-1 evita a perda habitual de qualidade ao converter recursos de áudio. O modelo é treinado em múltiplas tarefas, incluindo gerar música, continuar sequências musicais e preencher partes faltantes, tornando-o versátil.
JEN-1 também combina habilmente métodos autorregressivos e não autorregressivos para equilibrar a compensação entre capturar dependências em música e gerá-lo de forma eficiente. Além disso, o modelo de IA emprega técnicas de aprendizagem inteligentes e é treinado para lidar com vários aspectos musicais ao mesmo tempo.
JEN-1 versus MusicLM, MusicGen e outros modelos de IA
O Futureverse compara o JEN-1 com os modelos atuais de última geração, como MusicLM do Google e MusicGen do Meta, e demonstra que sua abordagem produz melhores resultados em fidelidade e realismo.
A avaliação foi baseada no desempenho de diferentes modelos no conjunto de teste MusicCaps, que é um conjunto de dados de pares de música e texto. Futureverse usou medidas quantitativas e qualitativas para avaliar os modelos. As medidas quantitativas incluíram a pontuação FAD (Fidelity-Awareness-Disentanglement) e a pontuação CLAP (Continuity-and-Local-Anomaly-Penalties). As medidas qualitativas incluíram avaliações humanas da qualidade e alinhamento da música gerada.
Os resultados mostraram que JEN-1 superou os outros modelos em medidas quantitativas e qualitativas. JEN-1 teve as pontuações FAD e CLAP mais altas e recebeu as pontuações mais altas de avaliadores humanos. Além disso, o JEN-1 foi mais eficiente computacionalmente que os demais modelos, com apenas 22.6% dos parâmetros do MusicGen e 57.7% dos parâmetros do Noise2Music.
JEN-1 é um sinal do crescente potencial da IA na indústria da música. A IA já é usada para criar música, mas o JEN-1 é um passo significativo. É o primeiro modelo a alcançar desempenho de ponta em medidas quantitativas e qualitativas e também é mais eficiente computacionalmente do que os modelos anteriores.
Leia mais:
- As 20 principais amostras de texto para música de IA com prompts de Mubert
- O Google AI anunciou o primeiro gerador de texto para música AudioLM
- MusicLM: um novo modelo de IA de texto para música e imagem para música do Google
- Futureverse une forças com Outlier Ventures para o programa Futureverse Base Camp Accelerator
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Agne é uma jornalista que cobre as últimas tendências e desenvolvimentos no metaverso, IA e Web3 indústrias para o Metaverse Post. Sua paixão por contar histórias a levou a realizar inúmeras entrevistas com especialistas nessas áreas, sempre buscando descobrir histórias emocionantes e envolventes. Agne é bacharel em literatura e possui ampla experiência em redação sobre uma ampla variedade de tópicos, incluindo viagens, arte e cultura. Ela também foi voluntária como editora da organização de direitos dos animais, onde ajudou a aumentar a conscientização sobre questões de bem-estar animal. Entre em contato com ela [email protegido].
Mais artigos

Agne é uma jornalista que cobre as últimas tendências e desenvolvimentos no metaverso, IA e Web3 indústrias para o Metaverse Post. Sua paixão por contar histórias a levou a realizar inúmeras entrevistas com especialistas nessas áreas, sempre buscando descobrir histórias emocionantes e envolventes. Agne é bacharel em literatura e possui ampla experiência em redação sobre uma ampla variedade de tópicos, incluindo viagens, arte e cultura. Ela também foi voluntária como editora da organização de direitos dos animais, onde ajudou a aumentar a conscientização sobre questões de bem-estar animal. Entre em contato com ela [email protegido].