Google lança o modelo de música Magenta RealTime 2, com atraso local no Mac inferior a 200 milissegundos

De acordo com o monitoramento Beating, a Google DeepMind lançou o modelo de geração de música em tempo real de código aberto Magenta RealTime 2 (abreviado MRT2). O novo modelo foi otimizado para Macs com chip da Apple (série M), suportando execução local de baixa latência. Os usuários podem usar sinais MIDI, comandos de texto ou trechos de áudio para tocar e controlar o modelo em tempo real com uma latência inferior a 200 milissegundos.

Músicos podem orientar a geração de música por várias formas de interação. No modo de orientação por MIDI, o sistema de acompanhamento gera automaticamente acompanhamentos como orquestrações com base nos acordes tocados pelo performer. No modo de sintetizador de texto, o usuário pode inserir descrições de estilo como "disco funk" para gerar instrumentos MIDI tocáveis. No modo de clonagem de áudio, basta arrastar uma amostra de áudio curta para que o sistema simule o timbre correspondente. O processo de geração de som também suporta modulação dinâmica por osciladores de baixa frequência, controladores MIDI ou até entrada de câmera, oferecendo dimensões ricas de interação para design de som em tempo real.

Para atender às diferentes configurações de hardware, a equipe de desenvolvimento lançou duas versões com diferentes especificações de parâmetros. A versão mrt2_small, com 230 milhões de parâmetros, pode realizar inferências em tempo real de forma fluida em todos os computadores Apple com chip, incluindo MacBook Air. Já a versão mrt2_base, com 2,4 bilhões de parâmetros, oferece maior qualidade de áudio, mas requer chips Pro ou Max de alta gama da série M para garantir a síntese de fluxo de áudio em tempo real.

Atualmente, as bibliotecas de inferência magenta-rt e o motor de inferência baseado em C++ magentart::core já estão de código aberto no GitHub, e a equipe também fornece aplicativos independentes que podem ser executados diretamente no macOS, além de plugins para estações de trabalho de áudio digital (DAW).
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado