Xiaomi lança OmniVoice de código aberto: um modelo de clonagem de voz que cobre 646 idiomas, treinado com dados totalmente de código aberto para superar sistemas comerciais

De acordo com o monitoramento Beating, o Xiaomi AI Laboratory lançou uma nova geração da equipe Kaldi de código aberto OmniVoice, um modelo de clonagem de voz zero-shot TTS (texto para fala) que suporta 646 idiomas. Com poucos segundos de áudio de referência, é possível clonar a tonalidade, inclusive em múltiplos idiomas: forneça uma gravação em chinês, e o modelo pode falar em japonês, coreano ou outros idiomas usando a mesma voz. Todo o código, pesos e dados de treino estão abertos, sob licença Apache-2.0.

Na arquitetura, o OmniVoice segue uma abordagem minimalista. O modelo consiste apenas em um Transformer bidirecional, que mapeia diretamente do texto para tokens acústicos de código múltiplo (codificação discreta de som), sem precisar de uma pipeline de duas etapas que primeiro gera tokens semânticos e depois tokens acústicos. Dois elementos-chave sustentam essa estrutura simples: uma estratégia de máscara aleatória de código múltiplo para aumentar a eficiência do treino, e a inicialização com parâmetros pré-treinados de grandes modelos de linguagem para melhorar a precisão da pronúncia. A velocidade de inferência é 40 vezes mais rápida que o tempo real, rodando diretamente em PyTorch sem necessidade de otimizações adicionais.

Os dados de treino vêm de 50 conjuntos de dados de voz de código aberto, totalizando 580 mil horas após filtragem de ruído e qualidade. Para línguas de poucos recursos, é utilizado um método de amostragem dinâmica para garantir a eficácia do treino. Em testes com 24 idiomas, o OmniVoice superou vários sistemas comerciais em similaridade e inteligibilidade da voz. Em testes com 102 idiomas, a inteligibilidade foi próxima ou até superior à gravação real. Línguas com menos de 10 horas de dados de treino também podem ser sintetizadas.

Além da clonagem de voz, o modelo suporta a personalização do timbre por descrição textual (como “homem, de meia-idade, tom extremamente baixo” ou “mulher, jovem, sotaque de Sichuan”), redução automática de ruído com áudio de referência, inserção de símbolos de tom e emoção como risadas ou suspiros, além de correções na pronúncia de caracteres polissêmicos em chinês e nomes próprios.