VieNeu-TTS v3 Turbo, synthèse vocale vietnamienne en open source

OOndine

VieNeu-TTS v3 Turbo est un modèle open source de synthèse vocale entraîné pour l’anglais et le vietnamien, selon AlphaSignal. Entraîné de zéro sur environ 10 000 heures de parole dans ces 2 langues, il compte près de 100 millions de paramètres et est publié sous licence Apache-2.0, qui encadre son utilisation et sa modification. Le modèle produit de l’audio à 48 kilohertz et propose 23 voix couvrant les dialectes du nord, du centre et du sud du Vietnam, ainsi qu’une fonction de clonage vocal instantané. La version Turbo prend également en charge le mélange de l’anglais et du vietnamien, des indications d’émotion intégrées au texte et une interface de programmation compatible avec OpenAI. Pour l’inférence sur processeur central, VieNeu-TTS utilise ONNX Runtime, sans PyTorch ; sur processeur graphique avec CUDA, il s’appuie sur PyTorch et l’exécution par lots. Le modèle est distribué aux formats ONNX, Safetensors et GGUF, qui correspondent à différentes options de déploiement, notamment selon le matériel utilisé. Le projet annonce jusqu’à 16 flux en temps réel sur une carte graphique RTX 3060, avec environ 115 millisecondes de latence avant le premier audio ; ces performances restent celles annoncées pour cette configuration, tandis que les voix régionales et le mélange des langues complètent les fonctions de synthèse proposées.