Whistle face à Whisper Base

OOndine

Dans des essais sur des échantillons de LibriSpeech, le modèle vocal Whistle de Cactus Compute devance Whisper Base avec le décodage glouton sur test-other, mais aucun écart significatif n’apparaît avec la recherche par faisceau, selon MarkTechPost. Les résultats varient donc selon la méthode de transcription et ne démontrent pas une supériorité générale de Whistle sur Whisper Base. La comparaison porte sur des extraits des ensembles test-clean et test-other, et non sur une évaluation complète des jeux de données. Le test indique aussi que l’avantage de vitesse de Whistle sur Whisper diminue lorsque les extraits audio s’allongent. Une autre limite concerne la durée traitée : le moteur testé utilise une fenêtre de 30 secondes et peut omettre sans avertissement la partie centrale d’un audio plus long. Les mesures présentées proviennent d’essais ponctuels réalisés sur un ordinateur Apple M4. Les chiffres publiés pour l’ensemble des jeux de données sont cités dans le test, mais n’ont pas été mesurés par ses auteurs. Ces observations renseignent donc sur les performances dans les conditions testées, sans permettre de trancher sur une comparaison générale entre les deux modèles ; pour les audios dépassant la fenêtre de traitement, une partie de la transcription peut manquer sans que le moteur le signale.