llama.cpp améliore l’inférence et l’audio

MMarc

Le projet llama.cpp publie la version 0.9.0, une mise à jour qui ajoute notamment la quantification OCP FP8 E4M3 et une opération destinée à rendre le cache KV unifié plus efficace en inférence multi-séquence, selon GitHub. Cette sortie prend aussi en charge 4 nouvelles architectures : Clover, Limite, Metis-1.6 et Mistral Large 4. Pour les personnes qui utilisent ces modèles avec llama.cpp, cela élargit les architectures compatibles. La mise à jour étend également les fonctions de génération et de transcription audio. Elle ajoute la prise en charge de Chatterbox TTS et de Nemotron 3.5 Transcribe, ainsi que des voix prédéfinies pour Pocket TTS. Les modèles Gemma 4 E2B et E4B bénéficient d’optimisations importantes du préremplissage. La version comprend aussi une interface de copie de tenseurs par lots. Ces ajouts concernent différentes fonctions du logiciel, de la gestion du cache en inférence multi-séquence aux usages audio. Le composant ggml passe à la version 0.29.0. Cette mise à jour ajoute notamment la quantification FP8 E4M3 et le parallélisme tensoriel entre plusieurs nœuds, fondé sur NCCL. Elle apporte aussi des améliorations de performances sur plusieurs plateformes matérielles. La version réunit donc des ajouts pour de nouvelles architectures, l’audio et le traitement de modèles Gemma 4. Les notes de version de GitHub décrivent les fonctions ajoutées, mais ne donnent pas de mesure chiffrée de leurs performances. L’ampleur des bénéfices en pratique peut donc dépendre des modèles et des configurations utilisés.