vLLM Semantic Router lance d3-ultra

OOndine

Mardi, vLLM Semantic Router a publié d3-ultra, un modèle décisionnel multimodal à poids ouverts, sous licence Apache-2.0, selon MarkTechPost. Contrairement à un modèle conçu pour rédiger une réponse, d3-ultra analyse une entrée et renvoie des probabilités pour répondre à plusieurs questions. Le modèle compte 26,09 milliards de paramètres, dont 0,46 milliard pour son encodeur visuel, et accepte jusqu’à 131 072 tokens par question. Cette capacité de traitement s’accompagne donc de réponses sous forme de probabilités, plutôt que de texte rédigé. Dans le test privé SR-Text, conçu par l’équipe, d3-ultra obtient 87,2 points, le meilleur résultat parmi les 6 modèles décisionnels comparés. Il atteint aussi 97,8 points sur les tâches d’outils et d’automatisation, dans cette même évaluation. Mais les résultats sont moins favorables pour le repérage d’objets : sur SR-Box, d3-ultra atteint 58,2 % sur 10 domaines, contre 60 % pour d3-turbo, et 54,6 % sur 9 domaines, contre 59,6 % pour ce même modèle. Ces évaluations ont été conçues par l’équipe et ne constituent pas une évaluation indépendante. Le modèle a été testé avec des poids BF16 sur un accélérateur AMD Instinct MI325X. Aucune version quantifiée officielle n’est indiquée, ce qui ne permet pas de préciser les performances d’une telle version.