AutoTrust Labs publie un modèle de décision

MMarc

AutoTrust Labs a publié JEV-27B v1.1, un modèle de 27 milliards de paramètres qui renvoie des probabilités pour des choix proposés, plutôt que des réponses en texte libre, selon AlphaSignal. Conçu pour les décisions à options limitées et les réponses par oui ou non, il peut notamment servir à sélectionner un outil ou à classer l’intention d’une demande, mais ne prend pas en charge la génération libre, la planification ni les entrées multimodales. AutoTrust Labs annonce un score de 67,31 points sur Decision Index 0.3, un indice public qui couvre 37 benchmarks. Parmi les résultats rapportés, JEV-27B atteint 97,06 sur CLINC150+OOS et 96,25 sur BFCL ; les résultats annoncés comprennent aussi 93,63 sur BANKING77 et 89,77 sur un simulateur d’appareils domestiques. Le modèle est distribué sous licence Apache-2.0, et l’article indique qu’il a été servi avec vLLM 0.31.0 ; sur un processeur B300, sa latence médiane annoncée est de 64,8 millisecondes. Ces scores ne sont pas accompagnés d’une validation indépendante mentionnée, et le modèle est décrit comme faible sur plusieurs tâches de raisonnement ouvert, notamment GPQA Diamond, HLE et ChessBench. L’article indique enfin que les probabilités doivent être calibrées en fonction de chaque application avant d’être utilisées dans des décisions à forts enjeux, ce qui limite leur interprétation directe comme niveau de confiance fiable.