BD-HazardVLM teste le raisonnement des modèles sur les routes bangladaises

MMarc

BD-HazardVLM, présenté dans une étude publiée sur arXiv, est un benchmark diagnostique conçu pour évaluer comment les modèles de vision-langage détectent les dangers et raisonnent sur des scènes routières bangladaises. Il réunit 500 images : 375 proviennent de RSUD20K et 125 de TFP-BD, deux ensembles de scènes de circulation du Bangladesh. Les annotations décrivent la présence et la catégorie des dangers, le moment où ils surviennent et leur gravité. Elles recensent aussi les actions défensives, les indices visibles dans les images et des pièges destinés à tester les hallucinations ainsi que les biais liés aux routes occidentales. L’étude évalue Qwen2.5-VL-7B, InternVL3-8B et MiniCPM-V-4.6 avec une même consigne zéro-shot, c’est-à-dire sans exemple fourni, et un format de réponse structuré. Pour la seule détection de la présence d’un danger, les trois modèles obtiennent entre 88,0 % et 89,2 % de précision. Ce résultat est proche des 89,0 % de la référence qui choisit systématiquement la classe majoritaire : sur cette tâche binaire, les scores des modèles ne s’en écartent donc que faiblement. En revanche, l’étude indique que leurs performances sont nettement plus faibles pour le raisonnement détaillé, qui demande d’aller au-delà du simple repérage d’un danger et de traiter les autres éléments décrits dans les annotations.