CrowdCC évalue les modèles de comptage de foule

MMarc

CrowdCC est un benchmark présenté par des chercheurs pour évaluer ensemble les effets des corruptions d’images et de la quantification sur les modèles de comptage de foule, selon arXiv. L’évaluation porte sur 26 modèles et 4 jeux de données, afin de comparer leur comportement dans plusieurs conditions plutôt que dans un seul scénario. Au total, le benchmark applique 23 corruptions liées au déploiement, réparties en 6 familles et examinées à 3 niveaux de sévérité. Ces altérations concernent les images utilisées par les modèles ; lorsque la géométrie ou la visibilité des têtes change, les annotations correspondantes sont ajustées. La quantification post-entraînement est également évaluée avec TensorRT sur A100, selon 3 précisions : FP32, FP16 et INT8. Le protocole associe donc les variations des images à plusieurs formats de calcul, pour observer les modèles sous ces différentes conditions. CrowdCC ajoute des mesures de débit et de consommation énergétique sur des configurations Jetson Orin NX correspondantes, ce qui complète les évaluations de précision par des mesures liées à l’exécution.