Évaluer les simulateurs de trajectoires aux urgences

MMarc

Les auteurs présentent EDSim-Bench, un protocole qui évalue les simulateurs de trajectoires aux urgences en leur demandant de générer la suite d’une visite, selon arXiv. Au lieu de mesurer uniquement leur capacité à prédire l’événement suivant à partir d’un historique observé, le protocole les évalue lorsqu’ils poursuivent eux-mêmes le déroulement d’une visite. Cette évaluation en boucle fermée permet d’examiner une trajectoire générée, plutôt qu’une seule prédiction à la fois, et de voir comment le simulateur enchaîne les événements après un préfixe fourni. Concrètement, elle part de préfixes de visites mis de côté, puis examine si la visite générée se termine, quels événements la composent et à quel moment ils surviennent. Elle mesure aussi la fidélité conditionnelle des trajectoires et la prévision de l’occupation, afin de décrire différents aspects du déroulement simulé. EDSim-Bench s’appuie sur 425 028 séjours de MIMIC-IV-ED et fait l’objet d’une réplication externe sur MC-MED, ce qui ajoute un second jeu de données à l’évaluation. Un modèle n-gramme d’ordre 3, entraîné uniquement sur les données d’entraînement, sert de référence ; les auteurs mettent également à disposition le protocole et le code de notation.