Des explications plus fiables pour le suivi des connaissances

OOndine

Une étude publiée sur arXiv propose un protocole pour évaluer à la fois la performance prédictive des modèles de suivi des connaissances et la stabilité et la fidélité de leurs explications, cette dernière étant mesurée par réentraînement. Les auteurs ont créé 13 caractéristiques comportementales réparties en 5 thèmes pédagogiques à partir des jeux de données ASSISTments 2009 et 2012. Ces caractéristiques reposent sur les interactions antérieures ; le temps de réponse à l’exercice en cours est réservé aux analyses rétrospectives, car cette donnée n’est disponible qu’après coup. En reconstruisant ASSISTments 2009, l’étude révèle que la version skill-builder enregistrait plusieurs fois une même interaction lorsqu’elle concernait plusieurs compétences ; chaque ligne répétait le résultat correct ou incorrect. Cette duplication faisait entrer la réponse dans les caractéristiques calculées à partir des interactions précédentes. La reconstruction a fait baisser l’AUC et changé le classement des explications. Pour comparer les approches, l’étude met en regard XGBoost, expliqué avec TreeSHAP, et 4 modèles profonds, DKT, SAKT, AKT et SimpleKT ; le protocole aligne les informations accessibles et limite XGBoost aux données déductibles des identifiants et des réponses correctes employés par ces modèles. Avec ses caractéristiques comportementales, XGBoost atteint une AUC de 0,777 sur ASSISTments 2012 et de 0,786 sur ASSISTments 2009 reconstruit ; sans le temps de réponse actuel, ses scores sont de 0,771 et 0,775. Quand les modèles reçoivent les mêmes informations, XGBoost et les modèles profonds obtiennent des scores proches : 0,697 contre 0,700, puis 0,717 contre 0,720. Ces écarts montrent que l’accès à davantage d’informations peut modifier la comparaison des performances.