Des tuteurs de maths évalués par dialogue

MMarc

MISCONCEPTDIALOGUE évalue cinq tuteurs de mathématiques fondés sur des modèles de langage à poids ouverts, dans plus de 5 000 dialogues avec des élèves simulés, selon arXiv. Les modèles testés comptent entre 7 et 14 milliards de paramètres. L’étude examine si un même tuteur peut détecter une erreur mathématique, diagnostiquer la méconception sous-jacente et tenter d’y remédier au fil d’un échange. Elle s’intéresse donc à plusieurs étapes liées entre elles : repérer l’erreur, en identifier la cause possible, puis répondre dans le dialogue. L’évaluation ne se limite pas à un test isolé de réponse : elle porte sur les capacités mobilisées au cours de ces conversations simulées. Les auteurs précisent toutefois que les interlocuteurs sont des élèves simulés par des modèles de langage, et que le protocole ne permet pas de conclure à un apprentissage chez de vrais élèves. Les résultats ne démontrent donc pas que les tuteurs améliorent les connaissances en mathématiques ni qu’ils sont efficaces en classe ; ils portent sur les tâches évaluées dans ce dispositif. Le résumé disponible annonce également un constat critique sur la notation par correspondance exacte, utilisée dans des benchmarks de traitement automatique des mathématiques, sans en préciser les résultats. La portée de l’étude reste ainsi celle d’une évaluation de tuteurs en dialogue simulé, et non d’une mesure de leurs effets sur l’apprentissage réel.