StudentBench : l’IA face au tutorat humain

SSacha

StudentBench est une suite d’évaluations et une plateforme publique consacrées au tutorat par intelligence artificielle, d’après arXiv. Elle a recueilli plus de 175 000 messages échangés entre des étudiants et une intelligence artificielle, pour étudier les progrès réalisés pendant l’apprentissage. Dans l’étude principale, 2 383 participants ont travaillé sur des questions de mathématiques et de verbal du GRE, avec un tuteur par intelligence artificielle, un tuteur humain ou sans tutorat. Les chercheurs rapportent que les progrès obtenus avec l’IA sont statistiquement équivalents à ceux d’un tuteur humain expert. Et dans 5 des 7 domaines du GRE, le meilleur tuteur par IA a même obtenu des résultats moyens supérieurs à ceux du tuteur humain.

SSacha

Alors, il y a deux volets, et c’est important de ne pas les confondre. Le premier porte sur les gains d’apprentissage : les participants ont travaillé sur des questions de mathématiques et de verbal du GRE, avec des conditions de tutorat différentes, ou sans tuteur. Les auteurs ont ensuite comparé les résultats pour déterminer si les progrès liés à l’IA étaient équivalents à ceux du tutorat humain expert. Le deuxième volet examine plutôt la qualité des supports pédagogiques produits par des modèles de langage. Des tuteurs humains experts ont évalué des plans de cours et des exercices au moyen de 2 028 comparaisons par paires. On teste donc à la fois l’effet sur les apprentissages et la qualité de certains contenus, mais avec deux expériences distinctes.

SSacha

Le résultat le plus frappant concerne un tuteur par intelligence artificielle qui a produit des gains d’apprentissage équivalents à ceux du tutorat humain. Dans cette comparaison, les chercheurs calculent un coût de 0,0052 dollar par point de pourcentage gagné avec l’IA, contre 4,81 dollars avec le tutorat humain. Ils indiquent que le coût par point gagné est donc 918 fois inférieur pour l’IA. C’est un écart considérable, mais il faut le lire comme un résultat associé à cette étude, et non comme un tarif universel pour toutes les formes de tutorat. Cela donne une indication sur le potentiel de ces outils pour accompagner des exercices de préparation au GRE, pas la preuve qu’ils remplacent partout un accompagnement humain.

SSacha

La première limite, c’est le périmètre : l’expérience porte sur des questions de mathématiques et de verbal du GRE. Elle ne suffit donc pas à établir que l’IA égale un tuteur humain dans toutes les matières, pour tous les élèves ou dans toutes les situations. Il faut aussi distinguer les résultats moyens de ceux du meilleur tuteur par IA : les auteurs signalent que celui-ci dépasse le tuteur humain dans 5 domaines sur 7, pas dans l’ensemble des domaines. Et les 2 028 évaluations portent sur des plans de cours et des exercices, pas sur une mesure directe des progrès des 2 383 participants. Bon, les chercheurs rapportent une équivalence statistique, mais cela ne veut pas dire que chaque étudiant reçoit la même aide, ni que chaque modèle fonctionne aussi bien.

SSacha

Il faut retenir une démonstration encourageante, mais circonscrite. Dans les expériences présentées, un tutorat par intelligence artificielle peut conduire à des gains comparables à ceux d’un tuteur humain expert sur des questions du GRE. L’écart de coût rapporté par les chercheurs est lui aussi très marqué, ce qui rend la piste intéressante pour proposer de l’entraînement à grande échelle. Mais les chiffres ne répondent pas à toutes les questions : ils ne disent pas si l’IA convient à chaque élève, ni si elle peut reproduire toute la relation pédagogique avec un humain. StudentBench apporte donc des éléments de comparaison utiles, avec une plateforme publique et un grand ensemble de messages, sans établir une équivalence générale entre les deux formes de tutorat.