StateBench teste le suivi d’état des modèles

LLéna

L’Allen Institute for AI, Ai2, a publié StateBench pour mesurer si les modèles de langage savent suivre des informations qui changent au fil de longs documents. La question est simple à formuler : après une suite de mises à jour, le modèle peut-il retrouver l’état final d’une variable, d’un objet ou d’un personnage ? Pour le tester, les chercheurs ont construit des tâches réparties en 4 niveaux de difficulté. Au plus simple, une valeur ne change jamais. Au niveau suivant, elle peut être remplacée : comme un thermostat, c’est le réglage le plus récent qui compte. Les tâches plus difficiles demandent de tenir compte de changements qui dépendent des valeurs précédentes. C’est un peu comme suivre plusieurs échanges d’un objet : si une personne donne un sac qui contient déjà un couteau, il faut garder en mémoire toute la chaîne pour savoir qui possède quoi. StateBench permet ainsi de comparer des modèles sur des problèmes de difficulté croissante, dans des séquences de plus en plus longues. Selon AlphaSignal, les modèles de pointe testés atteignent 13 % de précision, ou moins, sur les tâches les plus difficiles. Dans des essais contrôlés, des modèles récurrents appelés Gated DeltaNet et des modèles hybrides ont été entraînés sur des séquences allant jusqu’à 256 affectations. Ils ont ensuite conservé de bonnes performances sur plusieurs tâches jusqu’à des séquences de plusieurs dizaines de milliers d’affectations. L’évaluation allait jusqu’à 64 000 affectations. Les transformers entraînés dans ces essais, eux, n’ont pas résolu le niveau général fini. Le résultat ne signifie pas que tous les modèles échouent à suivre une information dans un long texte : les performances dépendent du type de mise à jour et de la difficulté de la tâche. Dans l’article déposé sur arXiv, les auteurs indiquent que les modèles préentraînés évalués ne résolvent pas de façon robuste même le suivi d’état soluble.