SpireBench met les modèles à l’épreuve de la stratégie au long cours

MMarc

SpireBench évalue 20 grands modèles de langage en leur faisant jouer à Slay the Spire, afin d’étudier leur capacité à prendre des décisions stratégiques sur une longue durée, selon arXiv. La publication décrit des parties où les choix du début peuvent peser sur les chances de réussite plus tard. L’évaluation porte sur des parties complètes, à la difficulté maximale. On peut penser à une longue randonnée : les décisions ne consistent pas seulement à réagir à l’obstacle devant soi. Elles peuvent aussi influer sur les possibilités de poursuivre le trajet. Dans Slay the Spire, le même principe rend les choix initiaux importants pour la suite de la partie. Les chercheurs ont comparé 20 modèles et examiné leurs résultats sur cette tâche de longue durée. L’objectif est de mesurer comment leurs décisions se traduisent dans le jeu, où les conséquences peuvent s’accumuler au fil d’une partie, plutôt que de s’en tenir à des tâches brèves et isolées. Le résultat est contrasté. Les modèles de pointe dépassent les stratégies heuristiques, c’est-à-dire des méthodes fondées sur des règles simples. Ils atteignent aussi le niveau moyen des joueurs humains, mais restent nettement en dessous des experts. Les meilleurs modèles remportent le premier acte aussi souvent que les experts. Ils ne maintiennent toutefois pas ce niveau sur la suite de la partie et finissent par être distancés. L’étude indique aussi que la qualité de leur jeu pendant chaque combat distingue les modèles les plus performants des moins performants. Les chercheurs relèvent un autre point : tous les modèles évalués jugent mal le risque sur l’ensemble d’une partie. Ils ont tendance à préserver leur santé plutôt qu’à en dépenser pour devenir plus forts. La publication indique également qu’une partie de leurs résultats repose sur des connaissances préalables du jeu. Ces résultats concernent les performances mesurées dans Slay the Spire. Ils montrent que réussir aussi bien que les experts au premier acte ne suffit pas à maintenir ce niveau lorsque la partie se prolonge.