RollerCoasterTycoonBench : les limites des agents de décision
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Token FM
Token FM, la radio de l'IA, faite par l'IA. Place au dossier.
Victor
Bonjour Elias, Vals AI présente RollerCoasterTycoonBench, un test où des modèles doivent gérer un parc dans RollerCoaster Tycoon 2 ; cinq autres modèles n’ont pas pu participer à cause des limites imposées par leurs fournisseurs. Qu’est-ce que cette évaluation cherche à mesurer ?
Elias
Alors, d’après Vals AI, RollerCoasterTycoonBench place un modèle devant un parc qu’il doit développer pendant 3 années de jeu, avec un objectif de 1 000 visiteurs. Il ne s’agit pas de répondre à une série de questions indépendantes : le modèle reçoit une situation de jeu et choisit parmi des options, dans une partie qui se déroule semaine après semaine. Le benchmark utilise RollerCoaster Tycoon 2 avec OpenRCT2, sans interface graphique. L’état du jeu est transmis sous forme de texte, avec les informations qu’un joueur pourrait voir, notamment les choix de construction et leurs prix. Le compte rendu d’AlphaSignal précise que 5 modèles supplémentaires n’ont pas pu participer, les limites de leurs interfaces empêchant de traiter la longueur des entrées ou le nombre d’options requis. On a donc une évaluation de décisions répétées dans un jeu, à laquelle certains modèles n’ont pas pu être soumis.
Victor
Comment se déroule une partie, et que peut faire le modèle à chaque tour ?
Elias
Une partie dure 96 tours hebdomadaires et commence avec 10 000 dollars en caisse, auxquels s’ajoute un prêt de 10 000 dollars. À chaque étape, le jeu présente des options légales et abordables : construire une attraction, recruter un mécanicien, modifier un prix ou emprunter, par exemple. Le modèle peut ouvrir jusqu’à 6 fenêtres de jeu pendant un tour et effectuer une modification dans chacune avant de décider qu’il a terminé. Les options sont produites par le jeu et leur ordre est mélangé à chaque appel ; le compte rendu explique que le système exécute l’option à laquelle le modèle attribue la probabilité la plus élevée. La situation mise à jour est ensuite présentée pour la décision suivante. Le score prend en compte à la fois l’atteinte des objectifs du parc et sa valeur d’entreprise, ce qui permet de suivre plusieurs aspects du résultat au fil de la partie.
Victor
Pourquoi cinq modèles sont-ils restés à l’écart du test ?
Elias
D’après AlphaSignal, l’état d’un parc mature peut atteindre environ 44 000 tokens. Les fournisseurs de 5 modèles supplémentaires limitaient la longueur des entrées ou le nombre d’options, ce qui les a empêchés de participer. Le modèle reçoit une représentation textuelle de l’état du jeu, avec les informations visibles pour un joueur, ainsi que les options proposées par le jeu. Quand la taille de l’état ou le nombre d’options dépasse les limites imposées par une interface, ces modèles ne peuvent pas prendre part à cette évaluation. Ils ne figurent donc pas au classement et aucun score ne leur est attribué. La comparaison porte ainsi sur les 9 modèles qui ont pu jouer, et non sur l’ensemble des modèles susceptibles d’être concernés.
Victor
Quels modèles ont été évalués, et comment le score départage-t-il leurs résultats ?
Elias
Neuf modèles ont effectué 3 parties chacun, et Decider V1.2, Decider V1.3 ainsi que GPT-6 Luna Decisions ont atteint l’objectif de fréquentation lors d’une partie chacun. Le score accorde la même importance aux objectifs du parc et à sa valeur économique : une moitié dépend de la fréquentation et de la note, l’autre de la valeur de l’entreprise. Vals AI donne à Decider V1.3 la meilleure moyenne, à 71 sur 100. AlphaSignal présente le résultat comme 70,96 %, un chiffre légèrement différent ; les éléments disponibles ne permettent pas de confirmer s’il s’agit d’un arrondi ou d’une différence de présentation. Les résultats correspondent à 3 parties par modèle, et le score combine les critères de fréquentation, de note et de valeur d’entreprise. C’est ce calcul, plutôt que le seul nombre de visiteurs, qui détermine la moyenne annoncée pour chaque modèle.
Victor
Que révèle la stratégie de Decider V1.3, et quelles faiblesses apparaissent chez les autres modèles ?
Elias
AlphaSignal décrit pour Decider V1.3 une stratégie d’emprunt répétée : le modèle a emprunté 5 000 dollars, puis dépensé immédiatement cette somme, 3 fois au cours des 19 premières semaines de chaque partie. Ses parcs ont terminé avec entre 965 et 1 042 visiteurs. Ce sont des comportements observés dans les parties du benchmark, et non une démonstration que la même stratégie réussirait dans d’autres conditions. Vals AI relève aussi que des modèles ont souvent laissé passer des semaines sans agir alors qu’ils pouvaient construire, et que leur confiance déclarée dans l’option choisie ne prédisait pas leur performance. Sept modèles sur 9 ont attiré davantage de visiteurs en moyenne lorsque les prix de construction figuraient dans l’état fourni. Pour Drex Max, la moyenne rapportée passe de 409 visiteurs sans ces prix à 836 avec. Le résultat met donc en évidence une différence associée à la présence des prix, sans établir à lui seul pourquoi les modèles ont réagi ainsi.
Victor
Quelles réserves faut-il garder en tête avant de tirer une conclusion du classement ?
Elias
Les résultats concernent 9 modèles ayant joué 3 parties chacun. Trois modèles ont atteint 1 000 visiteurs une fois chacun ; cette observation ne renseigne pas, à elle seule, sur la régularité de leurs résultats au-delà de ces essais. Cinq modèles supplémentaires n’ont pas pu participer à cause des limites d’entrée ou du nombre d’options. AlphaSignal présente par ailleurs des formulations difficiles à concilier : son résumé dit que 6 modèles ont échoué à atteindre l’objectif, tandis que le développement précise que 5 modèles n’ont pas pu participer et que 3 des 9 modèles évalués ont atteint 1 000 visiteurs une fois chacun. On ne peut donc pas déduire de ces formulations combien de modèles ayant effectivement joué n’ont jamais atteint l’objectif. Enfin, le score global inclut aussi la note et la valeur de l’entreprise, pas seulement la fréquentation. Le classement décrit donc les résultats obtenus dans ce benchmark et avec les modèles qui ont pu y participer.
Victor
Qu’est-ce qu’il faut retenir de ce benchmark pour évaluer des agents de décision ?
Elias
RollerCoasterTycoonBench met des agents de décision face à une tâche suivie : le parc évolue d’un tour à l’autre, avec un objectif de fréquentation et une mesure de valeur économique. Le benchmark donne aussi des exemples de comportements observés, comme les semaines sans action, l’association entre les prix de construction affichés et la fréquentation moyenne, ou la stratégie d’emprunt de Decider V1.3. Vals AI indique que chaque partie comporte 96 tours hebdomadaires et que les modèles disposent de plusieurs fenêtres de jeu pour effectuer des modifications. AlphaSignal précise que 5 modèles supplémentaires n’ont pas pu participer, notamment à cause des limites portant sur la longueur des entrées ou le nombre d’options. L’évaluation porte donc sur 9 modèles, avec 3 parties chacun, et ne couvre pas ceux qui n’ont pas pu être testés. À retenir : c’est un benchmark concret de décisions successives dans RollerCoaster Tycoon 2, avec des résultats à lire dans le cadre de ses règles et de ses contraintes techniques.
Victor
Merci Elias pour ces explications.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.