ThinkingBox-Training, entraîner les agents avec des contrôles de bases de données

MMarc

ThinkingBox-Training, publié sur GitHub par Microsoft et Hugging Face, transforme des vérifications de bases de données en récompenses pour le post-entraînement d’agents, selon Hugging Face. La méthode compare l’état final d’une base à l’état attendu. Les résultats de vérifications exécutables servent alors de signal de récompense. Les tâches utilisées pour entraîner les agents sont extérieures au benchmark ThinkingBox-Bench. Concrètement, cette méthode pourrait être utile aux équipes qui entraînent des agents sur des tâches où le résultat dépend de l’état final d’une base de données. Le contrôle porte sur ce résultat : il permet de vérifier si la base se trouve dans l’état attendu, plutôt que de s’appuyer uniquement sur les actions de l’agent. Les vérifications ne servent donc pas seulement à évaluer une tâche. Elles peuvent aussi contribuer à l’entraînement. Les auteurs ont testé cette méthode sur Qwen3.8-27B, avec 50 étapes de GRPO. Sur ThinkingBox-Bench, composé de 507 tâches évaluées chacune 20 fois, la réussite moyenne passe de 51,70 % à 60,78 %. Le nombre de tâches réussies à chacune des 20 tentatives enregistrées augmente de 38 à 107. Le résultat est moins net sur la couverture. Les auteurs indiquent que les réussites deviennent plus répétables, mais que le nombre de tâches réussies au moins une fois diminue légèrement. Le gain observé concerne donc la répétabilité dans ce test. Il ne signifie pas que davantage de tâches différentes sont résolues. Ces résultats portent sur un modèle et un entraînement précis ; ils ne permettent pas de conclure que d’autres agents obtiendraient le même résultat.