Les prompts changent les scores des modèles

OOndine

Une étude menée à Stanford et relayée par AlphaSignal indique que l’intégration de DSPy à HELM améliore de 6 % en moyenne les résultats aux benchmarks, en remplaçant un prompt statique par des variantes structurées. Ce résultat souligne que les scores dépendent aussi de la consigne présentée au modèle pendant l’évaluation, et pas uniquement du modèle lui-même. Quand les prompts sont mieux adaptés, les classements changent sur 5 des 7 benchmarks évalués. Les modèles de raisonnement, comme o3 Mini, sont au contraire peu sensibles aux variations de prompt. Les gains proviennent surtout du raisonnement en chaîne de pensée utilisé sans exemple préalable ; les optimiseurs BFRS et MIPROv2 ajoutent des jetons sans améliorer la précision. Ces résultats montrent qu’un changement de prompt peut modifier les scores et l’ordre des modèles dans les classements, ce qui invite à tenir compte du protocole d’évaluation pour interpréter les performances publiées. Le code est publié sous la forme d’une demande d’intégration à HELM et d’un pipeline autonome nommé dspy-helm ; ces ressources donnent accès à l’intégration et à son fonctionnement, sans garantir que les classements d’autres évaluations évolueront de la même façon.