Test de l'aiguille dans une botte de foin

TThéa

Le test de l’aiguille dans une botte de foin vérifie si un modèle d’intelligence artificielle retrouve une information précise, cachée dans un long texte rempli d’éléments sans rapport. Imaginez une pile de documents sur des recettes, des voyages et des factures, où une ligne indique le code secret d’une boîte : le test consiste à poser une question sur cette ligne et à voir si le modèle la retrouve. C’est utile parce que les assistants peuvent recevoir de longs documents ou des conversations, et qu’une réponse juste dépend parfois d’un détail enfoui loin du début ou de la fin. L’épreuve aide à repérer si le modèle perd une information importante quand le contexte devient volumineux. Mais réussir ce test ne prouve pas que le modèle comprend vraiment le document, ni qu’il retrouvera toujours l’information en situation réelle : la formulation de la question, la place du détail et la difficulté du contenu peuvent changer le résultat.