Cache de prompt

TThéa

Un cache de prompt conserve le résultat du calcul associé à une partie d’un prompt, pour éviter de refaire ce travail quand elle revient. Imaginez une recette familière : au lieu de relire chaque fois toutes les étapes, vous reprenez directement au bon endroit. Dans un modèle d’intelligence artificielle, cela peut concerner le début commun de plusieurs demandes, comme des consignes ou un document fourni à chaque question. Le système peut alors répondre plus vite et utiliser moins de ressources pour traiter les passages déjà calculés, ce qui peut réduire le coût d’une requête. Mais ce cache n’est pas une mémoire qui comprend ou se rappelle les échanges : il réutilise un calcul, sous certaines conditions. Si le texte partagé change, ou si le service ne reconnaît pas la partie identique, le calcul doit recommencer.