Le cache réduit les coûts, mais peut créer un double péage

LLéna

Les tokens mis en cache sont facturés à un dixième du tarif normal, mais les différences de fenêtres et de prix peuvent compliquer les économies, selon Brief IA. Les durées citées varient selon le service : une heure pour les applications Claude sur abonnement, cinq minutes pour l’interface de programmation d’Anthropic, environ cinq à dix minutes pour ChatGPT et trente minutes pour l’interface de programmation d’OpenAI. Une fenêtre plus longue permet au cache de rester disponible plus longtemps, mais, lorsqu’elle expire, le modèle peut devoir retraiter l’historique de la conversation. Cela peut augmenter le coût des appels, même si des tokens déjà traités pouvaient auparavant être réutilisés au tarif réduit. Le recours à des sous-agents présente aussi un risque : si leur tâche dépasse la fenêtre de cache, l’agent principal peut devoir recalculer le contexte. Ce recalcul peut donc réduire l’économie attendue, sans qu’elle disparaisse nécessairement dans tous les cas. Les tarifs des modèles varient également : entre modèles d’une même gamme, l’écart peut atteindre un facteur dix, ce qui rend le choix du modèle important pour maîtriser les dépenses. Pour limiter la facture, il est conseillé d’adapter le modèle à chaque tâche, de transmettre un contexte restreint aux sous-agents et de leur confier des missions ciblées.