Mesurer l’inférence sur Kubernetes

OOndine

The New Stack recommande de mesurer plusieurs indicateurs des services d’inférence sur Kubernetes, dans un article sponsorisé par HPE. Pour évaluer un service conversationnel, les équipes devraient suivre le délai avant le premier jeton, le temps nécessaire pour générer chaque jeton, la fiabilité et la capacité. Elles devraient aussi mesurer l’efficacité des ressources utilisées, le coût du service et la qualité des réponses, plutôt que de se limiter à l’activité de l’infrastructure. Avant la mise en production, elles devraient profiler le système avec des prompts, des longueurs de contexte, des volumes de sortie et des niveaux de trafic représentatifs. Ces mesures initiales peuvent ensuite servir de référence pour comparer les performances observées en production et repérer les écarts. Il faut également mettre en relation la latence et le débit de l’inférence avec les performances et la capacité de l’infrastructure. Cette comparaison peut aider à distinguer une hausse de la demande d’une contention des ressources, et à mieux anticiper les besoins de capacité. L’enjeu est donc de suivre le délai, la fiabilité, la qualité et le coût des réponses, ainsi que les ressources mobilisées pour les produire.