Des datacenters adaptés à l’inférence

LLéna

LeMagIT souligne que les datacenters consacrés à l’intelligence artificielle doivent être conçus en fonction des besoins de l’inférence, plutôt que reprendre systématiquement les infrastructures destinées à l’entraînement. Quand une application passe en production, l’infrastructure doit répondre aux demandes qu’elle reçoit, avec un matériel adapté et des temps de réponse compatibles avec son usage. Les charges d’inférence varient selon les objectifs de latence, la localisation, les profils de demande et la densité des racks ; les grands clusters conçus pour entraîner des modèles ne sont donc pas toujours adaptés ni économiques pour ces déploiements. Le choix des équipements dépend aussi de la tâche : les petites applications d’entreprise s’appuient davantage sur les processeurs pour le prétraitement, la gestion des requêtes et l’orchestration, tandis que les processeurs graphiques sont surtout nécessaires aux modèles génératifs de grande taille. Il ne s’agit donc pas de remplacer partout les processeurs par des processeurs graphiques, ni de reprendre automatiquement une architecture conçue pour l’entraînement : les besoins matériels diffèrent selon les charges et les usages. Pour dimensionner une infrastructure d’inférence, les équipes doivent partir du trafic attendu et des objectifs de temps de réponse de l’application. Ces deux critères permettent de relier la capacité prévue aux demandes de l’application et aux délais visés, tandis que la localisation et la densité des racks font également partie des paramètres à prendre en compte. La conception dépend ainsi des caractéristiques de la charge d’inférence, plutôt que d’une configuration unique appliquée à tous les déploiements.