L’architecture de service, clé de l’IA en entreprise

MMarc

À mesure que l’intelligence artificielle passe de l’expérimentation à la production en entreprise, fournir les modèles de façon fiable, économique et à grande échelle dépend de plus en plus de l’architecture et des choix d’ingénierie qui entourent le modèle, selon la MIT Technology Review. Cette architecture de service doit être conçue à partir des contraintes du cas d’usage, plutôt qu’en privilégiant automatiquement le modèle le plus performant. Il faut notamment mesurer la latence, le volume de requêtes, la mémoire, l’utilisation des processeurs graphiques et le coût. Ces paramètres sont liés : la gestion de la mémoire, le traitement simultané des requêtes, leur regroupement et leur planification influencent ensemble les performances et les dépenses en production. Le cache clé-valeur croît avec le nombre de demandes actives et la longueur du contexte ; la mémoire des processeurs graphiques peut donc devenir limitante alors que leur capacité de calcul reste disponible. Une architecture adaptable permet d’évaluer puis d’intégrer un autre modèle ou une nouvelle technique sans reconstruire toute la plateforme. La démarche préconisée consiste à mesurer les performances, repérer le principal goulot d’étranglement, l’optimiser, puis recommencer si une autre contrainte apparaît. Les chercheurs d’EXL décrivent une approche systémique qui relie l’architecture de service à la mémoire, à la concurrence des requêtes, à leur regroupement et à leur planification, ainsi qu’à l’utilisation des processeurs graphiques et à la latence.