Pourquoi le batching change le décodage des modèles de langage

OOndine

Le décodage des grands modèles de langage dépend surtout de la bande passante mémoire, plutôt que de la puissance de calcul, selon Brief IA. Pour un modèle de 7 milliards de paramètres en précision FP16, les poids occupent environ 14 gigaoctets. L’article estime qu’une puce H100, avec une bande passante d’environ 3,35 téraoctets par seconde, peut atteindre près de 240 tokens par seconde pour une requête seule, tandis que le calcul reste largement sous-utilisé. Le batching, ou traitement par lots, permet de regrouper plusieurs séquences et de réutiliser la lecture des poids. Mais un lot statique peut perdre beaucoup d’efficacité quand les requêtes n’ont pas la même durée. Dans un exemple de 4 requêtes générant 20, 50, 100 et 500 tokens, le lot attend 500 étapes ; sur 2 000 étapes possibles, 670 seulement correspondent à du travail utile, soit environ 33 % d’utilisation. Le batching dynamique forme les lots à partir d’une file d’attente, selon une taille maximale ou un délai, mais les requêtes restent regroupées pendant l’exécution. La configuration illustrative de NVIDIA Triton Inference Server prévoit un lot maximal de 8, des tailles préférées de 4 et 8, et un délai maximal de 100 microsecondes. Regrouper les séquences peut augmenter le débit sans ajouter de processeur graphique, mais le cache mémoire de chaque séquence grandit pendant la génération et limite la taille des lots.