TileQuant répartit la précision par tuiles

OOndine

TileQuant est une méthode sans entraînement qui répartit différents niveaux de précision entre des tuiles de poids en deux dimensions, alignées sur le matériel, pour quantifier les grands modèles de langage après leur entraînement, selon arXiv. La publication prend ainsi la tuile comme unité d’allocation, plutôt que la colonne entière, dans une approche à précision mixte destinée au déploiement de ces modèles. Ce choix répond à un constat central : la sensibilité des poids peut varier au sein d’une même colonne, et une colonne entière ne présente donc pas nécessairement un niveau de sensibilité uniforme. Conserver toute cette colonne en haute précision risque alors de protéger des poids moins sensibles que d’autres, au lieu d’adapter la précision aux différentes zones de la matrice. À l’inverse, repérer les poids atypiques pendant le décodage ajoute un coût à cette étape, lorsque le modèle produit ses réponses. TileQuant propose un score tenant compte des activations, calculé hors ligne à partir de statistiques de propagation avant, ainsi qu’un autre score informé par les gradients et la sensibilité de la perte. Les scores sont donc calculés avant l’exécution, et non au moment où le modèle répond ; le cadre vise à répartir la précision entre les tuiles sans nouvel entraînement.