Prefrontal AI et l’ETH Zurich présentent LSA

LLéna

Prefrontal AI et l’ETH Zurich présentent Latent Sparse Attention, une méthode qui regroupe les clés dans un espace latent appris pour que les requêtes recherchent des groupes, plutôt que chaque clé individuellement, selon AlphaSignal. À 10 millions de tokens, les chercheurs indiquent que sa variante D-LSA réalise le préremplissage 22,7 fois plus vite que l’attention sparse de GLM-5.3-Flash et 72,4 fois plus vite que l’attention complète de Qwen. Ces chiffres comparent le préremplissage, et décrivent les résultats annoncés pour ces deux approches de référence. Ils ne permettent pas, à eux seuls, de conclure que les mêmes gains sont obtenus dans d’autres configurations. La variante N-LSA vise l’entraînement de modèles : les chercheurs rapportent une précision comparable à celle de l’attention complète et un entraînement par couche 1,6 fois plus rapide à 128 000 tokens, lors d’un entraînement depuis zéro. Le coût de sélection des clés reste un enjeu dans les approches sparse : les chercheurs indiquent que l’indexeur représente environ 98 % du temps d’exécution d’une couche d’attention sparse de GLM-5.3-Flash à 10 millions de tokens. Prefrontal AI publie le code, les poids, une intégration pour SGLang et des noyaux pour les NVIDIA H200 et B300. Les performances rapportées reposent sur les comparaisons annoncées par les chercheurs ; elles restent donc à apprécier au-delà de ces comparaisons.