KiToke compresse les tokens vidéo

MMarc

KiToke est une méthode de compression sans entraînement qui sélectionne et fusionne des tokens visuels avant le préremplissage des modèles vidéo, sans modifier leurs poids, selon AlphaSignal. En ne conservant que 1 % des tokens, elle maintient 89,2 % des performances de référence sur LLaVA-OneVision, soit 7 points de mieux que la meilleure méthode antérieure citée. La compression intervient avant le préremplissage, l’étape où le modèle prépare les éléments de la vidéo pour les traiter. Pour décider quels tokens garder, KiToke estime leur densité à l’échelle de la vidéo à l’aide d’une estimation par noyau, plutôt que de les sélectionner uniquement à partir d’images isolées. La méthode adapte aussi les intervalles temporels afin d’éviter de fusionner des tokens situés de part et d’autre d’une coupure de scène ou d’un changement sémantique. Les évaluations couvrent LLaVA-OneVision, LLaVA-Video et Qwen3-VL, avec des modèles allant de 0,5 à 72 milliards de paramètres. Sur un processeur graphique A100, le préremplissage est accéléré par 12,5, et KiToke affiche le surcoût de compression le plus faible parmi les méthodes testées. Ces résultats portent sur des évaluations de modèles et montrent qu’une forte réduction du nombre de tokens peut s’accompagner de performances mesurées proches de la référence, sans établir pour autant un résultat généralisable à tous les systèmes vidéo.