Kairos, une architecture expérimentale au niveau des octets

MMarc

Kairos est une architecture expérimentale conçue pour traiter plusieurs modalités dans un espace commun au niveau des octets, présentée dans un rapport publié sur arXiv. Le modèle vise le texte, les images, l’audio, la vidéo, les flux lidar et les commandes, qui sont traités dans ce même espace de représentation. Son entraînement utilise un objectif de débruitage à bruit uniforme, appliqué à ces contenus représentés sous forme d’octets. Pour organiser le traitement, Kairos combine une attention linéaire bidirectionnelle gated-DeltaNet et une attention à fenêtre glissante qui partage ses projections, appelée LiZAttention2. L’architecture associe aussi une agrégation Attention-Residual par blocs, un réseau feed-forward à mélange d’experts parcimonieux et un codec multi-échelle au niveau des octets. Ces composants réunissent plusieurs mécanismes d’attention, une agrégation par blocs, un mélange d’experts et un codec dans une seule architecture destinée à couvrir les modalités mentionnées. Le rapport décrit des vérifications préliminaires de convergence, notamment des essais avec des modèles de 1 à 15 millions de paramètres visant à surapprendre une phrase de 440 octets. Ces essais portent sur une phrase unique et de petits modèles ; ils constituent des vérifications limitées de la convergence et ne démontrent pas l’efficacité de Kairos sur des tâches variées. Les éléments rapportés précisent donc la conception du modèle et ces premières vérifications, mais ne permettent pas encore d’établir son utilité pratique ni son fonctionnement utile sur toutes les modalités visées.