Mamba-3 et les rotations de phase

LLéna

Mamba-3 fait l’objet d’une étude qui interprète ses rotations dépendantes de l’entrée comme une dynamique oscillatoire sous-amortie, selon arXiv. Les chercheurs comparent ce régime à des dynamiques d’amortissement non oscillatoires pour examiner le rôle de ces rotations dans l’évolution des états du modèle. Dans des comparaisons contrôlées, les dynamiques sous-amorties obtiennent de meilleurs résultats sur des tâches de suivi d’état. Ce type de tâche évalue la capacité d’un modèle à suivre un état au fil des mises à jour, et les résultats rapportés favorisent donc le régime oscillatoire dans ces comparaisons précises. Le préentraînement de modèles de langage montre aussi des bénéfices pour la prédiction à long contexte et pour la généralisation à des séquences plus longues. Autrement dit, les résultats concernent à la fois le suivi d’état et le traitement de contextes étendus, notamment lorsque les séquences dépassent les longueurs prises en compte dans les comparaisons. Des interventions sur des modèles préentraînés indiquent que la phase apprise joue un rôle important, et l’analyse des états suggère que la rotation régule la combinaison entre l’information conservée et les nouvelles mises à jour. L’étude met ainsi en relation cette dynamique de rotation avec les résultats observés, sans établir qu’elle apporte un avantage dans toutes les tâches ni pour tous les modèles de langage.