Journal de 8 h · 12 octobre

LLéna

Mamba-3 s’appuie sur des rotations dépendantes de l’entrée, associées à de meilleurs résultats en suivi d’état et en généralisation à des séquences plus longues, selon une étude publiée sur arXiv. Les chercheurs interprètent ces rotations comme une dynamique oscillatoire sous-amortie. Ils comparent ce régime à des dynamiques avec amortissement non oscillatoire. Dans des comparaisons contrôlées, le régime sous-amorti obtient de meilleurs résultats pour des tâches de suivi d’état. Le préentraînement de modèles de langage montre aussi des bénéfices pour la prédiction à long contexte et la généralisation lorsque les séquences dépassent leur longueur habituelle. L’étude examine ces dynamiques dans des comparaisons contrôlées et lors du préentraînement de modèles de langage. Les chercheurs ont aussi réalisé des interventions sur des modèles préentraînés. Leurs résultats indiquent que la phase apprise joue un rôle important dans les performances. L’analyse des états suggère que cette rotation régule la manière dont l’information déjà conservée se combine aux nouvelles mises à jour. Autrement dit, le mécanisme influe sur l’équilibre entre ce que le modèle garde en mémoire et ce qu’il intègre à chaque nouvelle étape. Ces observations portent sur le fonctionnement interne des modèles, et non uniquement sur leurs résultats finaux. Elles donnent une interprétation aux gains observés dans les comparaisons, sans établir pour autant que cette approche serait supérieure dans toutes les tâches. Le résultat concerne ici les dynamiques étudiées et les expériences rapportées par les chercheurs.

LLéna

Des formats numériques fondés sur des entiers algébriques pourraient permettre des calculs d’apprentissage automatique compressés et précis, selon un article publié sur arXiv. Les auteurs proposent de ramener les opérations de multiplication-accumulation à l’arithmétique entière, afin d’effectuer ces calculs sans erreur. Ils ont conçu un moteur de multiplication matricielle qui exploite cette propriété. Sur des accélérateurs matériels modernes, ses performances restent dans un facteur prévisible de celles des méthodes numériques les plus efficaces. Le cadre proposé est configurable : les entiers algébriques peuvent être choisis en fonction des caractéristiques numériques de chaque application. Ce choix pourrait ouvrir des possibilités d’optimisation qui n’existent pas avec les formats à virgule flottante ou à virgule fixe. Les auteurs présentent ainsi un cadre qui permet d’adapter le choix des entiers algébriques à chaque application. Les résultats décrivent une approche et un moteur de calcul ; ils ne signifient pas que toutes les applications d’apprentissage automatique bénéficient déjà de cette méthode. L’article met en avant une autre façon de construire les opérations numériques utilisées par ces systèmes.

LLéna

Les méthodes d’intelligence artificielle explicable peuvent donner une confiance excessive dans des prédictions erronées, estiment des chercheurs dans un article publié sur arXiv. Les auteurs contestent l’idée que ces méthodes aient renforcé la confiance au cours de la dernière décennie. Ils leur assignent plutôt un rôle de débogage : elles peuvent fournir des indications ponctuelles sur les caractéristiques apprises par un modèle. Mais une explication n’est pas nécessairement une représentation fidèle de son fonctionnement. Selon les auteurs, une simplification excessive du fonctionnement des modèles peut créer un écart entre le modèle et l’explication produite. Les chercheurs qualifient ce décalage d’infidélité. Ils soutiennent que les méthodes d’intelligence artificielle explicable peuvent favoriser une confiance excessive dans des prédictions erronées, malgré leur usage comme outil de débogage. L’article examine les limites de ces méthodes et de leurs explications, sans établir que toutes les explications produites sont trompeuses.