Une grammaire locale peut structurer un modèle de langage

OOndine

Une étude de physique statistique publiée dans Physical Review Research montre qu’un modèle de langage à grammaire locale peut connaître une transition entre babillage et séquences structurées, selon AlphaSignal. Dans ce modèle, les règles grammaticales s’appuient uniquement sur un voisinage de taille fixe : elles ne relient donc pas directement des éléments très éloignés dans la phrase. Malgré cette contrainte locale, les chercheurs observent une transition de phase à température finie, entre un régime de babillage et un régime structuré. Pour examiner ce phénomène, les simulations Monte-Carlo portent sur des phrases pouvant atteindre 4 096 symboles, soit une longueur importante pour ce modèle simplifié. L’analyse d’échelle finie estime le produit de la constante de Boltzmann par la température critique à 0,24 ; elle donne aussi les exposants ν à 2,50 et γ à 2,00, des paramètres associés à la transition étudiée. Les auteurs concluent que, dans ce type de modèle, des interactions à longue portée ne sont pas indispensables pour faire apparaître une organisation des séquences. Ce résultat théorique éclaire un mécanisme possible d’émergence de l’ordre, mais sa portée reste limitée au modèle étudié : il ne montre pas que les modèles de langage en général suivent ce fonctionnement.