Graph Transformers et raisonnement à longue portée

LLéna

Un article de recherche examine comment les Graph Transformers combinent les calculs produits à différentes profondeurs, une question liée au raisonnement à longue portée, selon arXiv. Dans ces modèles, les calculs successifs apportent des contributions qui doivent être réunies ; l’article examine cette agrégation, au-delà de la capacité des connexions à faciliter les échanges d’information entre les nœuds du graphe. La difficulté décrite concerne les connexions résiduelles standard : elles additionnent les contributions calculées aux différentes profondeurs, avec des coefficients fixes et identiques pour tous les nœuds. Autrement dit, cette règle commune ne permet pas de repondérer explicitement les contributions en fonction du nœud auquel elles se rapportent. Or, selon l’hypothèse des auteurs, l’utilité d’une contribution intermédiaire pourrait varier d’un nœud à l’autre, selon le contexte structurel de chacun. Si cette utilité varie effectivement, une addition uniforme pourrait donc être mal adaptée : elle ne tiendrait pas compte explicitement de ces différences entre nœuds et structures. L’enjeu est ainsi de comprendre comment agréger les calculs de plusieurs profondeurs lorsque leur apport dépend du nœud concerné, plutôt que de traiter toutes les contributions avec des coefficients communs.