Mesurer les formes produites par les réseaux de neurones

LLéna

Une équipe de recherche publie sur arXiv une étude théorique qui demande comment mesurer les formes qu’un réseau de neurones peut produire, notamment quand il n’y a pas de frontière entre des catégories à examiner. Les auteurs proposent de regarder la sortie du réseau plutôt que la frontière de décision. Cette frontière correspond à la séparation entre des réponses possibles ; mais elle n’est pas toujours pertinente, par exemple pour la régression, où le réseau produit une valeur plutôt qu’un choix entre catégories. Pour décrire la forme de cette sortie, l’étude s’appuie sur les nombres de Betti. On peut les voir comme des repères qui résument certaines caractéristiques topologiques d’une forme. L’idée est donc de caractériser la structure générale de ce que le réseau peut produire. Les auteurs relient ensuite ces repères à l’architecture du réseau. En pratique, cela signifie que la largeur de ses couches, autrement dit le nombre d’unités qu’elles contiennent, est définie en fonction des nombres de Betti visés. Leur résultat porte sur des réseaux ReLU, une famille de réseaux dont les calculs utilisent une fonction d’activation appelée ReLU. Ils démontrent qu’une architecture construite de cette manière peut représenter des espaces équivalents, du point de vue topologique, à des sommes en bouquet de sphères.