Le neural collapse face aux classes déséquilibrées

MMarc

Un article publié sur arXiv reformule le phénomène du neural collapse pour étudier son apparition dans des jeux de données où les classes sont déséquilibrées. Les auteurs distinguent l’exactitude en classification, qui reflète des propriétés locales au niveau des échantillons, de l’apprentissage de représentations, qui cherche à faire apparaître des propriétés globales du jeu de données. Parmi celles-ci figurent la compacité des exemples d’une même classe et la séparabilité entre classes. Pour traiter le déséquilibre, l’article s’appuie sur l’optimisation des pertes moyennes par classe, plutôt que sur les pertes moyennes calculées sur l’ensemble des données, utilisées dans des travaux antérieurs. Selon l’article, lorsque ces pertes par classe atteignent leur minimum, le neural collapse standard apparaît aussi bien dans les jeux équilibrés que déséquilibrés, avec l’entropie croisée, ou C E, et l’entropie croisée binaire, ou B C E. L’article propose aussi de redéfinir la B C E à partir des principes de l’apprentissage de représentations, et étend son analyse à un scénario d’open-set : certaines classes n’ont alors aucun échantillon d’entraînement, mais se voient néanmoins attribuer une classe. Le résultat de cette analyse en open-set n’est pas précisé dans le résumé de l’article ; la conclusion étayée concerne donc les jeux équilibrés et déséquilibrés, sous la condition que les pertes moyennes par classe atteignent leur minimum.