OT-RED agrège des modèles sans centraliser les données

OOndine

OT-RED est une méthode fondée sur le transport optimal, qui agrège en un seul tour de communication des modèles de mélange d’experts entraînés séparément, sans centraliser les données brutes, selon AlphaSignal. L’approche répond à un défi de l’agrégation : les experts peuvent être associés à des étiquettes différentes d’un modèle local à l’autre, et leur nombre peut varier selon les modèles. OT-RED prend aussi en compte des fonctions de pondération qui dépendent des entrées, un élément important pour réunir des modèles locaux dont le fonctionnement n’est pas identique. Pour calculer le modèle agrégé, le serveur utilise une boucle de majoration-minimisation et une régression IRLS, c’est-à-dire par moindres carrés itérativement repondérés, appliquées à un petit échantillon de points d’entrée. Les chercheurs ont évalué la méthode sur 2 jeux de données : Beijing air quality et YearPredictionMSD, qui servent à comparer l’agrégation avec un entraînement centralisé. Dans ces essais, la précision obtenue est comparable à celle de l’entraînement centralisé, tandis que le coût de calcul est inférieur. Les auteurs démontrent également la cohérence statistique de l’estimateur agrégé, sous des hypothèses standard concernant les estimateurs locaux ; le code MATLAB et les méthodes de comparaison sont publiés sur GitHub sous licence MIT.