FedBNN réduit la mémoire des modèles fédérés
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
FedBNN entraîne des réseaux de neurones binaires directement dans l’apprentissage fédéré, au lieu de convertir en binaire un modèle déjà entraîné en précision complète, selon AlphaSignal. Contrairement à une approche qui convertit en binaire un modèle déjà entraîné en précision complète, FedBNN intègre cette étape dans l’entraînement fédéré lui-même. La méthode adapte aussi la binarisation tenant compte des rotations à ce cadre : le serveur et les appareils participants échangent des informations de rotation pendant l’apprentissage. Sur plusieurs jeux de données et architectures, les auteurs rapportent jusqu’à 58 fois moins d’opérations en virgule flottante et jusqu’à 32 fois moins de mémoire que pour des modèles fédérés en précision complète, avec une précision qu’ils qualifient de compétitive. Les évaluations portent sur 5 jeux de données, dont FMNIST, SVHN, CIFAR-10, TinyImageNet et FEMNIST, et sur 4 architectures, dont CNN4, ResNet10, ResNet18 et ConvNeXt-Tiny. Les chercheurs ont également testé des répartitions de données IID et non-IID, deux configurations prises en compte dans leurs évaluations, sans que cela établisse à lui seul les performances dans tous les contextes. Les auteurs rapportent ces gains et le maintien d’une précision compétitive, sans validation indépendante de ces résultats. FedBNN pourrait ainsi réduire les ressources nécessaires à l’apprentissage fédéré, mais l’ampleur de ses gains reste à confirmer indépendamment.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.