MCLR entraîne les modèles de diffusion sans guidance à la génération

OOndine

Des chercheurs de l’Université du Michigan et de Michigan State University présentent MCLR, une méthode de fine-tuning des modèles de diffusion qui intègre à l’entraînement les effets de la guidance sans classifieur, selon AlphaSignal. Cette guidance, appelée C-F-G, intervient habituellement à chaque étape d’échantillonnage pour guider la génération ; MCLR vise à intégrer ses effets dès l’entraînement, plutôt que de la réappliquer au moment de produire les images. La méthode apprend aux modèles à mieux distinguer les classes, et les auteurs établissent que le score obtenu avec C-F-G correspond à l’optimum exact d’un objectif MCLR pondéré, reliant ainsi l’alignement appris à l’entraînement à la guidance utilisée pendant la génération. Sur le modèle EDM2-L évalué avec ImageNet-512, le score FD-DINOv2 de MCLR atteint 42,50 sans guidance à l’inférence, contre 39,86 avec C-F-G et 67,70 pour le modèle de base. MCLR dépasse aussi les meilleurs scores FD-DINOv2 rapportés avec C-F-G sur 2 autres configurations, VAR-d24 et SiT-XL/2+REPA. En supprimant le recours à la guidance à chaque étape d’échantillonnage, MCLR pourrait donc réduire les calculs nécessaires à l’inférence. Mais l’économie potentielle s’accompagne de compromis : l’entraînement coûte davantage, avec un coût qui double en taille de lot, et le modèle ne permet plus de régler à l’inférence le compromis entre fidélité et diversité.