MCLR, intégrer la guidance aux modèles de diffusion

NNoor

Alors, l’idée centrale est de déplacer une partie du travail de l’étape de génération vers l’entraînement du modèle. Les modèles de diffusion produisent une image en inversant progressivement un processus qui a ajouté du bruit, et la génération peut être guidée par une condition, comme une classe d’image. La méthode habituelle, appelée guidance sans classifieur, ou CFG, combine les prédictions obtenues avec la condition et sans cette condition, puis répète ce calcul à chaque étape de génération. MCLR, pour Maximum Inter-Class Likelihood Ratio, est une méthode de fine-tuning proposée par des chercheurs de l’Université du Michigan et de Michigan State University ; elle apprend au modèle à mieux distinguer les classes, d’après AlphaSignal. L’objectif est d’incorporer pendant l’entraînement les effets de la guidance, pour que le modèle favorise davantage la classe demandée sans avoir à appliquer CFG au moment de l’échantillonnage. Autrement dit, il ne s’agit pas de supprimer le processus de diffusion lui-même. C’est le calcul supplémentaire de CFG qui pourrait ne plus être nécessaire au moment où le modèle génère son image.

NNoor

MCLR compare, pour un même exemple, la vraisemblance associée à sa classe correcte et celle associée à une classe qui ne correspond pas. L’entraînement pousse le modèle à privilégier la bonne classe par rapport à cette classe incorrecte, afin de mieux séparer les distributions liées aux différentes conditions. Cette stratégie vise un problème que les auteurs attribuent aux modèles conditionnels : la condition demandée peut ne pas être exprimée assez nettement dans l’image produite. Dans le cas d’une génération guidée par une étiquette, cela revient à chercher une distinction plus marquée entre les caractéristiques associées aux classes. Les auteurs établissent aussi que le score obtenu avec CFG correspond à l’optimum exact d’un objectif MCLR pondéré. Ce résultat relie l’alignement appris pendant le fine-tuning à la guidance appliquée pendant la génération. Il donne ainsi une justification théorique au rapprochement entre les deux méthodes, sans dire que les étapes de génération disparaissent. MCLR cherche plutôt à obtenir, par l’entraînement, un effet que CFG ajoute habituellement au cours de l’échantillonnage.

NNoor

Les comparaisons rapportées portent sur plusieurs benchmarks ImageNet et plusieurs modèles. Sur EDM2-L avec ImageNet-512, MCLR obtient un score FD-DINOv2 de 42,50 sans CFG, contre 39,86 avec CFG et 67,70 pour le modèle de base. Les chercheurs indiquent également que MCLR dépasse CFG sur les meilleurs scores FD-DINOv2 rapportés pour VAR-d24 et SiT-XL/2+REPA. Il faut donc distinguer les résultats selon le modèle et la comparaison considérés : le chiffre d’EDM2-L ne montre pas un meilleur score que CFG, tandis que les résultats annoncés pour les deux autres modèles vont dans ce sens. Ces mesures portent sur les évaluations ImageNet mentionnées, et ne décrivent pas toutes les tâches possibles. Elles montrent que la méthode peut se passer de CFG à l’inférence dans ces essais, avec des résultats qui varient selon le modèle et le benchmark.

NNoor

CFG demande des évaluations du modèle à chaque étape d’échantillonnage, en combinant les prédictions conditionnelle et inconditionnelle. Quand MCLR permet de supprimer cette guidance pendant la génération, il peut donc réduire les calculs d’inférence nécessaires pour produire une image. La dépense ne disparaît pas pour autant : l’article indique que le coût d’entraînement de MCLR double en taille de lot. Le compromis se situe donc entre le calcul consacré à l’entraînement et celui mobilisé lors de la génération. La réduction possible à l’inférence peut compter lorsque le modèle produit des images, mais les résultats rapportés ne quantifient pas un gain global pour chaque situation de déploiement. On ne peut donc pas déduire de ces chiffres que le coût total baisse dans tous les cas. Il faut aussi tenir compte de la manière dont le modèle sera utilisé et du poids relatif de l’entraînement et de la génération dans le calcul disponible.

NNoor

Avec CFG, le réglage de la guidance à l’inférence permet de modifier le compromis entre la fidélité à la condition et la diversité des images. MCLR ne conserve pas ce réglage : le modèle obtenu ne permet plus d’ajuster de la même manière cet équilibre au moment de la génération. En pratique, la réduction possible des calculs s’accompagne donc d’une moindre flexibilité après l’entraînement. C’est une limite importante lorsque l’on souhaite modifier le degré d’adhésion à la condition plutôt que conserver un réglage unique. Les informations rapportées ne précisent pas comment ce compromis se traduit dans des usages particuliers, et il ne faut pas lui attribuer des effets qui n’ont pas été mesurés. Les résultats présentés sur ImageNet ne suffisent pas à établir que le même rapport entre fidélité et diversité s’obtiendrait dans d’autres tâches.

NNoor

Il faut retenir une idée de conception : MCLR cherche à apprendre pendant l’entraînement à mieux distinguer les classes, au lieu de compter sur CFG à chaque étape de génération. Les auteurs relient mathématiquement cet entraînement à la guidance, et rapportent des résultats sans CFG qui diffèrent selon les modèles évalués. Pour EDM2-L sur ImageNet-512, le score FD-DINOv2 indiqué pour MCLR est de 42,50, contre 39,86 avec CFG ; pour VAR-d24 et SiT-XL/2+REPA, les meilleurs scores rapportés sont en faveur de MCLR. Ils rapportent aussi une équivalence, au niveau de la distribution de population, entre CC-DPO et Conditional Contrastive Alignment. Ce résultat concerne un lien entre méthodes et ne modifie pas le compromis pratique propre à MCLR. Pour cette méthode, l’entraînement coûte davantage en taille de lot, tandis que l’absence de CFG à l’inférence peut réduire les calculs de génération. En contrepartie, le modèle ne permet plus de régler à l’inférence l’équilibre entre fidélité à la condition et diversité.