Google Research présente Diffusion Controller

OOndine

Google Research présente mardi Diffusion Controller, un réseau léger conçu pour mieux aligner les images générées avec les consignes écrites, sans modifier les poids du modèle de base dans sa version complémentaire. Le système intervient sur le débruitage, le processus qui transforme progressivement le bruit visuel en image, et la recherche le formule comme un problème de contrôle continu. Dans des expériences sur Stable Diffusion 1.4, la variante « gray-box » dépasse LoRA sur les taux de victoire HPS-v2, qui évaluent la correspondance entre les images et les préférences humaines, selon AlphaSignal. Cet avantage apparaît avec un entraînement supervisé et avec une méthode qui pondère les images en fonction des récompenses qui leur sont attribuées. La variante « gray-box » modifie aussi moins de couches internes que LoRA, tout en obtenant de meilleurs taux de victoire dans ces expériences. L’article décrit deux méthodes d’entraînement du contrôleur : PPO, une méthode d’apprentissage par renforcement, et une perte pondérée par récompense, toutes deux fondées sur l’évaluation des images produites. Google Research indique qu’une version entièrement déverrouillée, qui accède aux poids internes du modèle, atteint un taux de victoire de 90 % face au modèle de base. Le cadre est conçu pour pouvoir s’attacher à des modèles dont l’accès est restreint ou fermé, mais les résultats présentés relèvent de travaux de recherche et ne constituent pas une annonce de produit.