Contrôler l’éclairage dans FLUX.1 Kontext

OOndine

Les auteurs proposent, selon arXiv, une méthode de fine-tuning pour les modèles de diffusion à flow matching, destinée à modéliser des éclairages artificiels réalistes dans des images d’intérieur avec FLUX.1 Kontext. Cette méthode vise à produire des éclairages réalistes sans nécessiter un grand jeu de données, et s’adresse aux modèles de diffusion à flow matching. Le changement recherché porte sur les sources lumineuses de la scène : la géométrie de la pièce, la position des objets, leurs matériaux et l’identité visuelle de l’image d’origine doivent rester préservés. Pour atteindre cet objectif, les auteurs présentent le LoRA Direction Training Method, une méthode qui extrait, dans le champ de flux du modèle, la direction propre de l’effet de l’adaptateur LoRA. Ils associent cette approche à des fonctions de perte spécialisées, conçues pour rendre réaliste la transformation inverse, c’est-à-dire le passage à une image où les sources lumineuses sont éteintes. La méthode produit aussi une carte d’incrément, qui sert à ajuster plus précisément la lumière. Ces éléments décrivent une approche de fine-tuning destinée à agir sur l’éclairage artificiel tout en conservant les caractéristiques de la scène, plutôt qu’à les modifier avec la lumière. Le point à retenir est donc le contrôle conjoint de l’allumage ou de l’extinction des sources lumineuses et de la préservation de l’apparence et de l’organisation de l’image d’origine, sans grand jeu de données.