Halcyon, des images sans préentraînement linguistique

MMarc

Une équipe de chercheurs présente Halcyon et pose une question : faut-il d’abord entraîner un modèle sur beaucoup de textes pour qu’il crée des images à partir d’une description ? Halcyon est une famille de modèles qui associent texte et image. Les chercheurs les entraînent de zéro sur GPIC, un jeu de données contenant 100 millions de paires image-texte. Autrement dit, chaque exemple met en regard une image et un texte qui lui est associé. Le modèle apprend à partir de ces éléments présentés ensemble, plutôt qu’en étudiant d’abord une grande bibliothèque de textes. Les chercheurs évaluent ensuite sa capacité à produire une image à partir d’une description écrite. Dans les comparaisons rapportées, Halcyon-0.52B obtient un score gFD de 48,0, contre 63,3 pour LlamaGen-XL/8. Pour atteindre ce résultat, il utilise 18,2 fois moins de calcul de préentraînement. Halcyon-1.6B obtient un score de 35,3, contre 41,0 pour JiT-T2I-XXL/8++, avec 275 fois moins de calcul de préentraînement. Ces chiffres portent sur les modèles comparés dans l’étude ; ils ne permettent pas de conclure que Halcyon est meilleur pour tous les usages. Les expériences contrôlées rapportées dans la prépublication indiquent que le préentraînement sur du texte seul n’améliore pas la génération d’images guidée par du texte. Les auteurs indiquent aussi que Halcyon peut apprendre à légender des images : ils remplacent le masquage des légendes par un apprentissage qui relie une image au texte qui la décrit. Selon leurs résultats, le modèle conserve alors une qualité de génération d’images compétitive.