Diffusers s’ouvre à de nouveaux modèles

OOndine

Diffusers est une bibliothèque de modèles de génération, mise à jour par Hugging Face pour prendre en charge de nouveaux modèles d’image, de vidéo et de conception de protéines. La version 2 ajoute aussi des adaptateurs, des intégrations matérielles et des pipelines modulaires, selon GitHub. Pour créer ou retoucher des images, FLUX.3 Image Klein accepte un texte et une ou plusieurs images de référence. Bria Fibo 2.0 permet de générer des images à partir de descriptions structurées, ou de modifier des images avec jusqu’à 5 références. Ces fonctions peuvent servir aux personnes qui veulent produire une image à partir d’instructions détaillées, ou travailler à partir d’images existantes. Kandinsky 6 génère une vidéo accompagnée d’un audio synchronisé, à partir d’un texte ou d’une image de référence. Un pipeline distinct améliore la résolution des vidéos. SANA-WM crée une vidéo à partir d’une image de départ, d’un texte et d’une trajectoire de caméra. Cette trajectoire peut être définie par des poses ou des commandes textuelles. Pour la conception moléculaire, RFD4-Proteína génère à la fois des séquences de protéines et leurs structures atomiques, en tenant compte du contexte moléculaire. Le modèle a été développé par le Baker Lab et NVIDIA. Il peut intéresser les équipes qui travaillent sur la conception de protéines en fonction d’une cible ou d’un autre élément moléculaire. Une condition technique est à prévoir : Diffusers exige désormais Python 3.11 ou une version ultérieure. Les personnes qui souhaitent utiliser cette mise à jour doivent donc disposer de cette version de Python, ou d’une version plus récente.