Transformers, mise à jour corrective

LLéna

Transformers, la bibliothèque de Hugging Face utilisée pour la génération avec des modèles d’intelligence artificielle, reçoit une mise à jour corrective publiée lundi. Hugging Face publie la version 5.20.2. Les notes de publication sur GitHub décrivent plusieurs changements techniques, dont un correctif pour les entrées utilisées au moment de la génération. Dans certains cas, la fonction de génération pouvait modifier le type d’une entrée pendant sa préparation. Cette modification risquait de perturber les modèles multimodaux, qui traitent plusieurs modalités. Le correctif vise à préserver le type de ces entrées au fil de cette étape. Il peut donc concerner les équipes qui développent ou exécutent des modèles multimodaux avec Transformers, lorsque leurs traitements passent par cette fonction. La mise à jour corrige aussi des gradients d’experts nuls dans une configuration précise : l’utilisation du format bfloat16 avec le parallélisme d’experts, lorsque la taille de ce parallélisme est inférieure à celle du parallélisme FSDP. Ce changement vise les personnes qui utilisent cette combinaison. Il ne décrit pas une correction générale de tous les problèmes de calcul des modèles. Autre ajustement : certains modèles vision-langage étaient déclarés comme ne prenant que du texte en entrée. La mise à jour précise leurs modalités d’entrée. Enfin, elle évite une copie de mémoire entre l’hôte et le périphérique dans la fonction eager_mask. Ces deux corrections ciblent les modèles et les opérations concernés. Pour les utilisateurs de Transformers, l’intérêt dépend donc des fonctions mobilisées dans leurs traitements : génération multimodale, parallélisme d’experts, modèles vision-langage ou transferts mémoire. La publication rassemble ces correctifs, sans annoncer de nouvelle fonction destinée à tous les usages.