PyTorch 2.15

OOndine

PyTorch 2.15.0 apporte des évolutions pour entraîner et faire fonctionner des modèles d’intelligence artificielle, notamment dans les communications entre processeurs et le décodage, selon GitHub. Le changement central concerne NCCL, le backend de communication réécrit qui devient le choix par défaut. Si une opération collective se bloque, un enregistreur peut produire des diagnostics pour aider à identifier le problème. Des options permettent de revenir à l’ancien backend. FSDP2 et le pipelining ajoutent des réglages de mémoire et de communication. Ils permettent notamment de faire se chevaucher le calcul et la réduction des gradients. Avec FSDP2, les routeurs de modèles à mélange d’experts et les couches de normalisation peuvent rester en précision FP32, tandis que le reste du modèle est entraîné en BF16, selon AlphaSignal. Pour les développeurs qui utilisent des processeurs graphiques NVIDIA Blackwell, la version annonce un décodage de modèles de langage en 4 bits plus rapide. Sur Apple Silicon, une nouvelle opération accélère le décodage des modèles à mélange d’experts. Les notes de version annoncent entre 1,32 et 1,34 fois plus de tokens par seconde pour cette opération. PyTorch ajoute aussi la prise en charge de FP8 sur ces machines. Concrètement, les réglages de FSDP2 concernent les équipes qui entraînent des modèles à mélange d’experts et veulent conserver certains composants en précision élevée. La mise à niveau comporte toutefois des changements de compatibilité : Python 3.10 n’est plus pris en charge et compiler le code natif exige C++20. Les checkpoints distribués créés avec PyTorch 2.15 ne peuvent pas être chargés par les versions antérieures.