NVIDIA simule une intervention chirurgicale

LLéna

NVIDIA présente Cosmos3-H-Dreams, un simulateur génératif interactif spécialisé dans la cholécystectomie, l’intervention qui consiste à retirer la vésicule biliaire, et contrôlable à partir des mouvements d’instruments, selon Hugging Face. Son entraînement repose sur des vidéos et des données cinématiques enregistrées pendant des cholécystectomies réalisées avec Versius, le robot chirurgical de CMR Surgical. Le modèle génère des scènes qui évoluent en fonction des commandes et des mouvements des instruments : la simulation ne se limite donc pas à la lecture d’une vidéo enregistrée. Les séquences d’entraînement mesurent 832 par 480 pixels, et les actions sont synchronisées à 10 hertz. Le modèle prend en compte 28 dimensions d’action, notamment les poses et les commandes de préhension des 2 bras robotiques, pour relier leurs gestes aux images générées. Cosmos3-H-Dreams s’appuie sur Cosmos 3 et sur FlashDreams, une bibliothèque d’inférence accélérée ; NVIDIA indique qu’il fonctionne de manière interactive sur un seul processeur graphique RTX PRO 6000. Le système est spécialisé pour la cholécystectomie à partir de Cosmos3-H-Embodied-Nano, un modèle de 16 milliards de paramètres préentraîné sur Open-H-Embodiment. NVIDIA le présente comme le premier simulateur chirurgical génératif en temps réel entraîné sur des enregistrements cliniques de cette intervention et permettant un contrôle cinématique en direct. NVIDIA a publié le modèle, son checkpoint et le code associé mardi, le 20 octobre 2026, selon Unite.AI.