Déjà View, reconstruire la 3D avec un calcul ajustable
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Token FM
Token FM, la radio de l'IA, faite par l'IA. Place au dossier.
Victor
Bonjour Elias, on vous accueille pour parler de Déjà View, le modèle de NVIDIA Research qui reconstruit des scènes en 3D à partir de plusieurs photos et compte 117 millions de paramètres. Qu’est-ce qui est nouveau dans cette annonce ?
Elias
NVIDIA Research présente Déjà View comme un modèle de reconstruction 3D à partir de plusieurs vues. L’article est annoncé comme présentation orale à NeurIPS 2026, d’après AlphaSignal. L’idée importante n’est pas seulement de produire une représentation en trois dimensions à partir de plusieurs images. C’est aussi de pouvoir choisir, au moment où le modèle travaille, combien de calcul lui consacrer, sans le réentraîner. Le réseau compte 117 millions de paramètres, c’est-à-dire les valeurs apprises qui constituent ses réglages internes. NVIDIA rapporte qu’il obtient des résultats compétitifs face à des modèles nettement plus grands, tout en utilisant environ 8 à 10 fois moins de paramètres. Alors, le contraste est intéressant : plutôt que d’ajouter toujours plus de poids au modèle, l’approche mise sur plusieurs passages de calcul avec les mêmes poids. Le nombre de passages permet de régler le compromis entre rapidité et finesse des estimations.
Victor
Concrètement, comment fonctionne cette reconstruction à partir de plusieurs photos ?
Elias
Chaque photo passe d’abord par un encodeur visuel pré-entraîné, DINOv2, qui transforme les pixels en éléments que le réseau peut traiter. Ensuite, Déjà View réutilise en boucle un même bloc Transformer, au lieu d’empiler une succession de blocs différents. À chaque passage, le modèle met à jour sa représentation de la scène et échange des informations entre les vues. Une partie du calcul examine les éléments d’une image, et une autre relie les différentes images entre elles. À la fin, deux modules produisent des cartes de profondeur, qui estiment la distance des surfaces, et des rayons de caméra, utiles pour retrouver les positions de prise de vue et une géométrie cohérente. En fait, on peut imaginer une équipe qui relit plusieurs fois le même plan : elle garde les mêmes outils, mais affine progressivement sa compréhension de la scène.
Victor
Pour qui ce réglage est-il utile, et qu’est-ce qu’il change en pratique ?
Elias
Le réglage s’appelle K : c’est le nombre de fois où le bloc partagé est appliqué. Avec K égal à 4, la démonstration montre une exécution plus rapide ; avec K égal à 16, elle donne des estimations de profondeur et de caméra plus affinées. L’utilisateur peut choisir ce nombre au moment de l’inférence, c’est-à-dire quand le modèle traite les images, sans lancer un nouvel entraînement. Le réglage permet donc de choisir le nombre de passages pour l’exécution voulue. En revanche, augmenter K ajoute du calcul et de la latence, sans augmenter le nombre de paramètres appris. Le compromis porte ainsi sur le temps de traitement et le degré de raffinement des estimations.
Victor
Que valent les résultats annoncés, et quelles limites faut-il garder en tête ?
Elias
NVIDIA rapporte que Déjà View égale ou dépasse VGGT, pi-cubed et Depth Anything 3 sur plusieurs benchmarks, avec 8 à 10 fois moins de paramètres. L’évaluation porte sur cinq benchmarks de reconstruction, couvrant des scènes intérieures, extérieures, des objets et des scènes de conduite. Les résultats cités incluent des mesures de cohérence des correspondances visuelles et de précision des poses de caméra. Ces résultats décrivent les performances mesurées sur les benchmarks évalués. Il faut aussi distinguer la taille des paramètres du coût total d’une exécution : le nombre de paramètres décrit les poids appris, tandis que le calcul nécessaire dépend aussi du nombre de passages choisi. Le résultat est prometteur, mais il faut éviter de résumer cela par « petit modèle, donc tout est moins coûteux ». Pour comparer des usages concrets, il faudrait connaître les conditions de traitement et les besoins propres à chaque application.
Victor
Qu’est-ce qu’il faut retenir de Déjà View, et peut-on examiner le travail ?
Elias
À retenir, Déjà View tente de faire mieux avec une architecture qui réutilise ses poids, plutôt qu’en multipliant les blocs distincts. Le paramètre K rend ce choix visible et réglable : moins de passages pour aller plus vite, davantage pour affiner les estimations. C’est une façon assez concrète de déplacer une partie du compromis entre qualité et rapidité vers l’utilisateur ou le système qui lance le modèle. Les résultats annoncés face à plusieurs modèles connus sont encourageants, mais ils restent des résultats de benchmarks et ne suffisent pas à prouver une supériorité dans tous les contextes. Le code est publié sur GitHub et l’article est disponible sur arXiv, ce qui permet d’examiner l’implémentation et la méthode. La proposition à suivre, c’est donc autant la reconstruction 3D que cette manière de régler le calcul après l’entraînement.
Victor
Merci Elias pour ces explications.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.