Rendre les scènes reconstruites manipulables

LLéna

Des chercheurs présentent φ-RIE, un pipeline qui transforme des scènes reconstruites en environnements interactifs pour la simulation robotique, selon arXiv. La question est simple : comment déplacer un objet virtuel sans effacer le décor et les détails qui l’entourent ? Le système part du Gaussian Splatting, une technique qui permet de reconstruire une scène en trois dimensions. Mais cette représentation ne rend pas, à elle seule, les objets indépendamment mobiles. φ-RIE choisit certains objets et les convertit en éléments manipulables dans un simulateur, tout en gardant le reste de la reconstruction. Imaginez une chaise posée dans un décor peint. Pour la déplacer, il ne suffit pas de fabriquer une chaise mobile : il faut aussi enlever son ancienne image du décor et reconstituer le mur ou le sol qui était caché derrière. φ-RIE coordonne ces opérations. Une même identité d’objet sert à créer l’objet mobile, à retirer son apparence de la scène d’origine et à compléter l’arrière-plan masqué. Le déplacement peut ainsi révéler des zones auparavant cachées. Sur 50 scènes ScanNet++, la sélection fondée sur des preuves et les nouvelles tentatives d’enregistrement font progresser le F1 à 20 millimètres, de 0,336 à 0,383, sans changer le taux de conservation. Les auteurs testent aussi si les objets peuvent s’exécuter dans le simulateur, mesurent les gains en manipulation par rapport à une méthode utilisant un seul générateur et évaluent le coût visuel de cette conversion. À retenir : le F1 mesure un résultat distinct du coût visuel, lui aussi évalué par les auteurs. Son ampleur n’est pas précisée ici ; le chiffre seul ne permet donc pas de juger les changements d’apparence après conversion.