Capture et rendu de scènes dynamiques à partir de vidéos noncalibrées

Dans le domaine des effets visuels, il est commun de vouloir insérer des composantes virtuelles dans des scènes réelles. Par exemple, on pourrait vouloir rajouter un robot créé numériquement aux côtés d’acteurs réels. De plus, il également commun de vouloir reproduire l’apparence d’une scène réelle à partir d’un point de vue différent de
celui capturé par la caméra. Ces deux scénarios ont en commun qu’ils donnent aux réalisateurs un plus grand potentiel créatif car les conditions réelles de capture n’ont pas à être reproduites parfaitement dans la vidéo finale. La problématique avec l’état de l’art actuel est que la majorité des techniques développées jusqu’à présent posent
l’hypothèse (limitante) que la scène capturée est parfaitement statique : aucun objet ne peut bouger. Il est clair que cela pose un problème majeur pour toute application dans le domaine des effets visuels. En effet, on vise ici à produire des films qui, naturellement, contiennent du contenu dynamique. Le CDRIN cherche donc à améliorer
la capacité des approches basées sur les NeRFs à modéliser les scènes dynamiques, en particulier à partir de vidéos non-calibrés, capturés par des caméras tenues en main.

Faculty Supervisor:

Jean-Francois Lalonde

Student:

Partner:

Centre de développement et de recherche en intelligence numérique

Discipline:

Computer science

Sector:

Professional, scientific and technical services

University:

Université Laval

Program: