Reconstruction 3D robuste du visage: approche duale « mouvement-structure »

RésuméCet article présente une approche originale de reconstruction et d’animation tridimensionnelle du visage humain à partir d’une séquence monoculaire et non calibrée d’images. Un processus d’analyse-synthèse de l’information contenue dans les images permet le clonage 2D→3D grâce au fonctionnement combiné de deux algorithmes de reconstruction fondés sur le mouvement (synthèse). Le prétraitement sur les images aboutissant à la mise en correspondance temporelle de points (analyse) est réalisé par un algorithme de d’appariement de blocs utilisant la grille fournie par la triangulation de Delaunay de la première image. La classification du mouvement est ensuite réalisée par l’utilisation d’une famille locale de descripteurs invariants. Quelques résultats expérimentaux validant la démarche employée sont également présentés.AbstractAn original approach for three-dimensional reconstruction and animation of human face with a monocular and un-calibrated acquisition system is presented. This method is based on the classical analysis-synthesis scheme. A three-dimensional reconstruction of shape and movement is performed with a combination of two algorithms using the well-known “Zfrom motion” principle. Therefore a pre-processing step is needed to first detect the human face on vidéoconférence sequence. Then, a set of points is tracked with a new hybrid and adaptive block-matching algorithm using the Delaunay tessellation. A local algebraic projective invariant family performs the 3D movement classification to satisfy the 3D synthesis assumptions. Experimental results on synthetic and noisy data set validate the entire approach.