Facial animation by reverse morphing on a sequence of real images: application to film and video production

Research on facial animation is as vast as the many interests and needs that can be found in the general public, television or film production. For Mac Guff Ligne, a company specialized in the fabrication of special effects and computer generated images, the needs and the constraints on such a topic are very big. Morphing is often used in facial animation, and consists in mixing several expression models. As we will discover, the advantages in using morphing are numerous, but the animation workload remains long and time-consuming. Our goal is to propose a fast and reliable animation tool that is based on the same morphing technique with which the graphic artists are familiar. Our method is to inverse the classical process of morphing, and to match a real facial animation to a 3D facial animation by automatic calculation of the weights of expression models. Firstly, we discretize the real facial animation using a number of characteristic points. Then we follow the path of each point by optic or magnetic motion capture, or through the filmed images. This tracked down animation is then decomposed, for each frame, according to a basis of characteristic expressions (joy, anger, etc.) that can be automatically taken out from the real animation during the calibration stage. It means that we express a simplified shape of the face by linear composition of a series of basic faces. Finally, we can reintroduce the results of this decomposition into a more complex facial morph which has a totally different topology and geometry. The user can thus complete and modify the resulting animation using a tool he knows well. This method, used in production at Mac Guff Ligne, proves to be a solid, effective and easy-to-use work base for facial animation.RésuméL’étendue des recherches sur l’animation de visages de synthèse est aussi vaste que l’intérêt et les besoins suscités par le grand public, la télévision et le cinéma pour ces images. Pour Mac Guff Ligne, société de création d’effets spéciaux et d’images de synthèses, les besoins, et les contraintes, sur un tel sujet sont nombreux. Le mélange de formes est une méthode d’animation souvent utilisée pour l’animation de visage, et qui consiste à mélanger plusieurs maquettes (ou expresions). Les avantages qui font le succès de cette méthode sont nombreux. Néanmoins, le travail d’animation reste long et fastidieux. Le but était donc de fournir aux infographistes des outils d’aide à l’animation, tout en restant basé sur la technique de morphing qu ’ils maîtrisent bien. La méthode consiste à inverser le processus classique du morphing, et tente de faire correspondre une animation d’un visage réel sur un visage de synthèse en calculant automatiquement les poids des diverses maquettes d’expressions. Dans un premier temps, l’animation réelle est discretisée à partir d’un ensemble de points caractéristiques choisis. Le suivi de ces points est réalisé par capture de mouvements optique ou magnétique, ou à l’aide des images filmées. Cette animation discrète est alors décomposée, à chaque image, sur une base d’expressions caractéristiques (joie, colère, etc.) qui peuvent être extraites automatiquement de l’animation réelle lors d’une phase de calibrage. C’est à dire que l’on cherche à exprimer la forme simplifiée du visage par composition linéaire d’un ensemble de visages de bases. Enfin, on peut réinjecter les résultats de cette décomposition dans un morphing d’un visage plus complexe et totalement différent topologiquement et géométriquement. L’utilisateur peut alors compléter et modifier l’animation résultante sur la base d’un outil qu’il connaît bien. Cet outil, actuellement utiliséen production par la société Mac Guff Ligne, permet de fournir une base de travail solide et simple pour l’animation de visages.