Three-dimensional facial measurement by portrait holography and texture based focus detection

Die vorliegende Arbeit behandelt das Problem der automatischen dreidimensionalen Gesichtsvermessung unter Verwendung des reellen Bildes eines analogen Hologramms durch die Detektion des Bildkontrastes, der durch die naturliche Struktur der Hautoberflache entsteht. Damit ist es zum ersten Mal moglich, digitale Modelle von Gesichtsoberflachen aus Portraithologrammen zu erstellen, die eine hochauflosende Textur beinhalten, die pixelgenau der Oberflache zugeordnet werden kann. Die vorgestellten Verbesserungen des Systems ermoglichen zudem augensichere Aufnahmen des Gesichts. Diese beiden Aspekte sind von entscheidender Bedeutung fur das Hauptanwendungsgebiet der holografischen Gesichtsvermessung, namlich die Planung und Bewertung von Operationen in der Mund-, Kiefer- und Gesichtschirurgie. Die Aufnahmen von Portraithologrammen werden mit einer holografischen Kamera durchgefuhrt, die mit einem gepulsten Laser arbeitet. Das reelle Bild der Objektwelle wird optisch rekonstruiert. Schnittbilder des dreidimensionalen reellen Bildes des Portraithologramms werden digital aufgezeichnet und numerisch ausgewertet. Das optische Auslesen des Hologramms wird im Rahmen dieser Arbeit durch die Kompensation von Abbildungsfehlern verbessert. Durch die so erreichte laterale Auflosung im reellen Bild (<100µm) ist es moglich, einzelne Hautporen der Gesichtsoberflache kontrastreich darzustellen. Damit kann die bisher notwendige Musterprojektion zur Kontrastverstarkung vermieden werden. Das hat den entscheidenden Vorteil, dass Streuscheiben zur Beleuchtung des Gesichts verwendet werden konnen, wodurch Augensicherheit bei der Aufnahme der Hologramme erreicht wird. Die Aufnahme der Schnittbilder des reellen Bildes wird verbessert, indem die bisherige Abbildung der Schnittbilder mittels einer Streuscheibe durch ein direktes Einlesen der Schnittbilder mit einem CMOS Dokumentenscanner ersetzt wird. Weiterhin wird ein komplementares Schema zur Bestimmung der Objektoberflache aus dem Hologramm untersucht, das auf Interferenz zwischen dem Referenzstrahl und dem virtuellen Bild des Referenzstrahls beruht. Zur Gewinnung der Objektoberflache aus einer Schnittbildserie des reellen Bildes wird digitale Bildverarbeitung angewendet. Ein Standardverfahren zur Fokusdetektion ist Kontrastmaximierung in einer lokalen lateralen Pixelumgebung. Ein solches Verfahren wird in Verbindung mit raumlicher Filterung zur Reduzierung von unscharfen Uberlagerungen und Bildrauschen auf die holografischen Daten angewendet. Die Ergebnisse werden mit denen eines neu entwickelten Ansatzes verglichen, der auf der Detektion axialer Fokuseigenschaften beruht. Kontrastmaximierung liefert aufgrund der guten Robustheit gegenuber Bildrauschen eine gute Annaherung an die gesuchte Oberflache. Das Ergebnis kann dann durch axiale Fokusdetektion deutlich verfeinert werden. Als Ergebnis der beschrieben Prozedur werden texturierte Computermodelle der Gesichtsoberflache gewonnen. Als Textur, die den Modellen zugeordnet wird, dient die Helligkeitsinformation aus dem reellen Bild an der Stelle der detektierten Oberflache. Zudem ist es nun auch moglich, Computermodelle aus Spiegelbildern zu erstellen, die im Hologramm aufgenommen werden. So konnen beispielsweise drei Ansichten eines Gesichts in einem einzigen Hologramm zeitgleich aufgezeichnet und anschliesend drei Computermodelle der Teilansichten gewonnen werden. Grundsatzlich lassen sich so auch Panorama-Aufnahmen eines Gegenstandes in einem einzigen Hologramm erfassen, wie anhand eines Testobjekts gezeigt wird. Schlieslich werden Anwendungsbeispiele prasentiert. Als typische medizinische Anwendung wird eine Epithesenanpassung vorgestellt. Die holografische Technologie kann kunftig unter Verwendung einer mobilen Holografiekamera in groserem Masstab in Kliniken eingesetzt werden. Eine Anwendung aus dem Bereich der Archaologie wird prasentiert. Auserdem wird anhand eines konkreten Falls gezeigt, dass Weichgewebedaten aus holografischer Gesichtsvermessung zur Bewertung verschiedener Verfahren der forensischen Gesichtsrekonstruktion verwendet werden konnen.

[1]  L. D. Siebert FRONT‐LIGHTED PULSE LASER HOLOGRAPHY , 1967 .

[2]  I A Abramowitz Evaluation of hologram imaging by ray tracing. , 1969, Applied optics.

[3]  François Blais Review of 20 years of range sensor development , 2004, J. Electronic Imaging.

[4]  Mark C. Jurich,et al.  Content-addressable holographic databases , 2000, SPIE Optics + Photonics.

[5]  G. Ziegelberger,et al.  International commission on non-ionizing radiation protection. , 2006, Progress in biophysics and molecular biology.

[6]  Adriana Nava-Vega,et al.  Correlation algorithm to recover the phase of a test surface using phase-shifting interferometry. , 2004, Optics express.

[7]  E. Champagne Nonparaxial Imaging, Magnification, and Aberration Properties in Holography* , 1967 .

[8]  J. Huppertz 2-D CMOS Bildsensorik mit integrierter Signalverarbeitung , 2000 .

[9]  永井 豊 海外文献紹介 Optical Engineering , 1998 .

[10]  Michael D. Abràmoff,et al.  Image processing with ImageJ , 2004 .

[11]  Karl A. Stetson Holographic surface contouring by limited depth of focus. , 1968, Applied optics.

[12]  Alexander Jesacher,et al.  Diffractive optical tweezers in the Fresnel regime. , 2004, Optics express.

[13]  E. Leith,et al.  Reconstructed Wavefronts and Communication Theory , 1962 .

[14]  F T Yu,et al.  Effect of emulsion thickness variations on wavefront reconstruction. , 1971, Applied optics.

[15]  Evgeny Gladilin,et al.  Biomechanical Modeling of Soft Tissue and Facial Expressions for Craniofacial Surgery Planning , 2003 .

[16]  A. B. Vander Lugt,et al.  Signal detection by complex spatial filtering , 1964, IEEE Trans. Inf. Theory.

[17]  M Toyama,et al.  Unevenness of illuminance caused by gradient-index fiber arrays. , 1980, Applied optics.

[18]  Kenneth A Haines,et al.  Contour generation by wavefront reconstruction , 1965 .

[19]  S. Eisebitt,et al.  Lensless imaging of magnetic nanostructures by X-ray spectro-holography , 2004, Nature.

[20]  Edinburgh , 1875 .

[21]  Max A. Viergever,et al.  Quantitative evaluation of convolution-based methods for medical image interpolation , 2001, Medical Image Anal..

[22]  Guofan Jin,et al.  Experiment on parallel correlated recognition of 2030 human faces based on speckle modulation. , 2004, Optics express.

[23]  B. A. Tozer,et al.  Holography as a Measuring Tool , 1980 .

[24]  Guy Godin,et al.  Accurate 3D acquisition of freely moving objects , 2004, Proceedings. 2nd International Symposium on 3D Data Processing, Visualization and Transmission, 2004. 3DPVT 2004..

[25]  Hui Meng,et al.  Digital Holographic PIV for 3D Flow Measurement , 2002 .

[26]  J. H. Massig,et al.  Digital off-axis holography with a synthetic aperture. , 2002, Optics letters.

[27]  W. Bragg Microscopy by Reconstructed Wave-fronts , 1950, Nature.

[28]  D A Ansley,et al.  Techniques for pulsed laser holography of people. , 1970, Applied optics.

[29]  A D Gara,et al.  Holographic system for automatic surface mapping. , 1973, Applied optics.

[30]  W Lama,et al.  Optical properties of GRIN fiber lens arrays: dependence on fiber length. , 1982, Applied optics.

[31]  W. Hentschel,et al.  Recording and automatical analysis of pulsed off-axis holograms for determination of cavitation nuclei size spectra , 1985 .

[32]  Klaus D. Hinsch REVIEW ARTICLE: Holographic particle image velocimetry , 2002 .

[33]  Journal of the Optical Society of America , 1950, Nature.

[34]  Daniel Bielser A framework for open surgery simulation , 2003 .

[35]  G Haussmann,et al.  Determination of size and position of fast moving gas bubbles in liquids by digital 3-D image processing of hologram reconstructions. , 1980, Applied optics.

[36]  L. D. Siebert Large-scene front-lighted hologram of a human subject , 1968 .

[37]  O. H. Lowry Academic press. , 1972, Analytical chemistry.

[38]  Andrea Thelen,et al.  Iterative focus detection in hologram tomography. , 2005, Journal of the Optical Society of America. A, Optics, image science, and vision.

[39]  Mumin Song,et al.  Overview of three-dimensional shape measurement using optical methods , 2000 .

[40]  Shree K. Nayar,et al.  Shape from Focus , 1994, IEEE Trans. Pattern Anal. Mach. Intell..

[41]  A Face for German Bog Man , 2002, Science.

[42]  H. Damasio,et al.  IEEE Transactions on Pattern Analysis and Machine Intelligence: Special Issue on Perceptual Organization in Computer Vision , 1998 .

[43]  J. N. Latta,et al.  Computer-Based Analysis of Hologram Imagery and Aberrations II: Aberrations Induced by a Wavelength Shift. , 1971, Applied optics.

[44]  B. Niemann,et al.  Computed tomography of cryogenic biological specimens based on X-ray microscopic images. , 2000, Ultramicroscopy.

[45]  Ralph F. Wuerker,et al.  HOLOGRAPHIC PHOTOGRAPHY OF HIGH‐SPEED PHENOMENA WITH CONVENTIONAL AND Q‐SWITCHED RUBY LASERS , 1965 .

[46]  J W C Gates The influence of holography on measurement technology , 1986 .

[47]  W. Waidelich,et al.  [Coherent optics]. , 1973, Strahlenschutz in Forschung und Praxis.

[48]  Chris Jacobsen,et al.  Achromatic Fresnel optics for wideband extreme-ultraviolet and X-ray imaging , 2003, Nature.

[49]  Naoki Asada,et al.  Edge and Depth from Focus , 2004, International Journal of Computer Vision.

[50]  R. Lathe Phd by thesis , 1988, Nature.

[51]  J. N. Latta,et al.  Computer-based analysis of hologram imagery and aberrations. I. Hologram types and their nonchromatic aberrations. , 1971, Applied optics.

[52]  B. P. Hildebrand,et al.  The generation of three-dimensional contour maps by wavefront reconstruction , 1966 .

[53]  Andrea Thelen,et al.  Ultrafast holographic technique for 3D in situ documentation of cultural heritage , 2003, SPIE Optical Metrology.

[54]  Tae-Sun Choi,et al.  Focusing techniques , 1992, Other Conferences.

[55]  Parameswaran Hariharan,et al.  Two-index holographic contouring: application of digital techniques , 1984 .

[56]  Caroline Wilkinson,et al.  Forensic Facial Reconstruction , 2004 .

[57]  Luciano da Fontoura Costa,et al.  Shape Analysis and Classification: Theory and Practice , 2000 .

[58]  A. Hall Applied Optics. , 2022, Science.

[59]  Heather Catherine Gill-Robinson,et al.  The Iron Age bog bodies of the Archaeologisches Landesmuseum, Schloss Gottorf, Schleswig, Germany , 2005 .

[60]  Yong Li,et al.  Numerical reconstruction of digital holograms for three-dimensional shape measurement , 2004 .

[61]  Charles K. Rhodes,et al.  Prospects for x-ray holography with free-electron lasers , 1990, Photonics West - Lasers and Applications in Science and Engineering.

[62]  Chris Jacobsen,et al.  Diffractive x-ray optics using production fabrication methods , 2003 .

[63]  I. Bányász,et al.  Holographic image of a point source in the presence of misalignment. , 1988, Applied optics.

[64]  Reinhard W. Meier,et al.  Magnification and Third-Order Aberrations in Holography* , 1965 .

[65]  Hans I. Bjelkhagen,et al.  Silver-Halide Recording Materials: for Holography and Their Processing , 1993 .

[66]  Emmett N. Leith,et al.  Wavefront Reconstruction with Continuous-Tone Objects* , 1963 .

[67]  E. Cuche,et al.  Simultaneous amplitude-contrast and quantitative phase-contrast microscopy by numerical reconstruction of Fresnel off-axis holograms. , 1999, Applied optics.

[68]  P. Hobson,et al.  Effect of spherical aberration on real-image fidelity from replayed in-line holograms of underwater objects. , 1998, Applied optics.

[69]  D. Gabor A New Microscopic Principle , 1948, Nature.

[70]  S Johansson,et al.  Performance of a phase-shifting speckle interferometer for measuring deformation and vibration , 1989 .

[71]  A D Gara,et al.  Accuracy of holographic images. , 1972, Applied optics.

[72]  N Abramson Holographic contouring by translation. , 1976, Applied optics.

[73]  Wenyang Sun,et al.  Volume holographic imaging for surface metrology with long working distances , 2004, SPIE Optics East.

[74]  W B Ribbens,et al.  Dual Index Holographic Contour Mapping over a Large Range of Contour Spacings. , 1975, Applied optics.

[75]  D. Grier A revolution in optical manipulation , 2003, Nature.

[76]  Jens Bongartz,et al.  Hochauflösende dreidimensionale Gesichtsprofilvermessung mit kurzgepulster Holographie , 2002 .

[77]  Daniel Carl,et al.  Parameter-optimized digital holographic microscope for high-resolution living-cell analysis. , 2004, Applied optics.