Trajectory Reconstruction Using Long Sequences of Digital Images From an Omnidirectional Camera

Wir prasentieren einen Ansatz, um lange Bildfolgen einer omnidirektionalen Kamera mittels Bundelausgleichung auszuwerten. Wir nutzen Bilder des Multikamerasystems Ladybug3 von PointGrey, welches aus sechs Einzelkameras besteht. Die gegenseitige Uberdeckung aufeinanderfolgender Bilder ist gros; Verknupfungen zwischen weit entfernten Bildern kommen nur uber Schleifenschlusse zustande. Zwei Probleme sind zu losen: (1) Die Bundelausgleichung muss Bilder einer omnidirektionalen Kamera verarbeiten und (2) Ausreissersuche und Naherungswertbestimmung mussen mit der speziellen Aufnahmegeometrie umgehen konnen. Wir losen Problem (1) indem wir die Einzelkameras der Ladybug zu einer virtuellen Kamera zusammenfassen und fur die Bundelausgleichung ein spharisches Modell verwenden. Die Ausreisserdetektion (2) erfolgt uber lokale Bundelausgleichungen benachbarter Bilder und anschliesende robuste Gesamtbundelausgleichung. Ein Inertialnavigationssystem liefert die benotigten Naherungswerte fur die Kamerapositionen. We present a method to perform bundle adjustment using long sequences of digital images from an omnidirectional camera. We use the Ladybug3 camera from PointGrey, which consists of six individual cameras pointing in different directions. There is large overlap between successive images but only a few loop closures provide connections between distant camera positions. We face two challenges: (1) to perform a bundle adjustment with images of an omnidirectional camera and (2) implement outlier detection and estimation of initial parameters for the geometry described above. Our program combines the Ladybug’s individual cameras to a single virtual camera and uses a spherical imaging model within the bundle adjustment, solving problem (1). Outlier detection (2) is done using bundle adjustments with small subsets of images followed by a robust adjustment of all images. Approximate values in our context are taken from an on-board inertial navigation system.