Autonomous space resection using Point‐ and Line‐Based representation of FREE‐FORM control Linear Features

Automatic single photo resection (SPR) remains one of the challenging problems in digital photogrammetry. Visibility and uniqueness of distinct control points in the input imagery limit robust automation of the space resection procedure. Recent advances in photogrammetry mandate adopting higher-level primitives, such as free-form control linear features, for replacing traditional control points. Linear features can be automatically extracted from the image space. On the other hand, object space control linear features can be obtained from an existing GIS layer containing 3D vector data such as road networks or from newly developed terrestrial mobile mapping systems (MMS). In this paper, two different approaches are presented for simultaneously determining the position and attitude of the imagery as well as the correspondence between image and object space linear features. These approaches are based on two representation schemes of the linear features. The first one represents the linear feature by a sequence of 2D and 3D points along the linear feature in the image and object space, respectively. The second scheme assumes that the feature is modelled by polylines (a sequence of straight-line segments). Neither approach requires one-to-one correspondence between image and object space primitives, which makes the suggested methodology robust against changes and/or discrepancies between the data-sets involved. This characteristic will be helpful in detecting and dealing with changes between object and image space linear features (due to temporal effects for example). The parameter estimation and matching follow an optimal sequential procedure that is developed and described within this paper, which depends on the sensitivity of the mathematical model relating corresponding primitives at various image regions to incremental changes in the exterior orientation parameters (EOP). Experiments are conducted to compare the algorithms’ efficiency and the accuracy of the estimated EOP using both approaches. Experimental results using real data demonstrate the feasibility and robustness of both representation schemes as well as the methodologies developed. Moreover, different generalisation levels of the polylines representing the free-form linear features are compared. Resume Le relevement automatique dans l'espace d'une photographie separee reste encore l'un des problemes les plus difficiles de la photogrammetrie numerique. L'identification et l'unicite de points d'appui bien distincts dans l'imagerie a traiter freinent la robustesse de l'automatisation dans la methode du relevement dans l'espace. Les progres recents de la photogrammetrie incitent a utiliser des primitives de plus haut niveau tels que des objets presentant des elements lineaires de forme libre pouvant servir d'appui a la place des traditionnels points d'appui. On peut extraire automatiquement ces elements lineaires dans l'espace-image. De plus, on peut obtenir des elements lineaires d'appui dans l'espace-objet a partir d'un SIG existant contenant des donnees 3D sous forme vecteur comme le reseau routier par exemple ou a partir des nouveaux systemes terrestres mobiles de cartographie. On presente dans cet article deux methodes permettant de determiner simultanement la position et l'attitude de l'imagerie ainsi que la correspondance entre les elements lineaires de l'espace-objet et de l'espace-image. Ces methodes sont basees sur deux facons differentes de representer ces elements lineaires. La premiere les represente sous la forme d'une suite de points en 2D et 3D situes le long d'un element lineaire dans l'espace-objet comme dans l'espace-image. La seconde suppose que ces elements lineaires sont modelises par des lignes polygonales (suites de segments de lignes droites). Aucune de ces methodes ne necessite de faire correspondre l'une a l'autre les primitives des espaces-objet et image, ce qui les rend tout a fait robustes vis-a-vis de modifications ou d’ecarts entre les jeux de donnees en question. Cette caracteristique est particulierement utile pour detecter et traiter tout changement intervenu, sous l'effet du temps notamment, entre les elements lineaires des espaces-objet et image. On presente dans cet article la procedure sequentielle optimisee que suivent l'estimation des parametres d'orientation et l'appariement des elements, qui depend de la sensibilite du modele mathematique, relatif aux primitives correspondantes dans les diverses zones de l'image, aux variations incrementales des parametres d'orientation externe (EOP). On a effectue des essais pour comparer l'efficacite des algorithmes et la precision obtenue sur ces parametres EOP dans chacune des deux methodes. Les resultats d'essais menes sur des donnees reelles montrent la faisabilite et la robustesse des deux methodes de representation des elements lineaires et de traitement. On compare de plus divers degres de generalisation des lignes polygonales modelisant des elements lineaires de forme libre. Zusammenfassung Der automatische Einzelbild-Ruckwartsschritt (SPR) ist immer noch eine der Herausforderungen in der Digitalen Photogrammetrie. Die Sichtbarkeit und Eindeutigkeit von ausgesuchten Passpunkten im Eingabebild begrenzen die robuste Automation des Ruckwartsschnittes. Jungste Fortschritte in der Photogrammetrie fordern, hoherwertige Primitive zu verwenden, wie z.B. Lineare Passmerkmale mit beliebiger Form, die die klassischen Passpunkte ersetzen. Lineare Merkmale konnen automatisch aus dem Bildraum abgeleitet werden. Andererseits konnen lineare Passmerkmale im Objektraum entweder aus einem existierenden GIS abgeleitet werden, das dreidimensionale Vektordaten wie Strassennetze beeinhaltet, oder aus jungst entwickelten terrestrischen mobilen Kartierungssystemen (MMS). In diesem Beitrag werden zwei verschiedene Ansatze zur simultanen Bestimmung von Lage und Orientierung der Bilddaten sowie zur Bestimmung der Zuordnung zwischen linearen Merkmalen im Bild- und Objektraum vorgestellt. Beide Ansatze basieren auf zwei Reprasentationsschemata fur die linearen Merkmale. Das erste Schema reprasentiert das lineare Merkmal als eine Sequenz von 2D bzw. 3D Punkten entlang des linearen Merkmals im Bild- bzw. Objektraum. Das zweite Schema nimmt an, dass das Merkmal durch ein Polygon, als Sequenz von geraden Linienstucken modelliert wird. Keiner der Ansatze verlangt eine eins-zu-eins Zuordnung zwischen Bild- und Objektraummerkmalen, was die vorgeschlagenen Methoden robust gegenuber Anderungen oder Unstimmigkeiten zwischen den Datensatzen macht. Diese Eigenschaft wird bei der Detektion und Behandlung von Anderungen zwischen den linearen Merkmalen im Objekt- und Bildraum hilfreich sein, die z.B. durch temporale Effekte verursacht werden. Die Parameterschatzung und die Zuordnung folgen einer optimalen, sequentiellen Prozedur, die in diesem Beitrag entwickelt und beschrieben wird. Diese Prozedur hangt von der Sensitivitat des mathematischen Models ab, das zugeordnete Primitive aus verschiedenen Bildbereichen mit inkrementalen Anderungen in den Parametern der ausseren Orientierung (EOP) in Verbindung setzt. In empirischen Experimenten werden die Effizienz der beiden Algorithmen und die Genauigkeit der geschatzten Parameter der ausseren Orientierung verglichen. Bei Untersuchungen mit realen Daten wird die Anwendbarkeit und Robustheit beider Reprasentationschemata und der verbundenen Methoden demonstriert. Daruberhinaus werden auch verschiedene Generalisierungsstufen der Polygone zur Reprasentation der Freiform Merkmale verglichen.