Crossmodal learning and prediction of autobiographical episodic experiences using a sparse distributed memory

This work develops a connectionist memory model for a service robot that satisfies a number of desiderata: associativity, vagueness, approximation, robustness, distribution and parallelism. A biologically inspired and mathematically sound theory of a highly distributed and sparse memory serves as the basis for this work. The so-called sparse distributed memory (SDM), developed by P. Kanerva, corresponds roughly to a random-access memory (RAM) of a conventional computer but permits the processing of considerably larger address spaces. Complex structures are represented as binary feature vectors. The model is able to produce expectations of world states and complement partial sensory patterns of an environment based on memorised experience. Caused by objects of the world, previously learnt experiences will activate pattern sequences in the memory and claim the system's attention. In this work, the sparse distributed memory concept is mainly considered a biologically inspired and content-addressable memory structure. It is used to implement an autobiographical long-term memory for a mobile service-robot to store and retrieve episodic sensor and actuator patterns. Within the scope of this work the sparse distributed memory concept is applied to several domains of mobile service robotics, and its feasibility for the respective areas of robotics is analysed. The studied areas range from pattern matching, mobile manipulation, navigation, telemanipulation to crossmodal integration. The robot utilises properties of sparse distributed memory to detect intended actions of human teleoperators and to predict the residual motion trajectory of initiated arm or robot motions. Several examples show the model's fast and online learning capability for precoded and interactively provided motion sequences of a 6 DoF robot arm. An appropriate encoding of sensor-based information into a binary feature space is discussed and alternative coding schemes are elucidated. A transfer of the developed system to robotic subfields such as vision-based navigation is discussed. The model's performance is compared across both of these domains, manipulation and navigation. A hierarchical extension enables the memory model to link low-level sensory percepts to higher-level semantic task descriptions. This link is used to perform a classification of demonstrated telemanipulation tasks based on the robot's experience in the past. Tests are presented where different sensory patterns are combined into an integrated percept of the world. Those crossmodal percepts are used to dissolve ambiguities that may arise from unimodal perception. In dieser Arbeit wird ein konnektionistisches Gedachtnismodell fur einen Service-Roboter realisiert, das eine Riege von Desiderata erfullen soll: Assoziativitat, Unscharfe, Approximitat, Robustheit, Verteiltheit und Parallelismus. Als Grundlage dient die von P. Kanerva entwickelte und biologisch inspirierte Theorie eines hochgradig verteilten und dunn besetzten Speichers, engl. Sparse Distributed Memory (SDM). Es entspricht generell einem Speicher ahnlich dem Random-Access Memory (RAM) eines Computers wobei ein weitaus groserer Adressraum abgedeckt werden kann. Komplexe Strukturen werden als sehr lange Vektoren eines binaren Merkmalsraums auf das Gedachtnismodell abgebildet. Das Modell erzeugt Erwartungen und vervollstandigt partielle Wahrnehmungen der Umwelt mittels gespeicherter Sensordaten. Ausgelost durch Objekte der Umwelt werden zuvor gelernte Erfahrungen durch Folgen von Aktivierungsmustern im Fokus der Aufmerksamkeit des technischen Systems dargestellt. Primar wird in dieser Arbeit das Sparse Distributed Memory als eine dem menschlichen Vorbild ahnliche Gedachtnisstruktur zur autobiographischen Langzeitspeicherung von Erfahrungsmustern diskutiert. Diese Arbeit prasentiert die Ubertragung des Sparse Distributed Memory Konzepts auf verschiedenste Domanen der mobilen Service-Robotik und analysiert dessen Eignung fur die jeweiligen Bereiche. Diese Bereiche umfassen die mobile Manipulation, Navigation, Telemanipulation und die kreuzmodale Integration verschiedenartiger Sensormuster. Der Roboter nutzt die pradiktiven Eigenschaften des Modells um beispielsweise Intentionen von Teleoperatoren zu erkennen und initiierte Roboterarm-Bewegungsmuster sowie mobile Navigationsaufgaben autonom zu Ende zu fuhren. Verschiedenste Anwendungsszenarien zeigen die schnelle Lernfahigkeit von kodierten sowie interaktiven Manipulationssequenzen eines Roboterarms mit sechs Freiheitsgraden mittels einer vorwartsgerichteten, neuronalen Architektur, die das SDM darstellt. Dabei werden u.a. die Probleme der Informationsenkodierung von Sensordaten in einen binaren Merkmalsraum erortert und weitere Kodierungsmoglichkeiten untersucht. Die Ubertragung des Modells auf andere Modalitaten zur Losung von visuellen Navigationsaufgaben wird dargestellt und das Verhalten des Modells bezuglich der Manipulationsdomane verglichen. Durch eine hierarchische Erweiterung des Gedachtnismodells wird es ermoglicht, Sensorwahrnehmungen mit semantischen Konzepten hoheren Abstraktionsgrades zu verknupfen um beispielsweise Ziele einer interaktiven Telemanipulationsaufgabe fruhzeitig zu ermitteln. Es werden Untersuchungen prasentiert, die eine kreuzmodale Integration verschiedenartiger Sensormuster zu einem multimodalen Perzept der Umgebung darstellen, um Ambiguitaten unimodaler Wahrnehmungen zu kompensieren.