Ein hybrides Bildanalyse-System für einen künstlichen Kommunikator

SummaryIn this contribution, we present the “visual system” of an artificial communicator, which enables the communicator to recognize objects (wooden toy pieces) in camera images. It is based on a hybrid approach, which applies artificial neural nets for a holistic representation of low level knowledge. The transition to the symbolic level is realized using a semantic network as a knowledge base containing explicit object models. In the next processing step, the information extracted from single images is integrated by a scene memory to a representation suitable for the artificial communicator. On the one hand, the memory stabilizes the data extracted from static scenes, on the other hand it realizes an efficient representation of changing scenes calculating the “difference”. By these means, other modules of the communicator working on different time scales can access the scene information interactively, which is the prerequisite for a dialogue with the user.ZusammenfassungIn diesem Beitrag wird das “Sehsystem” eines künstlichen Kommunikators vorgestellt, das die Erkennung von Objekten (Holzspielzeug) in Kamerabildern ermöglicht. Es basiert auf einem hybriden Ansatz, der künstliche neuronale Netze zur holistischen Repräsentation signalnahen Wissens einsetzt. Der Übergang zur symbolischen Ebene erfolgt durch die Ankopplung einer Wissens-basis, die auf einer expliziten Objektmodellierung durch ein semantisches Netzwerk beruht. In der nächsten Verarbeitungsstufe werden die aus Einzelbildern gewonnenen Informationen durch ein Szenengedächtnis zu einer für den künstlichen Kommunikator geeigneten Repräsentation integriert. Das Gedächtnis erreicht zum einen eine Stabilisierung der aus statischen Szenen gewonnenen Daten, zum anderen durch Bildung einer “Differenz” eine effiziente Speicherung sich verändernder Szeneninhalte. Damit wird anderen, auf verschiedenen Zeitskalen arbeitenden Modulen des Kommunikators eine interaktive Abfrage der Szeneninformation ermöglicht, was die Voraussetzung für einen Dialog mit dem Benutzer darstellt.

[1]  Heinrich Niemann,et al.  Control and explanation in a signal understanding environment , 1993, Signal Process..

[2]  Subutai Ahmad,et al.  Visit: an efficient computational model of human visual attention , 1992 .

[3]  Teuvo Kohonen,et al.  Self-Organization and Associative Memory , 1988 .

[4]  Nicholas R. Jennings,et al.  Agent Theories, Architectures, and Languages: A Survey , 1995, ECAI Workshop on Agent Theories, Architectures, and Languages.

[5]  T. Poggio,et al.  A network that learns to recognize three-dimensional objects , 1990, Nature.

[6]  R. Kirk.  Language, Thought, and Other Biological Categories , 1985 .

[7]  Mark C. Torrance,et al.  Natural communication with robots , 1994 .

[8]  Nils J. Nilsson,et al.  Problem-solving methods in artificial intelligence , 1971, McGraw-Hill computer science series.

[9]  Kenji Doya,et al.  Efficient Nonlinear Control with Actor-Tutor Architecture , 1996, NIPS.

[10]  Franz Kummert,et al.  Interpretation von Bild- und Sprachsignalen: ein hybrider Ansatz , 1998 .

[11]  Jan-Torsten Milde,et al.  CoRA - An Instructable robot , 1998, DARS.

[12]  Jan-Torsten Milde,et al.  Action-Centered Communication with an Embedded Agent , 1998, FLAIRS Conference.

[13]  Luc Steels,et al.  The Origins of Syntax in Visually Grounded Robotic Agents , 1997, IJCAI.

[14]  Helge J. Ritter,et al.  A Hybrid Object Recognition Architecture , 1996, ICANN.

[15]  Reinhard Fiehler.  Kommunikation und Kooperation : theoretische u. empirische Untersuchungen zur kommunikativen Organisation kooperativer Prozesse , 1980 .

[16]  Stefan Zadel,et al.  An Algorithm for Bootstrapping the Core of a Biologically Inspired Motor Control System , 1996, ICANN.

[17]  Frans C. A. Groen,et al.  CNN: a neural architecture that learns multiple transformations of spatial representations , 1994 .

[18]  S. Franklin.  Artificial Minds , 1995 .

[19]  Ulrich Büker.  Wissensbasierte Bilderkennung mit symbolischen und neuronal repräsentierten Merkmalen , 1996 .

[20]  Pascal Blanchet,et al.  An architecture for representing and learning behaviors by trial and error , 1994 .

[21]  Bärbel Mertsching,et al.  Integration of Static and Dynamic Scene Features Guiding Visual Attention , 1997, DAGM-Symposium.

[22]  David Chapman,et al.  What are plans for? , 1990, Robotics Auton. Syst..

[23]  Daniel Schlüter,et al.  Perzeptives Gruppieren von Ko- und Kurvilinearitäten mittels Markov Random Fields , 1996, DAGM-Symposium.

[24]  Georg Hartmann,et al.  Wissensbasierte Bilderkennung mit neuronal repräsentierten Merkmalen , 1995, DAGM-Symposium.

[25]  Paul F. M. J. Verschure,et al.  Optimizing Self-Organizing Control Architectures with Genetic Algorithms: The Interaction Between Natural Selection and Ontogenesis , 1992, PPSN.

[26]  Christopher M. Brown,et al.  Task-oriented vision with multiple Bayes nets , 1993 .

[27]  Michael I. Jordan,et al.  Task Decomposition Through Competition in a Modular Connectionist Architecture: The What and Where Vision Tasks , 1990, Cogn. Sci..

[28]  Gunther Heidemann,et al.  Ein flexibel einsetzbares Objekterkennungssystem auf der Basis neuronaler Netze , 1998, DISKI.

[29]  H. Ritter,et al.  A distributed system for integrated speech and image understanding , 2002, Proceedings Mexico-USA Collaboration in Intelligent Systems Technologies..

[30]  Rodney A. Brooks,et al.  A Robust Layered Control Syste For A Mobile Robot , 2022 .

[31]  Bart L. M. Happel,et al.  Design and evolution of modular neural network architectures , 1994, Neural Networks.

[32]  L. Weiskrantz,et al.  Thought Without Language , 1988 .

[33]  Helge J. Ritter,et al.  GREFIT: Visuelle Erkennung kontinuierlicher Handposten , 1998, GI Jahrestagung.

[34]  Rodney A. Brooks,et al.  Challenges for complete creature architectures , 1991 .

[35]  Stephen Grossberg,et al.  A Self-Organizing Neural Network Architecture for Navigation Using Optic Flow , 1998, Neural Computation.

[36]  A. Clark.  Being There: Putting Brain, Body, and World Together Again , 1996 .

[37]  Jan-Torsten Milde,et al.  Situated Communication with Robots , 1999 .

[38]  Michael Wooldridge,et al.  Intelligent Agents III , 1997 .

[39]  Arthur C. Graesser,et al.  Is it an Agent, or Just a Program?: A Taxonomy for Autonomous Agents , 1996, ATAL.

[40]  Helge Ritter,et al.  3D Real-time Tracking of Points of Interest based on Zero-disparity Filtering , 1998 .