Multimodale Interaktion mit einem System zur Virtuellen Konstruktion

Dieser Beitrag stellt ein System fur die sprachlich-gestische Interaktion zur Steuerung eines Systems zur Virtuellen Konstruktion vor. Eine Ubersicht uber verschiedene Manipulationsaufgaben in dieser Domane dient als Grundlage, um Interaktionsbeispiele zu erlautern. Neben deiktischen Gesten des Benutzers werden mimetische Gesten, die gewunschte Veranderungen „vormachen“, betrachtet. Diese werden durch sprachliche oder gestische Trigger eingeleitet und bewirken eine Anpassung in den Funktionsmodi der Auswertung, wobei zwischen diskreten und kontinuierlichen Interaktionen unterschieden wird. Um kontinuierliche Modifikationen in der virtuellen Szene umzusetzen, werden neben dem Konzept der Manipulatoren sogenannte Aktuatoren als Reprasentanten fur Benutzermodalitaten sowie Motion-Modifikatoren zur Korrektur unscharfer Sensor-Eingaben eingefuhrt.

[1]  John B. Shoven,et al.  I , Edinburgh Medical and Surgical Journal.

[2]  A BoltRichard,et al.  Put-that-there , 1980 .

[3]  Marc Erich Latoschik,et al.  Knowledge-based assembly simulation for virtual prototype modeling , 1998, IECON '98. Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society (Cat. No.98CH36200).

[4]  Henrik Tramberend,et al.  Avocado: a distributed virtual reality framework , 1999, Proceedings IEEE Virtual Reality (Cat. No. 99CB36316).

[5]  Alan Wexelblat,et al.  An approach to natural gesture in virtual environments , 1995, TCHI.

[6]  Franz Kummert,et al.  Incremental speech recognition for multimodal interfaces , 1998, IECON '98. Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society (Cat. No.98CH36200).

[7]  P ? ? ? ? ? ? ? % ? ? ? ? , 1991 .

[8]  Mark T. Maybury,et al.  Intelligent multimedia interfaces , 1994, CHI Conference Companion.

[9]  Roger B. Dannenberg,et al.  Multimedia interface design , 1992 .

[10]  Richard A. Bolt,et al.  “Put-that-there”: Voice and gesture at the graphics interface , 1980, SIGGRAPH '80.

[11]  Marc Erich Latoschik,et al.  Exploiting Distant Pointing Gestures for Object Selection in a Virtual Environment , 1997, Gesture Workshop.

[12]  Klaus Boehm,et al.  Dynamic gesture recognition using neural networks: a fundament for advanced interaction construction , 1994, Electronic Imaging.

[13]  Marc Erich Latoschik,et al.  Utilize speech and gestures to realize natural interaction in a virtual environment , 1998, IECON '98. Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society (Cat. No.98CH36200).

[14]  Britta Lenzmann,et al.  Benutzeradaptive und multimodale Interface-Agenten , 1998, DISKI.

[15]  Carla Huls,et al.  Automatic Referent Resolution of Deictic and Anaphoric Expressions , 1995, CL.

[16]  Kristinn R. Thórisson,et al.  Integrating Simultaneous Input from Speech, Gaze, and Hand Gestures , 1991, AAAI Workshop on Intelligent Multimedia Interfaces.

[17]  David Weimer,et al.  Interaction techniques using hand tracking and speech recognition , 1992 .

[18]  Alexander G. Hauptmann,et al.  Gestures with Speech for Graphic Manipulation , 1993, Int. J. Man Mach. Stud..