Ein generischer Ansatz zur Integration multimodaler Benutzereingaben

Basierend auf den Ergebnissen einer umfangreichen Usability-Untersuchung wird in der vorliegenden Arbeit ein generisches Konzept fur die Verarbeitung multimodaler Benutzereingaben vorgestellt. Die zugrundeliegende Systemarchitektur operiert auf einer abstrakten Modellierung semantisch-dekodierter Benutzereingaben und ist unabhangig sowohl von der Art und der Anzahl der Eingabegerate als auch von der Anwendungsdomane universell verwendbar. Es wird ein innovativer, hybrider Integrationsalgorithmus diskutiert, der an das Prinzip der naturlichen Evolution angelehnt ist. Mehrere Losungshypothesen konkurrieren miteinander im Hinblick auf eine optimale Interpretation der Benutzerinteraktionen. Das Mas fur die Sicherheit einer spezifischen Integrationshypothese wird aus einer statistisch gewichteten Bewertung ermittelt, in der die semantische Reprasentation der aktuellen Benutzereingabe, die zeitlichen Beziehungen zwischen den Symbolsequenzen, die Zustande der einzelnen Systemmodule, empirische Benutzerdaten und vorherige Integrationsergebnisse eingehen. Spezielle genetische Operatoren verbinden die Eigenschaften von guten Problemlosungen und erzeugen in einem iterativen Prozess neue Integrationsergebnisse. In Kombination mit einer regelbasierten Vorverarbeitung fur die zeitliche Segmentierung zusammengehoriger Informationsanteile ermoglicht dieses Konzept einen flexiblen, intuitiven und fehlerrobusten Mensch-Maschine-Dialog. Die Leistungsfahigkeit des Systems wird anhand von verschiedenen Demonstratoren unter Beweis gestellt.