Supernatural and Comfortable User Interfaces for Basic 3D Interaction Tasks

The renewed interest in virtual reality (VR) in the last 5-10 years led to a necessity of the development of new 3D user interfaces (3DUIs) to interact with three-dimensional content. Mainly due to the vastly superior, affordable hardware, VR is on the way to become a common sight in our daily lives. 3DUIs still pose many challenges, such as distance misperception and the lack of guidelines on the placement or use of UI elements since many guidelines for 2DUIs are not necessarily valid in 3D. Technological advances allowed the reliable tracking of the user, compared to traditional discrete button input. These advances evoked the development of natural user interfaces (NUIs), which enable users to interact with computers using simple gestures, voice and other means previously reserved for inter-human communication. NUIs offer the advantage of being easier to learn for novice users, but a direct mapping of physical movements to VR can be physically tiring after short use. Supernatural user interfaces (SNUIs) are interfaces which are still inspired by the ways humans interact with one another or with their environment, but not limited by it. SNUIs permit actions which are not possible in the physical world. Examples would include teleportation or floating interface elements. Since virtual realities allow developers or users to set the rules within a world, the way users interact with virtual environments (VEs) can also be supernatural. Natural interaction can still inspire these interactions, however, they are less limited by natural constraints. The goal of this thesis is to develop and evaluate supernatural basic interactions for tasks such as selection and travel within 3DUIs. The contributions in this thesis are split into three main parts. Within the first part, the contributions regarding performance in 3DUIs are shown. First, hover interactions for stereoscopic, head-tracked setups are evaluated. Based on user feedback, a HoverSpace above virtual objects is presented, allowing users to acquire additional information about objects. Afterwards, the interaction space for fully-immersive HMD environments analyzed, showing that distance misperceptions within the line-of-sight are the primary cause of selection errors 3DUIs. These observations led to the investigation of the effects of comfort on 3DUIs. We show that during prolonged use, users are more efficient at direct 3D selection tasks when they have a more comfortable workspace. Using these results, adaptive 3DUIs are presented, which are always positioned around a user’s arm joints, reducing the fatigue during extended tasks. Finally, a supernatural selection technique is evaluated, giving user’s more than just two virtual hands, subdividing the interaction space and requiring fewer arm movements. Within the third part, travel in VR is analyzed. Following the supernatural principle, instead of offering purely natural walking, three different flying setups are presented, one requiring the user to be seated and two where the user is suspended in the air. All three generate a high sense of presence, but all of them also increase cybersickness symptoms in participants. Thus, for further research, walking-based travel techniques were evaluated. Within a study, it was shown that redirected walking, although subconsciously manipulating participants, causes a significantly higher cognitive load. Despite that, a solution for the commonly observed reluctance of users to walk at a natural pace through VE is presented. This Safety-Sphere is using a distinctive, round area within the physical tracking space to provide users with an area without any manipulation. Users had to leave the sphere to travel to other places within the VE. There they were redirected at an optimal rate. Additionally, this thesis presents the hardware developed throughout this thesis, a stereoscopic multi-touch table, and a low-resolution peripheral vision stimulation to enhance presence and increase the field-of-view (FOV) of head-mounted displays (HMDs). Das erneute Interesse an Virtual Reality (VR) in den letzten Jahren fuhrte zur Entwicklung von 3D User Interfaces (3DUIs) zur Interaktion mit dreidimensionalen Inhalten. Vor allem wegen der inzwischen uberlegenen, erschwinglichen Hardware ist VR nun auf dem Weg, ein alltaglicher Anblick zu werden. Bei der Entwicklung von 3DUIs gibt es weiterhin viele Herausforderungen, wie z. B. die Fehleinschatzung von Distanzen in VR und das Fehlen von Richtlinien fur die Platzierung oder Verwendung von UI-Elementen, da viele Richtlinien fur 2DUIs nicht unbedingt in 3D gultig sind. Technologische Fortschritte ermoglichten das zuverlassige Tracken des Benutzers im Vergleich zur herkommlichen diskreten Tasteneingabe. Dies fuhrte zur Entwicklung von naturlichen Benutzerschnittstellen (NUIs), die es Benutzern ermoglichen, mit einfachen Gesten, Sprache und anderen Mitteln, die zuvor fur die zwischenmenschliche Kommunikation reserviert waren, mit Computern zu interagieren. NUIs bieten den Vorteil, dass sie fur Anfanger einfacher zu erlernen sind. Eine direkte Zuordnung von physischen Bewegungen zu VR kann jedoch nach kurzem Gebrauch anstrengend sein. In Anbetracht dessen, wie korperlich anstrengend NUIs sein konnen, sollen neue, ubernaturliche Interaktionen die langfristige Nutzung von VR ermoglichen. Da VR es Entwicklern oder Benutzern erlaubt, die Regeln in einer Welt festzulegen, kann die Art, wie Benutzer mit virtuellen Umgebungen (VEs) interagieren, auch ubernaturlich sein. Diese Interaktionen konnen immer noch durch naturliche menschlichen Interaktion inspiriert sein, sind jedoch weniger durch Naturgesetze eingeschrankt. Das Ziel dieser Arbeit ist es, ubernaturliche Interaktionen fur die Selektion in 3DUIs und das Reisen innerhalb von VR zu entwickeln und zu evaluieren. Im Einzelnen sind die Beitrage dieser Arbeit in drei Hauptteile aufgeteilt. Im ersten Teil werden die Beitrage zur Performanz in 3DUIs gezeigt. Zunachst werden Hover-Interaktionen fur stereoskopische Head-Tracking-Setups ausgewertet. Basierend auf Benutzerfeedback wird ein HoverSpace uber virtuellen Objekten dargestellt, der es Benutzern ermoglicht, zusatzliche Informationen uber Objekte zu erhalten. Anschliesend wurde der Interaktionsraum fur voll-immersive HMD-Umgebungen analysiert, der zeigt, dass Distanz-Fehlwahrnehmungen innerhalb der Sichtlinie die Hauptursache fur 3DUIs sind. Diese Beobachtungen fuhrten zur Untersuchung der Auswirkungen von physischer Anstrengung auf 3DUIs. Es wird gezeigt, dass Benutzer bei langerem Gebrauch effizienter bei direkten 3D-Selektionsaufgaben sind, wenn sie einen komfortableren Arbeitsbereich haben. Auf Basis dieser Ergebnisse werden adaptive 3DUIs vorgestellt, deren Position auf den Armgelenken eines Benutzers basieren und die Ermudung bei langen Aufgaben reduzieren. Schlieslich wird eine ubernaturliche Selektionstechnik evaluiert, die dem Benutzer mehr als nur zwei virtuelle Hande gibt, den Interaktionsraum untergliedert und weniger Armbewegungen erfordert. Im dritten Teil wird Bewegung durch VEs analysiert. Dem Supernatural UI Prinzip folgend, werden zunachst, statt rein naturliches Gehen, drei verschiedene Flugtechniken prasentiert, eine im Sitzen und zwei in einer Aufhangung von der Decke. Bei allen wird ein hohes Prasenzgefuhl erzeugt, aber auch eine Erhohung der Cyberssickness-Symptome bei den Teilnehmern. Fur weitere Studien wurden daher Reisetechniken auf Basis des naturlichen Laufens evaluiert. In einer Studie wurde gezeigt, dass Redirected Walking, obwohl es die Teilnehmer nur unterbewusst manipuliert, eine signifikant hohere kognitive Belastung verursacht. Auserdem wird eine Losung, fur die Angst von Nutzern naturlich in VR zu gehen, prasentiert. Diese Safety-Sphere verwendet einen klar unterscheidbaren runden Bereich innerhalb des physischen Tracking-Bereichs, um Benutzern einen Bereich ohne jegliche Manipulation zu bieten. Um zu anderen Orten in der VE zu reisen, verlassen Benutzer die Sphare und werden mit einer optimalen Rate umgeleitet. Daruber hinaus prasentiert diese Arbeit die entwickelte Hardware: einen stereoskopischen Multitouch-Tisch und ein periphares Display mit niedriger Auflosung als Erweiterung fur Head-Mounted Displays, um die Prasenz zu erhohen und das Sichtfeld zu vergrosern.