Multi-field visualization on graphics processing units

The generation of multi-field data has become commonplace in many scientific disciplines and application areas today. While researchers have produced numerous techniques for analyzing a single scalar, vector, or tensor field over the last years, finding approaches for exploring multi-field datasets still forms one of the significant challenges in visualization and analytics. One crucial aspect for the growing demand of multi-field visualization techniques is the fact that scientists need to explore the interaction of these fields to gain deeper understanding of underlying processes and relationships. This work addresses the challenge of illustrating multi-field data and presents new approaches of visualization techniques for a variety of application areas, with the aim to map these algorithms to graphics hardware architectures to achieve interactive visualization. In particular, the main contributions of this thesis contain multi-field flow visualization with one focus on integrating an additional flow uncertainty value, based on measurement simulation, into visualization. Therefore, texture based advection techniques are extended for the transport and display of the additional information. The second focus lies on the illustration of multiple fields as one combined characteristic set to minimize memory usage and allow further feature extraction from the new unique representation. New techniques are developed for multi-field volume rendering in the area of medical applications, with the primary challenge to intermix volumetric data that was acquired by different medical imaging modalities. The proposed solutions give implementation details for raycasting and slice-based rendering of multiple overlapping volumes. The third application area is video visualization. This domain is a typical representative for multi-field visualization, as it combines both, flow fields and multi-volume data for illustration. The goal of the introduced video visualization techniques is to extract dynamic or still objects in a scene, detect their individual actions and the relations among each other and to display this filtered information as a continuous stream of signatures for analysis. Another problematic issue in multi-field visualization is the size of the data, which is usually rather large. Yet, data transfer to and memory size on GPUs are two major bottlenecks. To address this issue, throughout the thesis techniques for data reduction by combination and data bricking for continuous streaming are discussed. Finally, multi-field data encoding and visualization techniques are presented that utilize the advantages of radial basis functions to minimize the data size. Die Generierung von Multifeld-Daten ist heutzutage in vielen wissenschaftlichen Disziplinen und auch in praktischen Anwendungsgebieten weit verbreitet. Wahrend Wissenschaftler im Verlauf der letzten Jahre zahlreiche Techniken fur die Analyse von einzelnen Skalar-, Vektor-, und Tensorfeldern entwickelten, so bergen Losungsansatze zur Erkundung von Multifeld-Datensatzen eine komplexere Problematik, die die Forschung im Bereich der Visualisierung und der Analytik vor enorme Herausforderungen stellt. Ein entscheidender Aspekt fur die steigende Nachfrage an Multifeld-Visualisierungsmethoden ist die Tatsache, dass Wissenschaftler und Analysten die Interaktion zwischen mehreren in Relation zueinander stehenden Feldern erforschen wollen, um weitere Erkenntnisse uber die beobachteten Phanomene zu gewinnen, um so ein tieferes Verstandnis der zugrunde liegenden Prozesse zu ermoglichen. Diese Arbeit behandelt Problemstellungen, die bei der Visualisierung von Multifeld-Daten auftreten und prasentiert neue Visualisierungskonzepte und Algorithmen fur eine Vielzahl von Anwendungsgebieten. Ziel ist weiterhin, diese Algorithmen auf moderne Grafikhardwarearchitekturen abzubilden, um so verstarkt eine interaktive Darstellung zu gewahrleisten, die fur einen kontinuierlichen Analyseprozess von groser Bedeutung ist. Im Einzelnen enthalten die Beitrage in dieser Doktorarbeit Konzepte zur Visualisierung von Multifeld-Stromungsdaten, mit Fokus der Integration eines zusatzlichen Ungenauigkeitsparameters in die Darstellung, der bei Messung oder Simulation der Daten entstehen kann. Fur die Umsetzung wird eine bildbasierte Stromungsvisualisierungstechnik, die auch als Texturadvektion bekannt ist, implementiert. Diese Technik wird erweitert, um zusatzliche Informationen zu transportieren und darzustellen. Der zweite Schwerpunkt im Bereich der Stromungsvisualisierung basiert auf einer Technik zur Illustration von mehreren Skalarfeldern als ein logisch kombiniertes charakteristisches Skalarfeld. Der Vorteil dieser Technik liegt zum einen in der Minimierung des Speicherbedarfs, fuhrt zu einer vereinfachten Suche und Extraktion von Stromungscharakteristiken auf dem reduzierten Feld und kann zum anderen als Kriterium verwendet werden, um Partikel in die Stromung zu injizieren. Ein weiterer Teil behandelt neue Techniken zur Multifeld-Volumenvisualisierung von mehreren zusammengehorigen skalaren Feldern aus dem medizinischen Kontext. Die primare Herausforderung liegt hier im geeigneten Vermischen der einzelnen volumetrischen Daten, die durch verschiedene medizinische Bildgebungsverfahren erzeugt wurden. Insbesondere bei der Wahl eines spezifischen Algorithmus zur direkten Volumenvisualisierung sind hier unterschiedliche Aspekte zu beachten. Die prasentierten Losungen beinhalten Implementierungsdetails fur Raycasting sowie fur das Schnittebenen-basierte Verfahren zur Visualisierung von Szenen, in denen sich mehrere Volumen uberschneiden. Der dritte Kernbereich dieser Dissertation behandelt die Videovisualisierung. Dieses Anwendungsgebiet ist ein klassischer Stellvertreter fur Multifeld-Visualisierung. Hier werden beide bisher besprochenen Gebiete fur die Darstellung der Multifeld-Daten kombiniert. Multifeld-Videodaten beinhalten sowohl Volumendaten von extrahierten Objekten als auch Bewegungsinformationen und somit Stromungsdaten dieser Objekte die zur Visualisierung herangezogen werden. Ziel der vorgestellten Videovisualisierungstechniken ist die Extraktion dynamischer und statischer Objekte aus einer Szene und weiterfuhrend die Detektion von individuellen Aktionen und Relationen, die den einzelnen Objekten zugeordnet werden konnen. Anhand dieser gefilterten Informationen wird dann eine kontinuierliche Endlosdarstellung des Videos generiert, wobei die extrahierten Objekte in dieser Ansicht als raum-zeitliche Signaturen dargestellt werden, die fur die Analyse der Daten von grosem Wert sind. Eine weitere Problematik, die bei der Visualisierung von Multifeld-Daten auftitt, ist die Tatsache, dass die Existenz von mehreren, in der Regel recht grosen Datenfeldern auch unweigerlich zu einem enormen Speicherbedarf fuhrt. Der Transport groser Datenmengen vom Hauptspeicher zum Grafikspeicher ist jedoch ein wesentlicher Flaschenhals, der fur die Realisierung von interaktiven Visualisierungstechniken berucksichtigt werden muss. Verschiedene Losungsvorschlage fur diese Problemstellung finden sich in dieser Dissertation in Form einer Unterteilung der Daten in einzelne Blocke, die dann kontinuierlich zur GPU heruntergeladen werden konnen. Auch die Kombination und somit eine Fusion von mehreren Datenfeldern zu einem charakteristischen Datenfeld, das dann platzsparend im Grafikspeicher gelagert werden kann, wird hier vorgestellt. Da diese Form von Datenhandhabung nicht in allen Anwendungsgebieten einsetzbar ist, widmet sich das letzte Kapitel ausschlieslich der Rekonstruktion von komprimierten Multifeld-Daten. Durch Approximation mittels radialer Basisfunktionen ist es moglich, komplette Multifeld-Datensatze durch eine neue Datenstruktur zu reprasentieren und so als Ganzes im GPU-Speicher zu lagern. Um diese komprimierten Multifeld-Daten darzustellen, prasentiert diese Arbeit GPU-basierte Dekodierungsalgorithmen, die eine interaktive Rekonstruktion und Visualisierung ermoglichen.