Augmented-reality-based liver-surgical planning system

SummaryBACKGROUND: The preoperative planning of liver resections is commonly based on two-dimensional imaging techniques such as sonography, computed tomography (CT), and magnetic resonance imaging. The operability of liver tumors depends on the three-dimensional relation of the parenchyma to be resected to the intrahepatic vascular structures which define the autonomously functioning liver segments. Our aim was to establish a liver surgery planning system (LSPS) for major liver resections by augmented-reality (AR) techniques for the accurate evaluation of operability. METHODS: The system provides methods for the processing and preparation of the input CT data, three-dimensional visualization, and resection planning. The output consists of quantitative indices (e.g., volume of liver tumors or segments) and an elaborated plan for the surgical procedure including information like the number of liver segments subject to resection and their spatial arrangement or the volume of the remaining or the removed liver tissue. Basically, the LSPS comprises two main components, a medical image analysis and an AR system. The medical image analysis part is responsible for the segmentation of the liver, the vascular structures, and the tumors and for liver segment approximation. The AR system is utilized for visualization and various kinds of user interaction. RESULTS: Experiments with anonymized CT data sets demonstrated the ability of surgeons to deal with different tasks in resection planning after a brief introduction. This led also to a high acceptance by colleagues who wanted to get information for their surgical strategy as quickly as possible. CONCLUSIONS: Quantitative measurements are of major importance for the planning of liver resections, for which precise measurements of distances and volumes are required. On the basis of the patient's CT dataset, the LSPS supports an effective way to find the optimal surgical strategy for each patient. The flexible design of this system allows the addition of functionality via plug-ins. Furthermore, an expansion of the developed core system for intraoperative applications is possible and provides the advantage of having one platform for planning and support during surgery.ZusammenfassungGRUNDLAGEN: Die Planung großer Leberresektionen stützt sich normalerweise auf die Ergebnisse bildgebender diagnostischer Verfahren wie Sonographie, Computertomographie (CT) oder Magnetresonanztomographie. Die Operabilität von Lebertumoren hängt wesentlich ab von ihrer Beziehung zu den intrahepatischen Gefäßsystemen, welche die einzelnen Lebersegmente definieren. Unser Ziel war die Entwicklung eines leberchirurgischen Planungssystems, welches die genaue Überprüfung der Operabilität sowie die chirurgische Resektionsplanung unter Verwendung der "Augmented Reality" (AR) ermöglicht. METHODIK: Das System bereitet die eingehenden CT-Datensätze auf und stellt eine stereoskopische dreidimensionale Visualisierung und Resektionsplanung zur Verfügung. Der Output besteht einerseits aus quantitativen Parametern, wie z. B. dem Tumorvolumen oder den Segmentvolumina, und andererseits in einer Resektionsplanung unter Anzeige der zu entfernenden Segmente (deren Anzahl und Volumen oder das Volumen der Restleber). Grundsätzlich besteht das Planungssystem aus 2 Hauptkomponenten, einem medizinischen Bildanalysesystem und einem Augmented-Reality-System. Im medizinischen Bildanalysesystem wird die Segmentierung der Leber, des intrahepatischen Gefäßsystems sowie des Tumors durchgeführt. Im Augmented-Reality-System werden die Ergebnisse visualisiert und die Benutzerinteraktion ermöglicht. ERGEBNISSE: Experimente mit anonymisierten CT-Datensätzen haben gezeigt, dass die Chirurgen nach einer kurzen Vorstellung des Systems in der Lage waren, verschiedene Fragestellungen bei der Resektionsplanung erfolgreich zu lösen. Dies führte zu einer hohen Akzeptanz bei Kollegen, die möglichst rasch zusätzliche Informationen für ihre Operationsplanung benötigen. SCHLUSSFOLGERUNGEN: In der Planung leberchirurgischer Eingriffe sind quantitative Messungen (Volumen und Distanzen) von hoher Wichtigkeit. Auf Basis von aktuellen CT-Datensätzen stellt das leberchirurgische Planungssystem ein effektives Werkzeug dar, die beste chirurgische Strategie für jeden Patienten zu finden. Durch das flexible Design sind Funktionserweiterungen durch Plug-ins möglich. Darüber hinaus ist eine Erweiterung der Kernfunktionalität durch intraoperativ nutzbare Applikationen möglich, sodass eine Plattform zur Planung bis hin zur intraoperativen Unterstützung zur Verfügung steht.