VISION-3D: Digitale Modelle direkt im OP sichtbar machen

Bild oben: Interdisziplinäre Exploration eines dreidimensionalen Patientenmodells in VR

Am Universitätsklinikum Hamburg-Eppendorf (UKE) wurde mit der VISION-3D-Plattform eine innovative Technologie entwickelt, die es ermöglicht, aus CT-oder MRT-Bildern dreidimensionale, patientenindividuelle Modelle von Organen und Tumoren zu erzeugen.

Diese 3D-Modelle werden mithilfe künstlicher Intelligenz (KI) automatisch aus medizinischen Bilddaten berechnet und anschließend in einer Virtual-Reality-Umgebung (VR) dargestellt. So können Chirurginnen und Chirurgen den geplanten Eingriff bereits vor der Operation virtuell erkunden, um die räumliche Lage wichtiger Strukturen wie Gefäße oder Tumoren besser zu verstehen. Diese VR-Exploration ist am UKE bereits fester Bestandteil der präoperativen Planung und wird im Rahmen der laufenden, durch die Werner-Otto-Stiftung geförderten VISION-3D-Studie erfolgreich eingesetzt und hinsichtlich seiner Überlegenheit gegenüber der herkömmlichen Vorbereitung untersucht.

Im beantragten Projekt soll dieser Ansatz nun direkt in den Operationssaal übertragen werden. Mithilfe einer Mixed-Reality-Brille, wie der Magic Leap 2, können die zuvor in VR erstellten 3D-Modelle in das reale Sichtfeld der Operateurinnen und Operateure projiziert werden. So erscheinen die digitalen Strukturen millimetergenau über dem Körper der Patientin oder des Patienten. Dadurch lassen sich Tumoren oder Blutgefäße bereits vor dem ersten Schnitt erkennen, was eine präzisere, sicherere und effizientere Operation ermöglicht.

Da alle Software- und KI-Komponenten bereits vollständig entwickelt und klinisch erprobt sind, werden mit diesem Antrag gezielt Fördermittel für die notwendige Mixed-Reality-Hardware beantragt. Damit soll die intraoperative Umsetzung unmittelbar beginnen.

Dieses Projekt stellt den nächsten konsequenten Schritt hin zu einer intelligenten, bildgestützten und patientenindividuellen Chirurgie der Zukunft dar und stärkt die führende Rolle des UKE in der digitalen Medizin.

Semiautomatische Segmentierung des Tumors (grün) sowie der übrigen Anatomie mittels KI-basierter Software-Lösungen (z.B. TotalSegmentator7)
Blick durch eine Mixed-Reality-Brille auf ein digitales 3D-Modell.