Augmented Reality im OP

Wenn virtueller und realer Patient verschmelzen

Der folgende Beitrag ist vor 2021 erschienen. Unsere Redaktion hat seither ein neues Leitbild und redaktionelle Standards. Weitere Informationen finden Sie hier.

3D-Darstellung von Patientendaten und Operationsplanung können mithilfe des mobilen ARSyS-Displays für den Chirurgen während des Eingriffs seiner direkten Sicht auf den Patienten überlagert werden. Dies eröffnet neue, minimal-invasive Operationswege.

Bilder: ARSYS-Media

Ein Gefühl wie für Superman: Durch die halbdurchlässig verspiegelte Scheibe des Displays meint man, in das Innere des Plastikkopfes zu sehen, der die Patientenstelle vertritt. Schädel- und Kieferknochen, feine Gewebestrukturen, der "zu operierende" Tumor, alles ist dreidimensional und kontrastreich dargestellt. Eine Kopfbewegung, ein Verschieben des Patientenmodells und die auf dem Display eingespiegelte Darstellung wird neu berechnet und in Echtzeit zur Deckung mit dem direkten Blick gebracht. Virtueller und realer Patient verschmelzen, je nach eingestellter Helligkeit bzw. Beleuchtung tritt mal der eine, mal der andere Aspekt in den Vordergrund. Schon vor dem ersten Schnitt kann der Chirurg den Operationsweg sehen und muss nicht - allein zu diesem Zweck - eine große Öffnung vornehmen.

Die Grenzen des bisher Möglichen überschreiten lassen soll der ARSyS-Tricorder (Augmented-Reality-System mit dreidimensionaler Steuerung), ein mobiles Navigationssystem, das von einem interdisziplinären Forscherteam der Fraunhofer Gesellschaft (IMK , TEG Stuttgart, der Technischen Universität München, der Universität Basel und des Forschungszentrums caesar (Bonn) entwickelt worden ist und nun im Hightech-Forschungs-Zentrum (HFZ) am Münchner Klinikum rechts der Isar (MRI) der Öffentlichkeit vorgestellt worden.

Es bietet dem Chirurgen die Möglichkeit, sich während des Eingriffs präzise in räumlichen Strukturen zu orientieren, die sonst kaum sichtbar werden. Beispielsweise in der Mund-Kiefer-Gesichtschirurgie (kraniofazialen C.) sind nun anspruchsvollere, für den Patienten jedoch wesentlich schonendere Operationswege denkbar. Ein tief liegender Tumor des Gesichtsschädels kann über einen Zugang durch die Mundhöhle entfernt werden, äußerlich sichtbare Schnitte sind nicht mehr notwendig. Im Gegensatz zur Medizinrobotik setzt die computer-unterstützte Chirurgie weiter auf die Erfahrung und die flexiblen Entscheidungen des Arztes während der Operation.

Das Navigationssystem projiziert die dreidimensional aufbereiteten Bilddaten aus der Diagnostik (z. B. Computertomographie, Magnetresonanztomographie) und aus der Operationsplanung auf ein Rückprojektionsdisplay. Ein halbdurchlässiger Spiegel lenkt das Bild in Richtung des Chirurgen, dem eine Polarisationsbrille das räumliche Sehen der Projektion ermöglicht. Die Steuerung des Tricorders hat zwei Grundelemente: Ein PC im Operationssaal, der vom OP-Team per Touchscreen bedient wird, dient der Datenauswahl und -ein- und -ausblendung (Das ARSyS muss z. B. nicht während der gesamten OP-Dauer im Einsatz sein, sondern kann an den entscheidenden Stellen zugeschaltet werden).

Herzstück aber ist die Anpassung des Display-Bildes an jede Bewegung von Arzt und Patient. Vier Infrarotkameras erfassen Fixpunkte am Patienten, am Display und an der 3D-Brille des Chirurgen und liefern so die für die Bildberechnung nötigen Korrekturen. Es sind natürlich eigentlich zwei Bilder, von zwei Beamern in unterschiedlich polarisiertem Licht ausgestrahlt, die in den Polarisationsfiltern der Brille getrennt werden. Dazu kommt ergänzend noch eine Cubic Mouse, die dem Chirurgen Eingaben erlaubt.

Eine Besonderheit der ARSyS-Software ist die mögliche Vorausberechnung von Verschiebungen in der Anatomie des Patienten im Laufe des Eingriffs. Z.B. kann das Verhalten des umgebenden Gewebes bei Entfernung eines Knochensegments simuliert werden. Damit bleibt das ARSyS über mehrere Phasen der Operation exakt in der Darstellung. Naturgemäß liegt hierin eine besondere Schwierigkeit und Leistung. Jede Praxis mit Netzanschluss soll in Zukunft in der Lage sein, das mobile ARSyS einzusetzen. Datenaufbereitung und Erstellung des AR-Bildes lassen sich auf einen Server auslagern. Ebenso leicht kann es in Schulungsräumen zu medizinischen Ausbildungszwecken installiert werden.

Der erste Einsatz am Patienten steht bevor. Das Navigationssystem wird zunächst von den am Projekt beteiligten Prof. Dr. Dr. Hans-Florian Zeilhofer (MRI) und Priv.Doz. Dr. Dr. Robert Sader (Universitätsklinik Basel) in der kraniofazialen Chirurgie erprobt. Es soll dann in weiteren Fächern der operativen Medizin zum Einsatz kommen. Die Marktreife soll in einem Jahr erreicht sein.