xR in Gesundheit & Industrie: Immersive Technologien für Edukation bis Assistenz

Immersive Technologien – unter dem Sammelbegriff xRealities (xR) bekannt - ermöglichen es uns, Informationen und Wissen überall und zu jederzeit im dreidimensionalen Raum zur Verfügung zu stellen:

• Mit Virtual Reality (VR) im virtuellen Raum, der eine geschützte Umgebung zum Lernen und Ausprobieren schafft, und
• mit Augmented Reality (AR) im realen Raum, am realen Prozess als Hilfestellung.

Dieser Beitrag bietet einen umfassenden Einblick in die Gegenwart und die Zukunft der Anwendung von xR in der beruflichen Wissensvermittlung und -bereitstellung, insbesondere für Arbeitsprozesse im Gesundheit und Industrie.

Beim Einsatz der xR-basierten Bildung in Gesundheitswesen und Industrie werden Mitarbeitende, unabhängig von ihrer Erfahrung im jeweiligen Prozess, aktiv durch xR-Software geleitet. Schritt für Schritt erhalten sie detaillierte Erklärungen zum Wie und Warum des jeweiligen Handlungsschrittes. Die Auswahl der passenden immersiven Technologie orientiert sich beim Lernen meist am Lernziel und der Lernumgebung.

Die Lernziele konzentrieren sich in der Regel darauf, den Prozess zu verstehen und fachliche Kenntnisse zu erwerben. Künftig wird Künstliche Intelligenz (KI) hier eine entscheidende Rolle spielen, um ein personalisiertes Lernerlebnis zu schaffen, das auch Rückfragemöglichkeiten und individuelle Anpassungen einschließt.

Im xR-Training vertiefen Mitarbeitende ihre Kenntnisse entweder in einer virtuellen Umgebung oder in der Realität mit integrierten virtuellen Elementen. In der Regel sind sie bereits mit dem spezifischen Prozess oder Gerät vertraut. Das Training erfolgt meist unter der Leitung eines Moderators, der den Fortschritt überwacht und das Training dynamisch an die individuellen Lernziele und Bedürfnisse der Teilnehmenden anpasst.

Bei Bedarf haben Moderatoren auch die Möglichkeit, Nicht-Spieler-Charaktere (NPCs) im Rollenspiel zu steuern und zu sprechen. Dies ermöglicht es ihnen, unterstützende oder herausfordernde Situationen zu simulieren, ohne die Immersion der Trainierenden zu beeinträchtigen.

Die Trainingsziele konzentrieren sich in der Regel auf Abläufe, Kommunikation, Schnelligkeit und natürlich Fehlervermeidung. Die Trainings können sowohl individuell als auch im Multiplayer-Modus mit mehreren Trainierenden durchgeführt werden.

Trainings sind schon jetzt mit dem "Virtuellen Patienten" individuell gestaltbar. Künftig könnten die Trainings durch den Einsatz von KI dynamisch an die Nutzer angepasst werden, um die Effektivität der Trainings zu maximieren. Darüber hinaus werden NPCs in den kommenden Jahren realistische Gesprächspartner sein, die eine höhere Immersion und Komplexität beispielsweise im Bereich der Patientenkommunikation ermöglichen.

Innerhalb immersiver Lern- oder Trainingsszenarien können zusätzliche Leistungsbewertungen integriert werden. Prüfungs- und Zertifizierungsbewertungen werden – wenn sinnvoll – in möglichst realistischen und immersiven Prüfungssituationen durchgeführt.

Künftig könnte eine kontinuierliche Messung des Lernfortschritts während sämtlicher durchgeführter Lern- und Trainingssitzungen erfolgen. Diese Daten werden dann zur stetigen Verbesserung der Szenarien sowie zur individuellen Anpassung genutzt.

Während der Ausführung eines realen Prozesses erhalten Mitarbeitende schrittweise Anleitungen für den Gesamtprozess. Diese Anleitungen werden durch Text, Bilder, 3D-Modelle, Videos, Animationen oder auch durch Sprache vermittelt.

Die Inhalte werden in der Regel zweidimensional dargestellt, gelegentlich auch zweidimensional im dreidimensionalen Raum. Um zum nächsten Arbeitsschritt überzugehen, ist normalerweise eine Nutzerinteraktion erforderlich, beispielsweise durch eine Geste oder einen Sprachbefehl.

Ebenfalls kann ein Arbeitsprozess so auch dokumentiert werden. Dabei erfolgt die Dokumentation im idealen Fall über nutzerfreundliche Checklisten oder Multiple-Choice-Abfragen, kann aber auch Fotos, Videos usw. umfassen.

xR-Arbeitsanleitungen können auf Smartphones und Tablets angezeigt werden oder auch in MR-Headsets oder AR-Brillen, falls eine "hands-free"-Darstellung erforderlich ist.

xR-Assistenzlösungen werden xR-Arbeitsanleitungen in der Zukunft zunehmend ablösen. Mitarbeitende erhalten dann während der Durchführung realer Prozesse die erforderlichen Hinweise, Anleitungen und Informationen. Die Darstellung erfolgt dabei vorwiegend im dreidimensionalen Raum.

Die xR-Assistenz der nahen Zukunft zeichnet sich durch folgende Merkmale aus:

1. Reaktion auf die Umgebung: Durch visuelles Tracking, Objekterkennung und Echtzeitlokalisierungslösungen passt die xR-Assistenzlösung die dargestellten Inhalte an die reale dreidimensionale Umgebung an. Mitarbeitende erhalten dann beispielsweise dynamische Bedienhinweise zu bestimmten Geräten, wenn sie sich in einem bestimmten Bereich aufhalten.
2. Integration mit Geräten und Systemen: Wichtige Informationen können den Mitarbeitenden angezeigt und in die Logik der xR-Assistenz selbst einbezogen werden. Dies reicht von Statusinformationen zu Geräten bis hin zu Patientenallergien. Zusätzliche Arbeitsschritte, wie das Abschalten einer eingeschalteten Maschine vor der Wartung, können dynamisch integriert werden.
3. Automatische Erkennung des Arbeitsfortschritts: Die xR-Assistenz erkennt automatisch den Arbeitsfortschritt durch die Verknüpfung verschiedener Daten und Informationen. Beispielsweise kann sie die visuelle Erkennung eines Bauteils an einem bestimmten Ort mit der Drehmomentkurve eines Schraubers kombinieren um nach Durchführung aller Verschraubungen automatisch zum nächsten Arbeitsschritt überzugehen.
4. Integrierte Dokumentation: Die xR-Assistenz kann die durchgeführten Arbeiten weitgehend automatisch  dokumentieren. Durch die Integration mit Geräten und Systemen sowie die Erkennung des Arbeitsfortschritts ist eine Dokumentation mit geringen bis keinen Nutzereingaben möglich.
5. Individuelle Anpassung: Die xR-Assistenz passt sich individuell an die Mitarbeitenden an, basierend auf dem aktuellen Arbeitsauftrag, Verhalten, physischen Gegebenheiten, Wissensstand und psychologischen Faktoren. Erfahrene Nutzer erhalten beispielsweise nur bei Zögern oder im Fehlerfall entsprechende Hinweise zum Arbeitsschritt.

Viele der genannten Merkmale sind bereits in heutigen xR-Assistenzlösungen im Ansatz integriert. Zusätzliches Wissen und Informationen werden aktuell oft noch von Menschen in einer "Remote-Assistenz" bereitgestellt – einem Videoanruf, bei dem Remote-Assistenten Bild- und Audioinformationen erhalten und im Gegenzug Hinweise und Annotationen, teilweise auch in xR, geben können.

Die Assistenz mit xR stellt insgesamt die "Königsklasse" der digitalen Integration von Nutzer, Wissen, KI und xR dar.

xR ist als Medium in der Wissensvermittlung und -bereitstellung im beruflichen Umfeld vielfältig geeignet. Durch den technischen Fortschritt, aktuell besonders im Bereich KI, werden xR Lösungen intelligenter, immersiver und individueller werden.