Mixed Reality per Head-Mounted Displays verbindet die „echte“ mit der virtuellen Welt, gern genutzt als Exponat bei Events. Dabei könnte HMD-MR noch so viel mehr – nämlich als Tool die Gestaltung, Planung und Durchführung von Events revolutionieren.
HMD-MR zu Testzwecken in der Volkswagenhalle Braunschweig (Bild: Dr. René Kockord)
Die Welt der Live-Kommunikation hat sich in den vergangenen Jahren rasant weiterentwickelt – auch in technologischer Hinsicht. Ein vielversprechender Ansatz ist die Verwendung von Mixed Reality mit Head-Mounted Displays, sogenannten MR-Brillen (HMD-MR). Diese Technologie wird u.a. auf Messen schon seit mehreren Jahren erfolgreich als Eyecatcher eingesetzt, eröffnet neue Dimensionen in der Live-Kommunikation und überzeugt die Nutzenden von der Innovationskraft des jeweiligen Unternehmens. Aber wieso wird HMD-MR in der Live-Kommunikation bislang fast ausschließlich als Exponat für Endkunden genutzt? Die Vorteile, die HMD-MR bietet, stellen aufgrund der Besonderheiten der Veranstaltungsbranche, v.a. für die brancheneigene Nutzung bei der Gestaltung, Planung und Durchführung von Events, einen erheblichen Mehrwert dar (vgl. Dornhege & Ritter, 2022).
Bei der richtigen Verwendung von HMD-MR vermischt sich die natürliche Umgebung mit den zusätzlich visualisierten, virtuellen Elementen, indem sich diese auf gewöhnliche Art und Weise in die Wahrnehmung der Nutzenden integrieren. Die Unterscheidung, welche Elemente noch natürlich und welche virtuell sind, kann aufgrund des hard- und softwareseitigen Fortschritts mittlerweile schwerfallen. Damit grenzt sich MR auch von anderen Technologien des Extended-Reality-Spektrums (XR) ab. Virtual Reality erschafft vollständig virtuelle Umgebungen, während Augmented Reality virtuelle Informationen und Objekte in die natürliche Umgebung einfügt, diese aber nicht mit ihr interagieren oder an natürliche Systeme gekoppelt sind (vgl. Speicher et al., 2019; Kockord & Bodensiek, 2021). Dementsprechend ist HMD-MR die einzige Möglichkeit, virtuelle Zusatzinformationen in das Umfeld der Nutzenden zu integrieren und sie in Abhängigkeit von natürlichen Systemen reagieren zu lassen.
In der Veranstaltungsbranche werden ständig Zusatzinformationen benötigt, die an natürliche Systeme gekoppelt sind. Von der Gestaltung von Veranstaltungen über das Einmessen der Locations bis hin zu Auf- und Abbauarbeiten besteht grundsätzlich Bedarf an Informationen, die in der natürlichen Umgebung nicht vorhanden sind, aber von ihr abhängen. Stetig wechselnde Arbeitsorte, variierende Setups und die bisherige kognitive Übertragung von Informationen aus Zeichnungen in die Eventlocations machen den Bedarf an neuartigen Methoden zur Darstellung von Informationen in der natürlichen Umgebung sichtbar.
Besprechung eines virtuellen Bühnensetups vor dem Bühnenaufbau (Bild: Dr. René Kockord)
Im Gestaltungsprozess für Veranstaltungen werden Konzepte entwickelt, überarbeitet und Kund:innen präsentiert. Diese Prozesse laufen momentan überwiegend auf abstrakte Weise ab, z.B. mit Zettel und Stift oder digital mittels Computer-Aided Design (CAD). In beiden Fällen müssen die Ideen auf das jeweilige Medium übertragen werden, da sie nicht im natürlichen Raum und grundsätzlich in einem kleineren Maßstab dargestellt werden. Die branchenüblichen 3D-Programme bieten bereits wertvolle Unterstützung an, da sie trotz zweidimensionalem Bildschirm eine räumliche Perspektive ermöglichen und damit die Belastung der Vorstellungskraft bzw. der kognitiven Übertragung von Gestaltungen in den natürlichen Raum verringern. Dennoch bleibt es notwendig, das jeweilige Gestaltungskonzept mental in die dafür vorgesehene Location zu übertragen. Mit einem einfachen Export des 3D-Setups aus dem jeweiligen CAD-Programm und der Zuhilfenahme von HMD-MR kann auch dieser letzte Schritt abgenommen und das Gestaltungskonzept realitätsnah, dreidimensional und in Originalgröße an jedem beliebigen Ort, z.B. in der Eventlocation, begutachtet und den Kund:innen präsentiert werden.
In der Aufbauphase wird der Bedarf an Informationen, die von der natürlichen Umgebung abhängen, noch deutlicher. Wo kommt welches Element hin? In Abhängigkeit von Wänden oder anderen natürlichen Parametern zeigt MR die exakte Position an, wahlweise als Markierung auf dem Boden oder direkt als virtuelles Element in Originalgröße. So müssen beispielsweise Messestände und Hängepunkte nicht mehr aufwändig auf dem Hallenboden vermessen werden, sondern lassen sich an der passenden Position (im natürlichen Raum) anzeigen. Gleiches gilt für die Veranstaltungstechnik, die in Abhängigkeit des Gestaltungskonzepts einerseits und der Räumlichkeiten andererseits aufgebaut werden soll. Hier können wichtige Informationen wie Gerätetyp, -nummer, -adresse usw. an der richtigen Position visualisiert werden. Gekoppelt an netzwerkbasierte (Licht-)Systeme lassen sich auch Fehlermeldungen direkt am entsprechenden Geräteort anzeigen. Für diesen Anwendungsfall sind zwei unterschiedliche Herangehensweisen möglich: Entweder wird der sowieso vorhandene CAD-Plan auf dem Boden im Maßstab 1:1 angezeigt, sodass sofort alle Positionen erkennbar sind, was minimale Vorbereitung benötigt. Oder es werden verschiedene Teilsysteme gebildet, sodass beispielsweise Traversen an anderen Orten vorbereitet werden können, bevor sie an den jeweiligen Positionen aufgehängt werden. Dies stellt zwar einen Mehraufwand in der Vorbereitung dar, ist aber insbesondere für größere Tourneeproduktionen sinnvoll.
Zu sehen sind eine virtuelle Traverse auf Arbeitshöhe sowie virtuelle Markierungen im natürlichen Raum, die die Fluchtwege zwischen den Bestuhlungsflächen anzeigen sowie Markierungen an der virtuellen Traverse. (Bild: Dr. René Kockord)
Grundsätzlich ist der Nutzen von HMD-MR als Tool in der Veranstaltungsbranche gerade bei komplexeren Produktionen immens, wenn viele und unterschiedliche Elemente genutzt, CAD-Pläne unübersichtlich und in mehrere Teilpläne gestückelt werden müssen. Zusätzlich ist HMD-MR auch aus einer nachhaltigen Perspektive sinnvoll. Unzählige Papierausdrucke von Plänen werden überflüssig. Änderungen können vor Ort vorgenommen und automatisch gespeichert werden, wodurch es eine stets aktuelle Datengrundlage gibt, die (je nach Berechtigung) unterschiedlichen Stakeholdern zur Verfügung gestellt werden kann. Die Nutzer:innen erhalten die Informationen zudem vom HMD direkt in die natürliche Umgebung integriert, sodass beide Hände für die eigentliche Arbeit freibleiben. Für den Einsatz in Gefahrenbereichen gibt es entsprechende HMDs auch inkl. Schutzhelm.
Gleichzeitig gibt es kaum eine Einschränkung durch HMD-MR, die nicht ebenso auf genutzte CAD-Geräte zutrifft. Im Vergleich von HMD-MR zu ausgedruckten CAD-Plänen ist allerdings die eingeschränkte Batterielaufzeit der HMDs zu nennen, die auf Ausdrucke selbstverständlich nicht zutrifft. Zudem besteht aktuell ein vergleichsweise hoher Aufwand, um ein nutzbares HMD-MR Setup erstmalig herzustellen. Fundierte Expertise in diesem Bereich ist momentan noch rar und die Anschaffungskosten für leistungsfähige Endgeräte sind noch hoch.
Demgegenüber stehen die zum Teil schon genannten Vorteile. Zusätzlich zur Anzeige von virtuellen Objekten, gekoppelt an die natürliche Umgebung, erstellen die gängigen Geräte auch automatisch detaillierte 3D-Modelle der Umgebung, die weitergenutzt werden können. Spätestens nach der ersten Vorbesichtigung kann daher das benötigte 3D-Modell der jeweiligen Location vorliegen. Die Erkennung der Position im Raum kann ebenfalls vollautomatisiert anhand von Kantenerkennung vorgenommen werden.
Zusammenfassend eignet sich HMD-MR überall dort, wo aufgrund komplexer Systeme die Integration von virtuellen Informationen und Objekten in die natürliche Umgebung dazu beiträgt, die Kognition der Nutzenden zu entlasten sowie an Stellen, bei denen ein repräsentationsgenaues realistisches Abbild benötigt wird. Die Kopplung an die natürliche Umgebung ist dabei ein wichtiges Alleinstellungsmerkmal von HMD-MR und mit anderen Tools und Methoden nicht ohne weiteres möglich.
Hier wird die virtuelle Front-Truss mit zwei Punkten (für Line Array und Projektor) in Abhängigkeit des natürlichen Raums dargestellt. Ähnlich wie auf den Abbildungen ist auch beim tatsächlichen Durchschauen durch die Brillen kaum noch zu erkennen, welche Elemente natürlich sind und welche virtuell. (Bild: Dr. René Kockord)
Aktuell ist der anfängliche Aufwand für den Einsatz von HMD-MR noch vergleichsweise hoch, da die Technologie innovativ ist. Wer sich ein lauffähiges Setup eingerichtet hat, kann dieses allerdings mit geringem Aufwand für verschiedene Veranstaltungsarten nutzen. Außerdem ermöglicht HMD-MR als Tool in der Veranstaltungsbranche die Einbindung von Kunden in Gestaltungsprozesse und die repräsentationsgenaue Unterstützung von Entscheidungsprozessen durch die realistische Präsentation von angebotenen Leistungen. Dreidimensionale Planungen gehören mittlerweile zum Standard der Branche, sodass der nötige Content für den Einsatz von HMD-MR in vielen Fällen ohnehin bereits zur Verfügung steht.
Wer die Vorteile von HMD-MR frühzeitig in Projekte einbinden möchte, kann je nach zeitlicher Verfügbarkeit bereitwillige und unbürokratische Unterstützung bei einer der wenigen einschlägigen Forschungseinrichtungen erhalten. Im Falle einer mittel- bis langfristigen Kooperation ist darüber hinaus auch eine drittmittelgeförderte Zusammenarbeit zwischen Universität und privatwirtschaftlichen Unternehmen möglich.
Neben einer zunehmenden gesamtgesellschaftlichen Relevanz der XR-Technologien besteht ein im Vergleich schneller technischer Fortschritt. Mit der Apple Vision Pro kommt 2024 ein Endgerät auf den Markt, das die gesamte Bandbreite von XR wiedergeben soll, wodurch wiederum weitere Einsatzmöglichkeiten geschaffen werden – auch für die Veranstaltungsbranche. Die genutzte Gestensteuerung der HMDs wird zunehmend auch von anderen Geräten verwendet, wie z.B. von Wearables, wodurch zukünftig eine Schulung des Personals für den Umgang mit HMD-MR nicht mehr nötig sein wird. Zudem sind in immer mehr Alltagsgeräten Tiefensensoren integriert, die für MR notwendig sind. Damit ist der Einsatz von MR auch mit Screen-Based Devices denkbar. Bereits jetzt sind die gängigen HMDs allerdings so leistungsstark, dass sie Smartphones, Tablets und Notebooks ersetzen können.
Dornhege, P., Ritter, F. (2022): Augmented Reality in der Veranstaltungstechnik. In P. Dornhege, F. Ritter (Hrsg.), DTHG 2022: Im/material Theatre Spaces. Virtual and Augmented Reality. Köln (S. 12-16). https://digital.dthg.de/wp-con-tent/uploads/2022/08/digitalDTHG_Publikation_ImmaterialTheatreSpaces_DE_RGB120.pdf
Kockord, R., Bodensiek, O. (2021): Cognitive Load during First Contact with Mixed Reality Learning Environments. Mensch und Computer 2021 (MuC ’21). Association for Computing Machinery, New York, NY, USA, 260-264. DOI: https://doi.org/10.1145/3473856.3474003
Speicher, M., Hall, B. D. & Nebeling, M. (2019). What is Mixed Reality? In S. Brewster, G. Fitzpatrick, A. Cox & V. Kostakos (Hrsg.), CHI 2019: Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, May 4-9, 2019, Glasgow, Scotland UK (S. 1-15). ACM. https://doi.org/10.1145/3290605. 3300767
René Kockord ist seit elf Jahren beruflich in der Veranstaltungsbranche tätig, anfangs schwerpunktmäßig im Konzert- und Tourneegeschäft, später überwiegend auf Corporate und Public Events. In den vergangenen Jahren hat er sich intensiv mit dem Einsatz innovativer Technologien wie Mixed Reality beschäftigt und dabei die Möglichkeiten und Grenzen im Live- und Bildungseinsatz untersucht. Er ist Ingenieur für Veranstaltungstechnik und -management, der mit seinem fünfköpfigen Team an der TU Braunschweig arbeitet. Um den Wissenstransfer in die Praxis zu fördern, entwickelt er ein Netzwerk mit privatwirtschaftlichen Unternehmen.
