Welche Innovationen sind bereit für die Praxis und was muss getan werden, wenn High-End-Technologien aus allen Bereichen zu einem Gesamtkonzept zusammengeführt werden sollen? Diese Fragen zu beantworten, haben sich drei Institute der Fraunhofer-Gesellschaft zur Aufgabe gemacht.
(Bild: Aberu.Go/Shutterstock)
Unter dem Titel „Virtual LiVe“ – Virtualization of Live EVents – forschen und konzipieren drei Fraunhofer Institute zusammen mit Unternehmen aus Kultur, Event, Messe und Medien am immersiven Event der Zukunft. High-End-Technologien aus den Bereichen Recording, Broadcast und Playback sollen zu einem Baukasten für moderne Events kombiniert werden.
Anzeige
Die Forschungsarbeit der Fraunhofer-Gesellschaft hat eine Vielzahl von Innovationen hervorgebracht, die aus dem Eventalltag nicht wegzudenken sind. Video- und Audiokompression, 360°-Video, Augmented Reality, 3D-Audio und viele weitere Bereiche werden stets und ständig von den verschiedenen Fraunhofer Instituten weiterentwickelt, neu erfunden oder zur Marktreife geführt.
Das Besondere an dem Projekt „Virtual LiVe“ ist der klar definierte Fokus auf Events. Zwar sind viele technische Inventionen zu Komponenten und Produkten in der Medienwelt herangereift, aber selten stand dabei die Veranstaltungswirtschaft im Zentrum der Forschungsaufträge. Mit dem abrupten Wegfall von Veranstaltungen in Kultur und Wirtschaft wurde der Bedarf nach barrierefreien, immersiven, digitalen Events jedoch dringend genug für eine eigene Forschungsinitiative.
Da die Veranstaltungswirtschaft maßgeblich von kleinen und mittelständischen Unternehmen getragen wird, hat die Fraunhofer-Gesellschaft das Programm „KMU akut“ ins Leben gerufen. Ziel dieser Aktion ist die Stärkung der Innovationskraft von kleinen und mittleren Unternehmen und die Reduzierung der negativen wirtschaftlichen Auswirkungen der Corona-Pandemie. Das Projekt ist bis Ende des Jahres 2021 angesetzt und soll als Initialzündung für weiteres Engagement dienen.
Die Insitute
Fraunhofer-Institut für offene Kommunikationssysteme FOKUS
Für Fraunhofer FOKUS liegt das Zusammenspiel aus Übertragung und Interaktion im Mittelpunkt der Betrachtungen. Mit den jeweiligen Medien ein möglichst immersives Erlebnis zu schaffen, ist die Aufgabe: vom Planetarium bis zum Smartphone.
Fraunhofer-Institut für Integrierte Schaltungen IIS
Das Fraunhofer IIS beschäftigt sich bei Virtual LiVe mit dem Einsatz von Audio/Videocodes, Lichtfeld und 3D-Audio. Durch die Lichtfeldforschung sollen eines Tages wenige Kameras ausreichen, um eine Vielzahl von Kameraperspektiven errechnen zu können. Moderne Codecs sollen Daten nahezu in Echtzeit aufbereiten und für eine Vielzahl an Endgeräten gleichermaßen bereitstellen.
Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut HHI
Im Fraunhofer HHI ist das Wissen über 360°-Video und volumetrisches Video gebündelt, hier befasst man sich also vornehmlich mit der Aufnahme des Events auf neue Weise und aus unentdeckten Perspektiven. Das 3IT – Innovationszentrum für immersive Bildtechnologien, ansässig am Fraunhofer HHI, bildet die organisatorische Plattform des Projektes. Ansprechpartnerinnen für Koordination und Kommunikation sind Maria Ott und Jennifer Chyla.
Kompetenz aus drei Fraunhofer Instituten
Mit der Invention einer Technologie ist lediglich der erste Schritt getan. Aus der Invention muss eine Innovation werden: zur richtigen Zeit am richtigen Ort. Die Fraunhofer-Institute FOKUS, HHI und IIS bündeln ihre Kapazitäten und vereinen jene Forschungsthemen und Technologien, welche die Basis für digitale Events sein werden.
Die Forschung der letzten Jahrzehnte hat Technologien hervorgebracht, die bereits über die Erprobungsphase hinaus sind und aktiv vermarktet werden. Codecs sind zu Standards erwachsen, 360°-Kamerasysteme bringen virtuell oder digital Zuschauende in Stadien und Opernhäuser und volumetrisches Video sorgt für begehbare Musikvideos. Immersives Audio der neuesten Generation ergänzt diese Funktionalität um eine individualisierbare Tonmischung. Die große Herausforderung besteht in der Kombination der einzelnen High-Tech-Lösungen und deren Auslieferung an Endgeräte aller Art. Genau hier setzt „Virtual LiVe“ an.
Jede Stufe im Event birgt ihre eigenen Herausforderungen und beeinflusst den weiteren Verlauf und Erfolg eines immersiven Events. Die Zirkelgrafik verdeutlicht die einzelnen Teile eines digitalen Events. (Bild: Matthias Heyde/Fraunhofer FOKUS)
Am Anfang stehen die Technologien, mit denen sich Events allumfassender „einfangen“ lassen. 3D-Audio, 360°-Video, volumetrisches Video und Lichtfeld-Technologien sind in der Lage, Ton und Bild zu intensiv wahrnehmbaren Welten zu digitalisieren. Diese Datenmengen handhabbar zu machen, ist der nächste anspruchsvolle Schritt. Es geht schließlich um Live-Erfahrungen und keine Postproduktionen. Hier kommen u.a. Weiterentwicklungen bekannter Codecs ins Spiel. Sind die umfangreichen Ton- und Bildinformationen erst einmal verpackt, gilt es, diese an die Nutzer:innen zu transportieren.
Was leicht klingt, birgt weitere Tücken. Der Transport muss schnell und sicher passieren, das geht nicht selbstverständlich miteinander einher. Außerdem muss die Kompatibilität zu Social-Media-Kanälen, Ticket- und Content-Management-Systemen gewährleistet sein. Erst jetzt sind wir bei den Zuschauenden und den verschiedenen Empfangsgeräten angekommen. Ob VR-Brille, Browser oder Mobilgerät: Alle sollen die Möglichkeit haben, den Events bestmöglich beizuwohnen.
Beiwohnen bedeutet hier nicht nur zuschauen, sondern mitmachen. Die Interaktion mit dem Publikum ist ein weiterer Eckpfeiler des Erlebnisses und stellt zusätzliche Anforderungen an die Latenz und Integration. Die Interaktion soll nicht nur zwischen Künstler:innen und Publikum stattfinden, Gäste sollen auch untereinander und gemeinsam agieren können. Bei all diesen Stufen ist Barrierefreiheit genauso ein Ziel des Projektes. Diese Barrierefreiheit kann auch bedeuten, dass Mitarbeitende vom heimischen Arbeitsplatz an der Umsetzung von Veranstaltungen mitwirken können. Das Ziel steckt hoch, die Ambitionen sind groß und die Ergebnisse aus diesem Projekt dürften wohl alle in der Eventbranche interessieren.
Das Event im Labor
Die Auftaktveranstaltung Ende Mai sorgte für große Resonanz und Partner für die Laborveranstaltungen sind bereits gefunden. In drei verschiedenen Events sollen Technologien miteinander verknüpft, in der Praxis validiert und einem „normalen“ Publikum zugänglich gemacht werden. Die erste Veranstaltung findet voraussichtlich im Oktober statt und soll Live-Konzert, das gemeinsame Musizieren an verschiedenen Orten, Zuschauerinteraktionsmöglichkeiten und 360°-3D-Video-Live-Streaming in Planetarien sowie auf XR-Brillen und Smartphones in AR kombinieren. (EVENT PARTNER wird von den Ergebnissen berichten.)
Durch den großen Anklang, den das Eröffnungs-Event bei den Teilnehmenden fand, hat man sich entschlossen, die Entwicklung des Projektes mit monatlichen Kolloquien zu begleiten. Mit der Teilnahme an den Fachgesprächen kann man den Werdegang des Projektes verfolgen und sich in den Diskussionen einbringen. Weitere Informationen und das Formular zur Anmeldung sind auf der Virtual LiVe Projektseite über www.3it-berlin.de zu erreichen. Wir glauben, dass eine rege Beteiligung von allen Zweigen der Veranstaltungsbranche dem Projekt weiteren wichtigen Input geben kann. Nur selten haben wir die Chance, in einen direkten Diskurs mit der Forschung zu treten – nutzen wir sie!
Welches Institut für welchen Teil der Forschung zuständig ist, zeigt die Baukasten-Grafik. Einzelne Bereiche zu einem individuellen Ganzen zusammenführen und praktisch anwenden zu können, ist das anspruchsvolle Ziel der Forschungsunternehmung. (Bild: Fraunhofer)
Baukastensystem für immersive Events
Ein einjähriges Projekt allein wird die Branchenmittel nicht gänzlich auf den Kopf stellen, es kann aber sehr wohl ein Startschuss für weitere Aktionen und Partnerschaften sein. Cutting-Edge-Technologien günstiger und erreichbarer zu machen, gehört zu den sinnvollen Zielen von Virtual LiVe. Am Ende des Jahres wird die Forschungsarbeit in einem Abschlussplädoyer münden, welches Aufschluss darüber geben soll, welche Technologien bereits heute für den Einsatz bereit sind und an welchen Stellen weitere Arbeit notwendig ist. Im Idealfall entsteht aus dem Projekt ein Baukastensystem, mit dessen Hilfe sich immersive Events exakt auf die Anforderungen von Veranstaltern zuschneiden lassen.
Hierbei ist noch unklar, in welcher Form die Forschungsergebnisse den Markt erreichen. Ausgründungen und Partnerschaften mit interessierten Dienstleistern sind mögliche Optionen. Ob das dem Wunsch eines Baukastensystems gerecht werden kann, bleibt abzuwarten. Je breiter Kompetenzen verteilt werden, desto schwieriger wird eine Harmonisierung. In welcher Form auch immer die Ergebnisse greifbar gemacht werden: Es soll kleinen und mittleren Unternehmen helfen, mit konkurrenzfähigen Angeboten auf den rasanten Wandel reagieren zu können. Wir werden bei den Laborveranstaltungen gespannt vor und hinter die Kulissen blicken und von den Erkenntnissen und Fortschritten berichten.
