Virtual LiVe: Hybrides Laborkonzert als immersives, digitales & interaktives Erlebnis

Menschen nahezu latenzfrei zusammenbringen – das schaffte das erste Laborkonzert des Verbundprojekts „Virtual LiVe“ der Fraunhofer Institute FOKUS, HHI und IIS: Gemeinsames Musizieren von verschiedenen Standorten aus, erlebbar als Live-Konzert, interaktiver Stream daheim sowie als 360°-Video-Stream mit 3D-Sound in einem Planetarium.

Am 11. Dezember war es endlich soweit: Mit Unterstützung des Fraunhofer-Forschungsprojekts „Virtual LiVe“, gehosted im 3IT Berlin, konnte im annähernd ausverkauften Kesselhaus der Kulturbrauerei in Berlin das Laborkonzert mit dem Künstler „The Dark Tenor“ stattfinden. Unter Berücksichtigung der geltenden Hygiene-Standards und -Richtlinien wurde das erste nahezu latenzfreie Konzert aus dem Kesselhaus zu den Zuschauenden auf PC, Smartphone, Tablet und Smart- TV gestreamt, sowie in das Bochumer Planetarium als 360°-Video mit 3D-Audio übertragen, und sorgte dabei für das versprochene immersive, digitale und interaktive Erlebnis.

Fraunhofer-Institut für offene Kommunikationssysteme FOKUS

Für Fraunhofer FOKUS liegt das Zusammenspiel aus Übertragung und Interaktion im Mittelpunkt der Betrachtungen. Mit den jeweiligen Medien ein möglichst immersives Erlebnis zu schaffen, ist die Aufgabe: vom Planetarium bis zum Smartphone.

Fraunhofer-Institut für Integrierte Schaltungen IIS

Das Fraunhofer IIS beschäftigt sich bei Virtual LiVe mit dem Einsatz von Audio-/ Videocodes, Lichtfeld und 3D-Audio. Durch die Lichtfeldforschung sollen eines Tages wenige Kameras ausreichen, um eine Vielzahl von Kameraperspektiven errechnen zu können. Moderne Codecs sollen Daten nahezu in Echtzeit aufbereiten und für eine Vielzahl an Endgeräten gleichermaßen bereitstellen.

Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut HHI

Im Fraunhofer HHI ist das Wissen über 360°-Video und volumetrisches Video gebündelt, hier befasst man sich also vornehmlich mit der Aufnahme des Events auf neue Weise und aus unentdeckten Perspektiven. Das 3IT – Innovationszentrum für immersive Bildtechnologien, ansässig am Fraunhofer HHI, bildet die organisatorische Plattform des Projektes. Ansprechpartnerinnen für Koordination und Kommunikation sind Maria Ott und Jennifer Chyla.

Annähernd latenzfrei

Eine der Schwierigkeiten im gemeinsamen Musizieren lag vor allem darin, die von extern aus Köpenick auf die Bühne live zugeschalteten „Queenz of Piano“ annähernd latenzfrei zu übertragen, so Projektleiter des ersten Validierungsprojekts im Rahmen von Fraunhofer Virtual LiVe Robert Seeliger vom Fraunhofer-Institut FOKUS. Die größten Herausforderungen habe das 20-köpfige Team jedoch mit der Umsetzung der nahezu latenz- und jitterfreien Übertragung des Audio- und Videostreams gehabt. Die Lösung lag dabei nicht in einer hohen Bandbreite, sondern darin, dass die Internet-Konnektivität zwischen beiden Spielorten schnell genug und möglichst störungsfrei war. Hierzu wurden virtuelle Netzwerke aufgebaut, um eine entsprechende Priorisierung der Datenpakete wie auch eine maximale Fehlerminimierung zu gewährleisten.

Ein halbes Jahr Planungszeit habe die Produktion benötigt, unzählige Detailaufgaben wurden gelöst und bis kurz vor Eventbeginn konnte nicht mit Sicherheit garantiert werden, dass die Produktion wie geplant stattfinden könne. Zu komplex seien die Variablen möglicher Fehlerquellen. „Die Latenz, mit der wir hier arbeiten, liegt im Bereich von zwei bis fünf Millisekunden, was in etwa einer wahrgenommenen Sprechentfernung von ein bis drei Metern entspricht. Uns war es wichtig, technische Lösungen auf hohem Niveau anzubieten bzw. zu entwickeln. Gerade in der aktuellen Zeit sehen wir es als Chance, Innovationen zu kreieren und neue Lösungen aufzuzeigen“.

Besondere Symbiose

Umso beeindruckender ist das Ergebnis. Nahezu latenzfreies gemeinsames Musizieren von verschiedenen Standorten erlebbar vor Ort als Konzert und in Echtzeit als interaktiver Stream auf dem eigenen Endgerät und im Kino, sowie als 360°-Video-Stream, kombiniert mit MPEG-H 3D-Sound im Planetarium Bochum. Eine Symbiose, die das digitale Event zum Live-Erlebnis werden ließ. „Wir liegen hier bei einer Verzögerung von ca. drei Sekunden von Kameraausgang bis Endgeräteeingang beim Zuschauer“, sagt Seeliger, betont aber gleichzeitig, dass seine Vision und sein Wunsch vor allem eine Übertragung von Audio und Video in Echtzeit seien. Dieses Kernproblem gilt es grundsätzlich für die digitale Umsetzung von Live-Events bzw. Hybrid-Events zu lösen. Digitale Lösungen sind notwendig und werden weiter an Bedeutung gewinnen, auch wenn für Seeliger das Live- Event der „alten Schule“ an erster Stelle stehe.

Die Künstler:innen seien jetzt schon begeistert. „Das es möglich ist, zeitgleich mit Personen einen Song live auf der Bühne zu arrangieren, welche an einem anderen Veranstaltungsort irgendwo auf der Welt spielen, ist schon beeindruckend. Damit entstehen für uns völlig neue Möglichkeiten“, paraphrasiert Seeliger deren O-Ton. Er ist überzeugt, dass dieser technische Fortschritt nicht nur als Problemlösung zu verstehen sei, sondern auch Kulturräume und Platz für Kreativität schaffe. „In Zukunft werden Lösungen dieser Art nicht nur für jeden Veranstalter möglich und umsetzbar sein, sondern sie werden zum Standard-Repertoire innovativer Live-Kommunikation gehören. Präsenzveranstaltungen werden zunehmend mit digitalen Lösungen angereichert und damit einem breiteren Publikum zugänglich gemacht werden.“

Interaktiv im Netz

Dabei spielt die Interaktivität zwischen Künstler:in und Teilnehmenden eine wichtige Rolle. Während des Konzerts war es für Billy Andrews, bekannt als Künstler „The Dark Tenor“, seiner Band und den Zuschauenden vor Ort im Kesselhaus möglich, interaktives Feedback der Zuschauenden des Online-Streams zu erleben. Über einen von Fraunhofer entwickelten Video-Player konnten virtueller Applaus sowie Live-Videos der Zuschauenden ins Kesselhaus übertragen werden – sie wurden Teil des Konzertes. Ein Erlebnis der besonderen Art, wenn man bedenkt, dass Low-Latency-Streaming, Augmented Reality, 360°-Videoproduktion und immersiver Sound dafür sorgen können, dass virtuelle Sitze bald denselben Stellenwert haben könnten wie echte Live-Tickets. Diese Vision bietet eine nahezu unerschöpfliche Vergrößerung der Venues, als auch neue Möglichkeiten, wie wir zukünftig miteinander in Kontakt treten. Es ist also davon auszugehen, dass in Zukunft das Erlebnis eines Live-Events zu Hause in den eigenen vier Wänden adäquat nachempfunden werden kann.

Low-Latency-Streaming als Service der Zukunft

Seeliger ist mit dem Proof-of-Concept so weit zufrieden, betont aber, dass es im nächsten Schritt vor allem darum geht, die Learnings und Forschungsergebnisse für Dienstleister und Veranstalter in beherrschbare Lösungen zu überführen. Für eine Wiederholung eines solchen Events werde es in Zukunft nur wenige Tage an zusätzlicher Vorbereitung benötigen. Es wird möglich sein, die gewonnenen Erkenntnisse als Service so umzusetzen, dass man sie individuell auf die eigenen Veranstaltungen anpassen und implementieren kann. Interaktion und extrem niedrige Latenzen für Audio-Video-Streaming bilden die Grundlage, um neue Anwendungen für die Kreativwirtschaft zu ermöglichen. Das übergeordnete Ziel ist es, praktisch latenzfrei im Audio-Video-Bereich zu arbeiten, um sowohl vor Ort als auch für den Zuschauenden zu Hause ein Eventerlebnis der besonderen Art zu schaffen.

>> Weitere Infos zum Projekt unter: www.3it-berlin.de/projects/virtuallive/