Live-Tracking mit 3D-Avatar beim Dell Technologies Forum

Mit der Integration eines Metahumans in eine Live-Veranstaltung zeigten Faber Creative Services beim Dell Technologies Forum in Frankfurt, wie moderne Technologien genutzt werden können, um sowohl künstlerische als auch technische Maßstäbe zu setzen.

Beim jährlichen Flagship-Event von Dell Technologies in Frankfurt setzten die Eventspezialist:innen von Faber Creative Services ein Zeichen: Mit der Inszenierung eines digitalen Avatars bewies das Unternehmen seine Kompetenz in der Verbindung von innovativen Technologien und emotionalem Storytelling.

Das Highlight der „Opening Session“ war ein virtueller Zwilling von Tim van Wasen, Geschäftsführer von Dell Technologies Deutschland, der als 3D-Avatar live auf der Bühne erschien. Diese Idee stammte von van Wasen selbst, der sich ein einzigartiges Erlebnis für die Teilnehmenden wünschte, das nicht nur über Innovation sprach, sondern diese auch direkt erlebbar machte. Van Wasen wollte live den anwesenden Kunden wie Partnern zeigen, was mit Technologien wie Dell Precision Workstations mit Nvidia-Grafikkarten und Dell PowerEdge Server-Racks im Hintergrund möglich ist. Gemeinsam mit Faber Creative Services entwickelte das Team von Dell Technologies ein Konzept, das sowohl technologisch als auch kreativ neue Maßstäbe setzen wollte.

Technologie als Kunstform

Der 3D-Avatar wurde durch einen Ganzkörperscan von Tim van Wasen erstellt, bei dem zigtausende Datenpunkte und Koordinaten erfasst wurden. Aus diesen Daten entstand in aufwendiger Entwicklerarbeit ein „Metahuman“, der Bewegungen, Mimik und Gestik in Echtzeit auf der Bühne wiedergeben konnte. „Das ist ein neuer Weg, Technologie zu verwenden, um Kunst zu erschaffen“, erklärt Matt Finke, CEO und Managing Director von Faber Creative Services.

Um dieses Ergebnis zu erzielen, waren umfassende Vorbereitungen nötig. Bereits drei Monate vor dem Event erfolgte der erste Schritt: der Ganzkörperscan von Tim van Wasen. Dieser Scan bildete die photogrammetrische Grundlage für die weitere Modellierung des Avatars. Faber Creative Services stand dabei vor der Herausforderung, die geeigneten Softwarebausteine für das Live-Tracking auszuwählen. Es stellte sich heraus, dass keine einzelne Software sowohl Körper- als auch Gesichtserfassung leisten konnte. Schließlich wurde eine Lösung entwickelt, die verschiedene Kamera- und Softwaresysteme kombinierte, um Körperbewegungen und Mimik in Echtzeit zu erfassen und synchron auf das 3D-Modell zu übertragen. Dieses Echtzeit-Tracking wurde auf einem Dell-System mit Nvidia-Grafiktechnologie der neuesten Generation umgesetzt.

Ein überraschender Auftritt

Der Metahuman von Tim van Wasen kam in zwei Phasen der „Opening Session“ zum Einsatz. In der ersten Phase erschien der virtuelle Zwilling auf der Bühne anstelle des echten Geschäftsführers. Die Gäste gingen zunächst davon aus, dass es sich um eine einfache Animation handelte. Doch als der Avatar in Echtzeit auf Fragen des Moderators antwortete und auf aktuelle Ereignisse im Saal einging, war die Überraschung groß. Diese Interaktion verdeutlichte, dass die Darstellung nicht vorab aufgezeichnet worden war. Nachdem das Publikum einige Minuten lang die Live-Interaktion zwischen Moderator und Avatar erlebt hatte, wurde das Geheimnis gelüftet: Das Studio neben der Bühne, in dem das „Live-Tracking“ stattfand, wurde enthüllt, und der echte Tim van Wasen betrat die Bühne.

In der zweiten Phase der Präsentation spielte der Avatar eine weitere Rolle als „Sparringspartner“ in der laufenden „Opening Keynote“. Hier präsentierte er Geschäftszahlen und beantwortete komplexe Fragen. Diese Teile waren jedoch vor dem Event aufgezeichnet und eingespielt worden, um die Interaktion mit dem Publikum und dem Moderator zu ergänzen.

Risiken und Vertrauen

„Der komplexe Teil war das echte ‚Live-Tracking‘ eines Avatars mit einem Redner auf einem Event, bei dem es keinen doppelten Boden gibt. Ein Backup aller verwendeten Komponenten als Hard- und Software wäre schwer zu realisieren gewesen. Daher entschieden wir uns für einen klassischen One-shot, der einfach sitzen musste“, erläutert Matt Finke. „Wir sind sehr dankbar, dass Dell Technologies hier Vertrauen und Mut bewiesen hat, was mit einem wirklich sehr positiv überraschten Publikum belohnt wurde.“ Auch Tim van Wasen freut sich: „Man hat schon so ein bisschen Bauchflattern dabei, das irgendwas schiefgeht, denn am Ende ist es doch Technik, aber es hat sich gelohnt: Das Feedback unserer Kunden und Partner war gigantisch.“

Für Faber Creative Services wurde das Dell Technologies Forum so zum Best-Practice-Case, anhand dessen sie beweisen konnten, dass sie nicht nur in der Lage sind, raffinierte technische Lösungen zu liefern, sondern diese auch in ein fesselndes und emotionales Erlebnis für das Publikum zu verwandeln.

Tech Specs

• 3D Metahuman „Echtzeit-Tracking“ Umsetzung in Unreal Engine 5
• Tracking von Mimik und Körper über LiDAR Sensoren mit Skeleton sowie Gesichtserkennung
• Ausspielung Metahuman auf Dell Precision Workstation mit Nvidia RTX Ada 6000
• Zuspielung Grafik und Animation über AV Stumpfl Pixera four RS
• Grafikmischung über Christie Spyder X80
• Zuspielung PowerPoint-Charts über Faber Creative Services HMS System in Unreal über Pixera four RS mittels Live-Inputs, um die grafische Welt auch in der virtuellen Welt bei Kamerafahrten konsistent zu halten

Über Faber Creative Services:

Faber Creative Services ist ein technischer und kreativer Dienstleister aus Marburg und Wiesbaden, der sich auf die Inszenierung emotionaler Bilderwelten bei Live-Events spezialisiert hat. Mit modernster Technik und innovativem Storytelling bringt Faber Creative Services Geschichten im Raum zum Leben, von Schaufenstern bis hin zu großen Weltbühnen. Zu ihren Kunden zählen namhafte Unternehmen wie Dell, Merck und Roche sowie Veranstaltungen wie die IAA Mobility und das Hahnenkamm-Rennen. Ihr Ziel ist es, durch die Kombination von Kreativität und Technik bleibende Eindrücke zu hinterlassen und emotionale Erlebnisse für das Publikum zu schaffen.

Entstanden ist Faber Creative Services 2021 aus der Fusion zweier Unternehmen: der 1994 von Matthias Finke gegründeten loop light, einem technisch-kreativen Dienstleister, und der n.o.me Medienproduktion. Heute gehört Faber Creative Services zur niederländischen Faber Audiovisuals Gruppe, die wiederum Teil der NEP Group mit Sitz in Pittsburgh, USA, ist – einem der weltweit größten Anbieter von Broadcast- und Eventproduktionen. Zum Führungsteam von Faber Creative Services gehören Matt Finke, Geschäftsführer und CEO, Oliver Kähler, Geschäftsführer und COO, Timo Weinhold, Technical Director und Prokurist sowie Matthias Etz als Creative Director und Prokurist.