Kamerabasierte Emotionserkennung als Tool fürs Eventmarketing
Erfolgsmessung bei Events mittels Emotion Tracking
von Sophie Schumann, Artikel aus dem Archiv vom
Durch Emotionalisierung und Erlebnisorientierung sollen bei Events Inhalte besser vermittelt und die Bekanntheit der Marke gestärkt werden. Das Erreichen dieser qualitativen Zielstellungen zu messen, stellt Marketers vor Herausforderungen, auch weil standardisierte Erfolgsmessungen im Eventmarketing schwierig sein können. Welche Chancen und Möglichkeiten sich im Eventmarketing bei der Bewertung von Emotionen mittels des Einsatzes von Emotion Tracking ergeben, hat Sophie Schumann in ihrer Masterarbeit untersucht.
(Bild: Shutterstock/metamorworks)
Bei der Veranstaltung von Events stehen die Emotionalisierung und Erlebnisorientierung im Mittelpunkt der Kommunikationsaufgabe. Es geht darum, den Inhalt (Produkt, Marke) multisensual erlebbar zu machen und damit die Bekanntheit zu erhöhen sowie den Aufbau bzw. die Festigung des Markenimages zu erreichen. In erster Linie sollen qualitative Zielstellungen erreicht werden, woraus sich ein grundlegendes Messproblem ergibt.
Eine einheitliche, standardisierte Erfolgsmessung stellt sich im Eventmarketing schwieriger dar. Dies liegt vor allem an der Bewertung von Emotionen. Messgrößen müssen abhängig von den angestrebten Schwerpunkten der Erlebnisgenerierung eventspezifisch bestimmt werden. Bisher werden in diesem Kontext vor allem qualitative Messansätze auf der Basis von Befragungen und Beobachtungen zur Beurteilung der Erlebnisqualität über unabhängige Expert:innen eingesetzt. Hohes Potenzial versprechen neue Ansätze zur objektiven Emotionsmessung über digital sensorische Tools zur Facial Expression Analysis (FEA).
Emotionen sind eher unbewusst, deshalb fällt es Proband:innen oft schwer, diese zu erkennen, zu beschreiben und zu beurteilen. Dadurch können verzerrte Ergebnisse bei Befragungen entstehen. Diese Verzerrung kann von unterschiedlichen Faktoren abhängig sein, z.B. aufgrund von mangelnder Selbsteinschätzung, Interviewenden-Einflüssen, Neigungen zu bestimmten Antworttendenzen oder sozialem Druck. Affective Computing beschäftigt sich in diesem Zusammenhang mit der Erforschung und Entwicklung von digitalen Systemen und Geräten, die menschliche Affekte erkennen, interpretieren, verarbeiten und simulieren können. Daraus ergeben sich neue Möglichkeiten der Datenerhebung und Emotionsanalyse jenseits der traditionellen Selbstauskunft, Beobachtung und Interviewtechniken. Bisher werden affektive KI-Technologien zum Erkennen und Interpretieren menschlicher Emotionen vor allem in der Werbewirkungsforschung und bei Markenanpassungstests eingesetzt und nicht im Rahmen von Marketing-Events. Viele dieser Technologien arbeiten mit Bild- und Videoanalysen. Die direkte Analyse von Echtzeitdaten ist in diesem Zusammenhang ein relativ neuer Bereich, welcher mit einer höheren Datenschutzkonformität verbunden ist.
Emotionen sind u.a. Auslöser für verschiedene Konsumentenverhaltensmuster. Aus diesem Grund spielt das Verständnis von emotionalen Reaktionen auf unterschiedliche Reize eine bedeutende Rolle. Gerade bei Veranstaltungen stehen die Emotionalisierung und Erlebnisorientierung im Mittelpunkt. Mithilfe von objektiv gemessenen emotionalen Reaktionen über automatisierte Emotionsausdruckserkennung kann eine bessere Bewertung von Emotionen erreicht und ein Verständnis für die Erfahrungen der Teilnehmenden gewonnen werden. Dies stellte bisher ein erhebliches Problem dar, da es schwierig ist, die vor allem qualitativen Ziele im Eventbereich einheitlich und standardisiert zu messen.
Action Unit (AU): dienen der Kodierung von Gesichtsaktionseinheiten zur Beschreibung von Gesichtsausdrücken. Sie entsprechen entweder einem einzelnen Gesichtsmuskel oder eine Muskelgruppe.
Affective Computing: beschäftigt sich mit der Erforschung und Entwicklung von digitalen Systemen und Geräten, die menschliche Affekte erkennen, interpretieren, verarbeiten und simulieren können.
Basisemotionen: beziehen sich auf affektive Prozesse, die als Ergebnis evolutionärer Entwicklungsprozesse zu betrachten sind. Sie gelten als kulturunabhängig und äußern sich über universelle Gesichtsausdrücke.
Benchmarks: bestimmen das Level, ab wann ein bestimmter Gesichtsausdruck als neutral, lächelnd oder gelangweilt angesehen werden kann.
Emotionen: sind ein hypothetisches Konstrukt innerer Erregungsvorgänge, die mehr oder weniger bewusst wahrgenommen und individuell als angenehm oder unangenehm erlebt werden.
Facial Expression Analysis (FEA): stellt die Untersuchung von Gesichtsbewegungen und Veränderungen von Gesichtsmerkmalen anhand von visuellen Informationen dar.
Landmarks: sind Positions- und Orientierungspunkte von Gesichtsmerkmalen, aus denen ein vereinfachtes Gesichtsmodell erstellt wird.
Marketing-Event: beschreibt eine besondere Veranstaltung, die aufgrund der eigenständigen, multisensualen und erlebnisorientierten Inszenierung der Inhalte bei den Nachfragenden außergewöhnliche und wertstiftende Erlebnisse hervorruft.
Klassifikationen von Emotionen und Gesichtsausdrücken
Einer der stärksten Indikatoren für Emotionen ist unser Gesicht. Nach Carroll E. Izard umfasst die Ausdrucksklassifikation von Emotionen zehn fundamentale Emotionen: Interesse, Freude, Überraschung, Kummer, Zorn, Ekel, Geringschätzung, Furcht, Scham und Schuldgefühl. Jede dieser Emotionen ist gekennzeichnet durch inhärente adaptive Funktionen und spezifische Mimik- und Gestikeigenschaften, die biologisch bedingt sind. Im Rahmen der Gesichtsausdrucksanalyse erfolgte durch Paul Ekman eine Spezifizierung der zehn fundamentalen Emotionen auf sechs Basisemotionen: Glück, Angst, Wut, Ekel, Traurigkeit und Überraschung. Diese rufen einen jeweils charakteristischen, universellen Gesichtsausdruck hervor. Auch in stark unterschiedlichen Kulturen umfassen diese Emotionen die gleichen Ausdrücke und Erlebnisqualitäten.
Gesichtsausdrücke stellen mimische Bewegungen dar, die nach Ekman 43 funktional anatomische Muskeln umfassen, welche unabhängig voneinander ausgelöst werden können. Die Muskeln sind mit der Gesichtshaut verbunden und bewegen diese. Eine objektive Methode zur Kodierung des Gesichtsverhaltens stellt das Facial Action Coding System (FACS) von Ekman und Wallace V. Friesen dar. Hierbei handelt es sich um ein vollständig standardisiertes Klassifikationssystem für Gesichtsausdrücke auf Grundlage anatomischer Merkmale. Die Identifizierung erfolgt in Form von Action Units (AUs), welche auf funktionellen, nicht strukturellen, anatomischen, organisierenden Muskeln oder Muskelkombinationen basieren. Dadurch umfasst das FACS alle möglichen Bewegungen, die im menschlichen Gesicht auftreten können.
Aufgrund der Einschränkungen, mit denen diese manuelle FEA behaftet ist, entstand eine neue Generation von vollautomatisierten und computerbasierten Gesichtsausdruckstechnologien. Der Gesichtsausdruck wird dabei nicht mittels biometrischer Gesichtserkennung analysiert, sondern ausschließlich über Landmarks von verschiedenen Schlüsselmerkmalen. Die Programme umfassen die Gesichtsdetektion, die Erkennung und Registrierung von Gesichtsmerkmalen sowie die Klassifizierung von Gesichtsausdrücken und Emotionen. Innerhalb der Gesichtsdetektion wird die Position des Gesichts über die Anwendung eines Algorithmus identifiziert und mit einer Gesichtsbox umrahmt. Gesichtsmerkmale wie Augen, Augenwinkel, Augenbrauen, Mundwinkel und die Nasenspitze oder Merkmalsgruppen werden erfasst, und daraus wird ein Gesichtsmodell erstellt. Dieses Modell passt sich an die Bewegungen und den Ausdruck an. Über das vereinfachte Gesichtsmodell werden die Positions- und Orientierungsinformationen aller Schlüsselmerkmale in Klassifizierungsalgorithmen eingespeist. Diese übersetzen die jeweiligen Merkmale in AUs, emotionale Zustände und andere affektive Metriken. Die Klassifizierung der Merkmale wird für jede Emotion, AU und jedes Schlüsselmerkmal unabhängig voneinander durchgeführt. Dadurch ist die automatische Kodierung objektiver als die manuelle Kodierung mit geschulten Kodierungsexpert:innen.
Mithilfe einer empirischen Studie wurde die Bedeutung des Einsatzes von Emotion Tracking über kamerabasierte Emotionserkennung genauer erforscht. Dabei ging es vorwiegend um die Frage, welche Chancen und Möglichkeiten sich für den Einsatz im Rahmen von Marketing-Events ergeben. Hierfür wurden zuvor Benchmarks klassifiziert, die der Operationalisierung von Variablen im Rahmen von Marketing-Events dienen.
Konsument:innen suchen vermehrt nach positiven Erlebnissen, um ihrem Alltag entfliehen zu können. Eventformate stellen deshalb vordergründig Spaß und Vergnügen bereit. Diese Erlebnisse, insbesondere in Verbindung mit emotionalen Vorgängen, beeinflussen die Aufmerksamkeit, die Motivation zur Informationsaufnahme und begünstigen kognitive Funktionen. Aus diesem Grund sollen Teilnehmende von Marketing-Events meistens positiv emotionalisiert werden. Vor allem Emotionen mit positiver Valenz sollten im Eventmanagement Berücksichtigung finden, da sie den Veranstaltungserfolg positiv beeinflussen. Jede Veranstaltung umfasst ein einzigartiges Emotionsprofil, welches vorab definiert werden sollte. Darüber hinaus können auch die Zielgruppe, das Thema oder verschiedene Ereignisse den emotionalen Rahmen beeinflussen. Neben Freude, Vergnügen, Begeisterung, Euphorie und Glück kann dieses auch Emotionen wie Interesse, Erregung und positive Überraschung einschließen. Emotionen wie Angst, Wut, Ekel oder Traurigkeit sind eher gering bis gar nicht ausgeprägt, sollten aber nicht vernachlässigt werden, da sie auf negative Erfahrungen hinweisen.
Im Rahmen der empirischen Studie wurden die emotionalen Ausdrücke von Proband:innen mithilfe des digitalen Tools „Live Emotions“ von TAWNY während eines hybriden Marketing-Events – der Weltpremiere eines neuen Fahrzeugs – getrackt. Der Veranstaltungsausschnitt umfasste eine Anmoderation, eine Rede des CEO zu der Geschichte, dem Design und den technischen Besonderheiten sowie die Präsentation des neuen Fahrzeugs mit Videos, Bühnenshow und Livemusik. Hierfür wurden die Teilnehmenden in vier Gruppen (jeweils zwei Gruppen, Gruppe 1: Teilnehmende bis einschließlich 35 Jahre, Gruppe 2: Teilnehmende ab 36 Jahre) eingeteilt. Im Anschluss an das Experiment wurde ein Kontrollfragebogen versandt, in dem die Teilnehmenden der Studie ihre Emotionen beschreiben sollten.
Die automatisiere Emotionsausdruckserkennung eignet sich zur objektiven Messung von verschiedenen emotionalen Phasen im Eventmarketingbereich. Damit kann der grundlegenden Messproblematik im Eventmarketing bei der Bewertung von Emotionen entgegengewirkt und eine noch effektivere und effizientere Abstimmung auf die Bedürfnisse der ausgewählten Zielgruppen erreicht werden. Mit dem verwendeten Tool von TAWNY lassen sich derzeit drei verschiedene emotionale Phasen (fokussierte, glückliche und überraschte Reaktionen) und somit unterschiedliche Basisemotionen während eines Events abbilden. Die emotionalen Phasen spiegeln die zeitliche Realität des Events wider und können mit der Agenda der Veranstaltung abgeglichen werden. Besonders starke emotionale Phasen werden über die gleichzeitige Anzahl an emotionalen Reaktionen zu einem Zeitpunkt bestimmt. Zwischen den Teilnehmergruppen lassen sich Unterschiede bei den emotionalen Reaktionen feststellen. Die Teilnehmerinnen zeigten vermehrte und stärkere emotionale Reaktionen als die Teilnehmer. Ebenfalls konnten mehr emotionale Reaktionen bei der Altersgruppe ab 36 Jahren erfasst werden. Dies zeigt, dass unterschiedliche Reaktionsverläufe verschiedenen Zielgruppen zugeordnet werden können. Tendenziell zeigte sich, dass ein höheres Involvement zu positiveren Emotionsangaben führte. Dem Involvement sollte deshalb ebenfalls Beachtung geschenkt werden, da dieses einen Einfluss auf die Wahrnehmung zeigt.
Mit dem „Live Emotions“ Tool von TAWNY lässt sich emotionales Feedback in Echtzeit tracken. Die KI-gesteuerten Algorithmen erkennen signifikante emotionale Reaktionen anhand der Gesichter der Teilnehmenden und teilen diese anonym mit anderen Teilnehmenden im gleichen Kanal. Auf diese Weise soll die emotionale Atmosphäre der Veranstaltung eingefangen und die fehlenden emotionalen Dimensionen in der Videokommunikation überwunden werden können. Das Emotion Tracking erfolgt direkt über die Webcam des Computers der Teilnehmenden. Die dabei erfassten emotionalen Reaktionen werden in Form von Smileys innerhalb des Tools veranschaulicht. Im Rahmen des Emotion Trackings sollen modernste Datenschutzstandards berücksichtigt sein. Die erfassten Videodaten werden nicht gespeichert oder weitergegeben. Alle Emotionen werden lokal ausgewertet und anonymisiert übertragen. Die Weitergabe der Emotionen ist freiwillig und jederzeit ausschaltbar. Es erfolgt eine Moment-zu-Moment-Analyse der Emotionen, wodurch Einblicke in die Wahrnehmung des Publikums gewonnen werden sollen. Die Reaktionen der User:innen können im Anschluss mit den einzelnen Eventabschnitten abgeglichen und somit die emotionalen Erfahrungen analysiert werden. Mit der Anwendung lassen sich derzeit drei verschiedene Emotionskategorien messen: Fokus, Freude und Überraschung.
Schwierigkeiten bestanden darin, die fokussierten Momente zu bewerten, da diese sowohl positiv als auch negativ gedeutet werden können. Zum einen kann es sich um konzentrierte Momente der Aufmerksamkeit handeln, zum anderen auch um verwirrte oder wütende Momente. Durch die unterschiedlichen Interpretationsmöglichkeiten ist es schwierig, detailliert zu analysieren, welche Abschnitte des Events den Teilnehmenden eventuell missfallen bzw. nicht die gewünschte Wirkung erzielt haben. Zwischen den subjektiven emotionalen Angaben der Proband:innen im Kontrollfragebogen und den objektiv gemessenen emotionalen Reaktionen über das Emotion Tracking konnten teilweise Unterschiede festgestellt werden. Dies kann dadurch erklärt werden, dass Emotionen eher unbewusst sind. Einige der subjektiven Angaben bezogen sich nicht ausschließlich auf das Marketing-Event, sondern umfassen Erfahrungen und Erinnerungen mit der Automobilindustrie. Dennoch sollten subjektive Wahrnehmungen eine Berücksichtigung finden, da nur darüber bewusste emotionale Verbindungen entstehen.
Im Rahmen zukünftiger Forschungen wäre es interessant, nicht nur einzelne Basisemotionen, sondern auch verschiedene Variationen wie z.B. Freude, Begeisterung, Vergnügen und Erstaunen, die im Zusammenhang mit Marketing-Events auftreten können, zu berücksichtigen. Die Intensität der jeweiligen Einzelreaktionen würde mehr Aufschluss über die Stärke des emotionalen Empfindens geben. Darüber hinaus würde die Implementierung von Schnittstellen, worüber das Event direkt mit den erfassten emotionalen Reaktionen abgeglichen werden kann, die Auswertung erleichtern. Denkbar wäre auch eine Verknüpfung dieser expressiven Daten mit psychologischen Daten, die über Wareables aufzeichnet werden. Zu klären ist noch, inwieweit der Einsatz der Technologie bei Vor-Ort-Events möglich ist.
Die Wissenschaft ist sich einig: Emotionen sind die Basis für erfolgreiche Eventerlebnisse. Da Emotionen den Teilnehmenden am Event oft eher unbewusst sind, ist es schwer, diese mittels der üblichen Methoden Befragung oder teilnehmenden Beobachtung zu messen. Frau Sophie Schumann wendet sich, angeleitet durch meine Doktorandin Frau Nadia Meinhardt, erstmals einer neuen Methode zu: dem Emotion Tracking über kamerabasierte Emotionserkennung im Gesicht der Teilnehmenden.
Entstanden ist eine Arbeit, die für die Eventforschung wissenschaftliches Neuland betritt und aufzeigen kann, dass affektive KI-Technologien eine objektive, Event-synchrone Emotionsmessung bei digitalen Events erlauben. Die spannende Arbeit von Frau Schumann zeichnet sich durch eine theoretisch begründete Vorgehensweise und ein anspruchsvolles experimentelles Untersuchungsdesign aus. Sie stellt einen vielversprechenden Start in eine neue Phase der Emotionsmessung bei Events dar.
Univ.-Prof. Dr. Cornelia Zanger, Studiengangsleiterin MBA Eventmarketing/Live Communication TU Chemnitz
Sophie Schumann (24 Jahre) erwarb 2021 den berufsbegleitenden Master of Business Administration mit Schwerpunkt Eventmarketing, Messen und Live-Kommunikation am Weiterbildungsinstitut der Technischen Universität Chemnitz (TUCed). Seit 2016 arbeitete sie im Event- und Marketingmanagement einer Wasser- und Wellness-Welt in der Schweiz. Mittlerweile ist sie für ein Feinkost-Unternehmen im Projektmanagement des Eventverkaufs tätig und für die Planung und Organisation von verschiedensten Veranstaltungen zuständig.
Der Artikel basiert auf Literatur und Quellen, die in der vollständigen Masterarbeit einzusehen sind, und deren explizite Nennung für die Veröffentlichung im Magazin vernachlässigt wurde.
