Möglichkeiten der offenen Frage – ein empirischer Methodenvergleich

Dieser Beitrag erschien in der Research & Results Ausgabe 3/2017.

Emojis in offenen Abfragen. Bild: EARSandEYES

Jeder Marktforscher kennt das Problem: Wie hole ich aus Likes und Dislikes von Visuals möglichst viele interessante und relevante Informationen heraus und mache diese Erkenntnisse umsetzbar? Das untersuchen Lasse Wolfarth, Sylvia Pichert und Ella Jurowskaja.

Die Marktforschungspraxis bietet in diesem Bereich zahlreiche methodische Ansätze, die mehr oder weniger komplex und als Konsequenz mehr oder weniger kostenintensiv sind. Ein populäres Vorgehen ist die klassische offene Frage. Hierbei hat der Konsument die Möglichkeit, sich mit dem Stimulus auseinanderzusetzen und anschließend seine Eindrücke offen niederzuschreiben. Außerdem sind weitere Abfragemethoden mit verschiedenen Vor- und Nachteilen gebräuchlich. Besonders häufig wird ein bei Ears and Eyes als „Attention Tracker“ bezeichnetes Verfahren verwendet. Dabei sind mehrere Vorgehensweisen möglich:

  • Vordefinierte, anklickbare Bereiche: Beim Anklicken öffnet sich – vergleichbar zur offenen Abfrage – ein Textfeld, in dem angegeben wird, was gefällt.
  • Keine vordefinierten Bereiche: Der Befragte klickt zunächst die Elemente an, die ihm gefallen, und beantwortet auf dem Folgescreen eine offene Frage zum Gefallen. Die Klicks im Stimulusmaterial werden als Heatmap dargestellt, sodass nachvollzogen werden kann, welche Elemente oder Zonen besonders gut ankommen.
  • Je nach Studienziel kann den Befragungsteilnehmern der Einsatz von Emojis ermöglicht werden.

Auf dem Prüfstand

Das Ziel unserer Untersuchung war es, zu überprüfen, ob bei identischer Fragenformulierung die verschiedenen methodischen Ansätze zu unterschiedlichen Ergebnissen führen. Dabei stellte sich zudem die Frage, ob die Anzahl der vordefinierten Bereiche für das Attention Tracking-Verfahren Einfluss auf die Ergebnisse hat. Außerdem überprüften wir, inwieweit die Möglichkeit, Emojis zu verwenden, die Aussagen der Befragten beeinflusst. Hierzu wurden die vorgestellten Methoden einem empirischen Vergleich unterzogen. Die Untersuchung war als Online-Befragung im Ears and Eyes-Panel aufgesetzt. Um mögliche Zufälle auszuschließen, führten wir die Studie in zwei Wellen durch. Dabei variierten der Stimulus (Anzeige, Verpackung) und die Zielgruppe.

Das große Ganze oder Details

Die Ergebnisse beider Befragungswellen zeigen, dass der Stimulus bei klassischen offenen Abfragen stärker als Ganzes bewertet wird als im Rahmen des Attention Trackings. So können hier beispielsweise ganzheitliche Äußerungen hinsichtlich Anmutung, Stimmung oder Botschaft gewonnen werden. Ferner ist es möglich, auf diese Weise die Elemente des Stimulus zu identifizieren, die spontan die Aufmerksamkeit potenzieller Konsumenten wecken. Seltener erzielt man hingegen differenzierte Aussagen zu den einzelnen Elementen der Anzeige beziehungsweise der Verpackung.

Anders beim Attention Tracker: Durch die Definition einzelner Felder wird die Aufmerksamkeit der Probanden auf diese gelenkt, um eine detailliertere Bewertung zu erreichen. Hierbei gehen die Befragungspersonen explizit auf die einzelnen Elemente ein, beispielsweise die Fahrerin des BMWMotorrads oder das grüne Bionorica-Blatt.

Wenn weniger mehr ist

Die Anzahl der definierten Bereiche ist beim Attention Tracker jedoch mit Bedacht zu wählen. Die Ergebnisse der vorliegenden Studie zeigen, dass die Anzahl der Bereiche in angemessener Relation zur Komplexität des Stimulus stehen muss. Werden zu viele Bereiche definiert, steigt zwar die Zahl der Gesamtaussagen von durchschnittlich 2,1 auf 2,6 pro Proband. Textanalysen zeigen jedoch, dass der Anteil an qualitativ hochwertigen Aussagen nicht damit einhergehend zunimmt.
Als problematisch hat sich auch erwiesen, dass sich die vordefinierten Bereiche ab einer bestimmten Menge zwangsläufig überlappen. Dies kann versehentliche Fehleingaben zur Folge haben, beispielsweise wenn Probanden ihre Äußerungen in ein falsches Textfeld eingeben. Bei der Auswertung birgt dies gewisse Unsicherheiten hinsichtlich der richtigen Zuordnung, denn insbesondere allgemein formulierte Äußerungen können theoretisch jedem Bereich zugeordnet werden. Überlappungen sind deshalb bei der Definition der einzelnen Bereiche zu vermeiden. Zu viele vordefinierte Bereiche führen also nicht zu mehr qualitativem Inhalt in den Aussagen und können mehrdeutige Ergebnisse zur Folge haben. Zudem entsteht ein unverhältnismäßiger Mehraufwand in der Auswertung und damit letztendlich ungerechtfertigt höhere Kosten für den Auftraggeber.

Stärkere Authentizität durch Emojis

Wird die Möglichkeit vorgegeben, den Stimulus mittels Emojis zu bewerten, können sowohl bei der klassischen offenen Abfrage als auch beim Attention Tracker tendenziell stärker emotionale Äußerungen gewonnen werden. Nutzt man Emojis, dann teilweise zur emotionalen Betonung der Angaben und teilweise ausschließlich zum Ausdruck emotionaler Regungen.
Die optionale Anwendung von Emojis ist zeitgemäß und eine gute Möglichkeit, das Begeisterungspotenzial zu messen. Deshalb erscheint es uns ratsam, den Einsatz von Emojis zumindest für bestimmte Arten der offenen Fragen, wozu auch Likes und Dislikes gehören, zuzulassen. Die Verwendung durch die Probanden sollte dabei natürlich freiwillig erfolgen – ebenso wie in Chats, SMS oder E-Mails. Da insbesondere jüngere Befragungspersonen in ihrer täglichen Kommunikation gewohnt sind, Emojis zu nutzen, erhält man dadurch deutlich authentischere Aussagen. Zudem hat sich gezeigt, dass die Akzeptanz des Gebrauchs von Emojis hoch ist: Je nach Zielgruppe setzen zwischen 75 und 85 Prozent der Befragten in unseren Studien Emojis in offenen Fragen ein – insbesondere natürlich jüngere Probanden und solche, die über ihr Smartphone auf die Umfrage zugreifen.

Divergente Aussagen

Dass der Einsatz von Emojis durchaus zu abweichenden Ergebnissen führen kann, zeigen weitere Forschungsergebnisse. In einem Paralleltest wurden die Befragten gebeten, eine Anzeige hinsichtlich emotionaler Attribute zu beurteilen. Die Hälfte der Stichprobe sah dabei eine Item-Liste ohne visuelle Unterstützung. Die Items waren in drei Kategorien unterteilt: positiv, negativ und neutral. Innerhalb dieser Kategorien wurden die Attribute frei rotiert. Die andere Hälfte der Befragungspersonen sah eine räumliche Anordnung von Emojis, denen dieselben positiven, neutralen und negativen Attribute zugeordnet waren. Die Emojis waren in positive (grüne Zone) und negative (rote Zone) Bereiche eingeteilt. Die neutralen Emojis befanden sich in der Mitte. Tatsächlich unterschieden sich die Ergebnisse beider Gruppen in einigen Punkten signifikant voneinander. Während die Befragten mit der Item-Liste wesentlich häufiger positive Emotionen wie „glücklich“, „fröhlich“ und „begeistert“ angaben, klickten Befragte, die diese Begriffe in Verbindung mit dem passenden Emoji vorgelegt bekamen, eher das „neutrale“ Emoji an.

Positive und negative Emotionen

Diese Ergebnisse überraschten uns. In einem weiteren Versuch überprüften wir deshalb, ob sie auf die räumliche Anordnung der Emojis zurückgeführt werden können, also ob die Befragten sich eher Attribute heraussuchen, welche in der Mitte der Fläche statt an den Rändern positioniert sind. Und in der Tat zeigten sich durch die Anordnung der Emojis bedingte Unterschiede: Dieselben positiven Emojis „glücklich“, „fröhlich“ und „begeistert“ wurden weitaus häufiger angeklickt als in der Item-Liste – wenn sie nicht mehr am Rand der Abbildung lagen, sondern näher am Zentrum. Die räumliche Anordnung der Emojis hat somit einen Einfluss auf das Antwortverhalten der Befragten.
Interessanterweise konnten wir einen ähnlichen Effekt bei negativen und neutralen Emojis übrigens nicht entdecken: Negative Emotionen wurden bei beiden Versuchsanordnungen gleich häufig mit und ohne Emojis angegeben.

Problematik der räumlichen Anordnung

Emojis sind demnach zwar in offenen Fragen durchaus sinnvoll, um die Antworten der Befragten möglichst authentisch abzubilden. Emoji-Felder sind für valide Aussagen jedoch unseren Erkenntnissen nach ungeeignet, da die räumliche Anordnung der Emojis Einfluss auf das Antwortverhalten hat. Es besteht die Möglichkeit der bewussten oder unbewussten Manipulation der Ergebnisse – je nachdem ob die positiven Emojis zentral oder weniger zentral positioniert werden.

Das Ziel bedingt die Methode

Je nach gewählter Methode können unterschiedlich stark differenzierte Antworten gewonnen werden:

  • Steht der Gesamteindruck des Stimulus im Vordergrund, ist die klassische offene Abfrage zu wählen.
  • Interessieren differenzierte Äußerungen, ist der Attention Tracker die geeignete Methode. Hierbei sollten jedoch nicht zu viele Zonen definiert werden.
  • Emojis in offenen Fragen führen zu emotionaleren Antworten. Für den Einsatz als Unterstützung von Attributen in einer räumlichen Anordnung erscheinen sie jedoch eher ungeeignet.

Die Autoren

Lasse Wolfarth ist Diplom-Soziologe und Leiter der Marktforschung bei der Ears and Eyes GmbH. Er hat viele Jahre Erfahrung in der Packungs- und Konsumgüterforschung und beschäftigt sich mit der Weiterentwicklung innovativer Marktforschungsmethoden.
Kontakt: +49 40 822 240 120

Sylvia Pichert arbeitet als Research Consultant bei Ears and Eyes. Sie verfügt über umfangreiche Kenntnisse in der internationalen Produkt-, Marken- und Innovationsforschung und betreut Projekte in der methodischen Grundlagenforschung.
Kontakt: +49 40 822 240 160

Dr. Ella Jurowskaja studierte Betriebswirtschaft an der Universität Hamburg und promovierte anschließend im Fach Marketing an der Helmut-Schmidt-Universität in Hamburg. Bei Ears and Eyes ist sie als Senior Research Consultant OTC und FMCG beschäftigt.
Kontakt: +49 40 822 240 165

Zum Originalbeitrag bei Research & Results.

16. Juni 2017|