Home
Sitemap
Gruppe
News
Jobs
E-Mail
Suche
Impressum

Online Marktforschung - Ein Standard-Instrument?!

erschienen in planung & analyse, Ausgabe 1/2005

Kurzfassung

Online-Marktforschung gehört inzwischen zum Standard-Repertoire unseres Berufszweigs. Weiter geführt werden muß aber die Diskussion darüber, wie Online-Marktforschung durchgeführt wird – d.h. die stets relevante Auseinandersetzung darüber, was eine professionellen Ansprüchen genügende Online-Marktforschung ist und was nicht. Dazu gehört insbesondere die Berücksichtigung und Vermeidung möglicher Verzerrungen im Rahmen des Stichproben-Prozesses sowie einer „Befragten-Professionalisierung“.

1. Einführung

Online-Marktforschung gehört inzwischen zum Standard-Repertoire unseres Berufszweigs. Sie steht damit in der Tradition von Erhebungs- und Methoden-Innovationen wie CATI, Conjoint und anderen.

Die Methodendiskussion sollte aber nicht darauf beschränkt bleiben, ob Marktforschung online durchgeführt wird oder nicht, sondern wie Online-Marktforschung durchgeführt wird – d.h. die stets relevante Diskussion darüber, was eine professionellen Ansprüchen genügende Online-Marktforschung ist und was nicht.

Die folgende Darstellung beruht auf dem Stand der Diskussion innerhalb der Fachverbände, den Diskussionen im letzten NEON-Plenum sowie eigenen Erfahrungen (siehe Literaturhinweise).

2. Qualitätskriterien in der Online-Forschung

Zu Beginn der Online-Marktforschung hatte man manchmal den Eindruck, es würden Grabenkämpfe mit (überspitzt formuliert) auf der einen Seite der „guten Marktforschung“ und auf der anderen Seite der Online-Forschung geführt. Die Verbände haben sich jedoch bereits frühzeitig, nämlich 2001, mit den Kriterien für eine „gute“ Online-Forschung beschäftigt (vgl. ADM u.a. 2001) und damit zum Ausdruck gebracht, dass die Regeln für eine professionelle Markforschung bei allen spezifischen Anwendungen (und ihrer Unterschiedlichkeit) ihre generelle Gültigkeit behalten. Schließlich wächst mit fortschreitender Anwendung einer neuen Methode auch das Wissen um deren Stärken und Schwächen und damit die Möglichkeit, marktforscherische „Fallgruben“ zu vermeiden.

Heutzutage entsteht z.T. der umgekehrte Eindruck. Mit dem „Siegeszug“ der Online-Marktforschung scheinen bei manchen Anwendungen der Online-Forschung handwerkliche Fragen etwas in den Hintergrund zu treten.

Damals wie heute ist aber alleine relevant, wie Online-Forschung durchgeführt wird. Die bereits erwähnten Standards zur Qualitätssicherung für Online-Befragungen sprechen dazu bei der Anlage einer Untersuchung folgende Kernkriterien an:
(1) Definition und Erreichbarkeit der Grundgesamtheit
(2) Das geeignetste Auswahlverfahren

3. Grundgesamtheit

Jede Untersuchung erfordert zunächst eine klare Abgrenzung der betrachteten Grundgesamtheit in zeitlicher, räumlicher und sachlicher Hinsicht und eine Ausrichtung des Erhebungsdesigns auf diese Ausgangsgröße. Die Ergebnisse einer Untersuchung beziehen sich dann zunächst auch nur auf diese Grundgesamtheit und sind– bei insgesamt geeignetem Erhebungsdesign „repräsentativ“ für diese Grundgesamtheit. Im Rahmen der Online-Forschung bedeutet dies auch, dass die Zielgruppe online erreichbar sein muß. Ausgangsgesamtheit ist daher immer die sogenannte „Internet-Bevölkerung“.

Nun ist es zwar so, dass die Internet-Penetration in den letzten Jahren stark zugenommen hat. So nutzten 2004 bereits 55% der Bevölkerung ab 14 Jahre das Internet (vgl. ARD/ZDF-Online-Studie 2004 : van Eimeren u.a.). Einzelne Altersgruppen sind im Internet besonders gut vertreten, nämlich über 70% der 14 bis 39 Jährigen und sogar 95% der 14-19-Jährigen. Allerdings nutzen auch die Hälfte aller 40 bis 59-Jährigen das Internet.

Dazu kommen aber eine Reihe von Besonderheiten:

Weiter trifft die Studie folgende Aussagen:

Damit gibt es zum einen hinsichtlich der Internetnutzerschaft generell sowie der Art und Intensität der Nutzung immer noch gravierende Unterschiede zwischen Gesamtbevölkerung und Internetnutzerschaft. Diese Verzerrung ist dabei eben nicht auf (möglicherweise kontrollierbare) sozioökonomische Effekte, sondern eben auch auf (weniger bis gar nicht kontrollierbare) psychographische Effekte zurückzuführen.

Diese Aspekte sind daher zu berücksichtigen, wenn Stichproben aus der Internet-Bevölkerung oder Teilen davon gezogen werden.

4. Auswahlverfahren

Generell kann man dabei 3 Fälle als Basis für eine Auswahl unterscheiden:
a) Grundgesamtheit ist die Gesamtbevölkerung oder definierte Segmente daraus, etwa bei klassischen Konzepttests, die online durchgeführt werden sollen. Hier kommt es auf eine möglichst genaue Definition der Zielgruppe an und eine möglichst genaue Prüfung, ob sich durch die Erhebung via Internet (und damit die Beschränkung auf Internet-Nutzer) Verzerrungen ergeben.
b) Besucher einer Website. Auch hier werden im Rahmen von Onsite-Surveys naturgemäß eher häufigere / intensivere Nutzer erreicht (d.h. erfasst werden die regelmäßigen Besuche einer Site, nicht der weiteste Nutzerkreis). Das Universum aller Nutzer ist regelmäßig kaum beschreibbar, da insbesondere Annahmen über die Erstbesucher getroffen werden müßten. Diese Einschränkungen sind allerdings dann unproblematisch wenn die Häufig-Nutzer im Vordergrund des Interesses stehen.
c) Für die Zielgruppe liegen Adressverzeichnisse vor. Dies kann z.B. bei Kunden oder Mitarbeitern gegeben sein, wenn für alle Mitglieder der Gruppe e-Mail-Adressen vorhanden sind. Damit ist ein übliches Sampling möglich.

Insbesondere Verfahren nach a) stellen also erhöhte Anforderungen an das Sampling. Da hier für eine Zielgruppe(n) keine (vollständige) Auswahlgrundlage existiert, ist keine Zufallsauswahl möglich. Daher wird versucht, durch eine Quotierung oder andere Gewichtungsverfahren ex ante oder ex post Repräsentativität (für eine Zielgruppe) zu erreichen.

Auch hier gibt es allerdings neben dem Effekt der Internetnutzung noch eine ganze Reihe weiterer Verzerrungsquellen:
a) Herkunft der Ausgangsstichprobe
b) Gewinnung der Bruttostichprobe
c) Gewinnung der Nettostichprobe
d) Gewichtung / Justierung der Nettostichprobe

D.h. es existiert ein Methodenbias hinsichtlich

Diese Aspekte sollen im folgenden diskutiert werden.


5. Herkunft der Ausgangsstichprobe

Stichproben im Internet können auf zwei grundsätzlichen Wegen gewonnen werden. Zum einen direkt im Internet auf geeigneten Websites, zum anderen aus einer vorrekrutierten Sammlung von Befragungswilligen (Online-Access-Pool bzw- -panel).

Die direkte Rekrutierung im Internet kann auf der Unternehmens-Website (z.B. bei einer Website-Evaluierung), auf einem General-Interest-Portal (Zielgruppe: „Internet-Nutzer“), auf einer Zielgruppen-Site (Special Interest, zum jeweiligen Thema) oder alternativ über allgemeine oder themenspezifische Newsletter.
Vorteil dieser Vorgehensweise ist die jeweils frische Rekrutierung sowie im Falle themenspezifischer Sites oder Newsletter die objektive Qualifizierung der Befragten durch ihr Interesse am Thema. Onsite / während des Surfens können Nutzer einer Website mit entsprechender Marken-/Website-Erfahrung befragt werden. Websites selektieren damit „ihre“ spezielle Klientel i.S. homogener und themen-relevanter Zielgruppen. Ebenso wird die Anforderung der Standards zur Qualitätssicherung nach einer aktiven Auswahl der Teilnehmer erfüllt, d.h. die Teilnehmer werden vom Institut selbst ausgewählt und individuell angesprochen.
Die Alternative, etwa die Bewerbung einer Umfrageseite im Internet (vgl. Perspektive Deutschland) birgt dagegen die Gefahr, dass bereits durch die Bewerbung mit dem Umfragethema Verzerrungen hervorgerufen werden. Insbesondere ist dann wahrscheinlich, dass schwerpunktmäßig hochgradig am Thema interessierte oder anderweitig psychographisch selektive Personengruppen an der Umfrage teilnehmen. Diese Verzerrung kann dann ggf. durch eine Ex-Post-Gewichtung nicht mehr aufgefangen werden.
Nachteil der direkten Rekrutierung im Internet ist ein relativ hoher Aufwand. Dazu gehört das Auffinden entsprechender Sites und die Erlangung des Einverständnisses des Betreibers (dies ist beispielsweise bei Sites von Selbsthilfegruppen für Zwecke der Pharmamarktforschung nicht einfach).

Die weitere Darstellung konzentriert sich allerdings auf Online-Access-Panels, da dort die o.g. Sampling-Probleme relevanter sind und sie (im Rahmen der Online-Marktforschung) am häufigsten für Zielgruppen-Befragungen eingesetzt werden. Bei diesen ist zunächst einmal die Art der Rekrutierung relevant.
Auch hier ist eine aktive Rekrutierung vorzuziehen, um eine (ungesteuerte) Selbstselektion zu verhindern. Dabei sollte grundsätzlich auf eine breit gestreute Rekrutierung – online oder offline – geachtet werden, um eine möglichst große Streuung der Hintergrundmerkmale zu erreichen bzw. Selektivität aufgrund der Rekrutierungquelle zu vermeiden.
Die Gefahr der Selbstselektion liegt dabei nicht nur in der selektiven Zusammensetzung des Panels durch bekannte Hintergrundmerkmale, sondern eben auch in einer versteckten Verzerrung durch unbekannte (psychographische) Aspekte, die sich anschließend nicht mehr kontrollieren lassen.

Die Qualität eines Panels muß jedoch im Rahmen der Panelpflege permanent gesichert werden. Dabei sind insbesondere folgende Kriterien relevant:

Ebenso spielt hier die Rolle der Incentivierung der Panelteilnehmer eine Rolle. Meist wird hier monetär oder mit entsprechenden Aquivalenten incentiviert, da dies einen relativ verzerrungsfreien Anreiz bewirkt. Andere Panels bevorzugen jedoch nicht-monetäre Incentives (etwa Informationen, Community, Teilhabe am „wissenschaftlicher Fortschritt“). Als Begründung wird hier angeführt, dass Befragungsergebnisse, die aufgrund einer Bezahlung zustandekommen, weniger zuverlässig seien. Allerdings stellt sich die Frage, ob durch nicht-monetäre – d.h. inhaltliche – Anreize die Verzerrungen nicht noch viel größer sind, da hier ja noch ein bestimmter Zweck verfolgt wird (hier gelten selbstverständlich Ausnahmen, etwa unter Experten oder in der Wissenschaft).

Generell besteht bei zunehmender Häufigkeit der Befragungen je Teilnehmer sowie bei verstärkter Community-Bildung die Tendenz zum „Berufsbefragten“ (durch Informationsaufbau und Einnahme einer „professionellen“ Perspektive). Die sich in den USA abzeichnende Tendenz, Marktforschung verstärkt über Online-Panels zu betreiben, fördert dies, da damit ein geschlossenes System von Marktforschern einerseits und Berufsbefragten andererseits entstehen kann (im Vergleich zu bisher üblichen telefonischen oder persönlichen Befragungen, denen – zumindest theoretisch – eine originäre Stichprobenziehung aus der Grundgesamtheit vorausging).
Daher ist nicht nur auf eine Beschränkung der Art und Häufigkeit der Umfrageteilnahmen von Panelmitgliedern zu achten, sondern genaugenommen auch ein regelmäßiger Austausch der Panelteilnehmer durch „frische“ Befragte.

Einen „Höhepunkt“ findet diese Entwicklung durch zunehmende Werbung um umfragewillige Personen speziell im Internet, etwa mit dem schönen Satz „mit Marktforschung Geld verdienen“. Damit sollen Personen überzeugt werden, sich für spätere Umfragen zu registrieren. Dass dadurch auf Seiten der „Befragungswilligen“ bestimmte Erwartungen geweckt werden, die zu Verzerrungen der Umfrageergebnisse führen (können), wird in diesen Fällen vernachlässigt. Im Rahmen eines Projektes stehen dann professionellen (?) Marktforschern auch „professionelle“ Befragte gegenüber.
Daher ist von Auftraggeberseite stets die Rekrutierung der Panel-Mitglieder kritisch zu hinterfragen.


6. Von der Brutto- zur Nettostichprobe

Bei der Definition der Bruttostichprobe sollten von vorneherein Quotierungen vorgegeben werden, um eine mögliche Verzerrung durch die Zusammensetzung des Panels auszugleichen. Erfahrungsgemäß sind Panelmitglieder eher höher gebildet, eher häufigere Internet-Nutzer und dazu möglicherweise an bestimmten Befragungsthemen interessierter als an anderen.
Für viele Fragestellungen kann dies eine merkliche Verzerrung hervorrufen. Dies erhöht auch die Bedeutung einer möglichst breiten Rekrutierung der Panel-Teilnehmer.

Eine Untersuchung kommt hier beispielsweise zu folgenden Ergebnissen (vgl. Walker u.a. 2004):

Auf der praktischen Ebene ist es zusätzlich sinnvoll, wenn im Panel bestimmte Strukturen vorgehalten sind (z.B. Besitz eines bestimmten Fahrzeugs oder Handy-Marke), um die Identifikation der Zielgruppe zu erleichtern. Zumindest sollten durch Anwendung von Heuristiken ein Screening minimiert werden (d.h. durch Ansprache von Panel-Mitgliedern, die aufgrund ihrer Hintergrundmerkmale mit hoher Wahrscheinlichkeit zur Zielgruppe gehören). Dadurch können zum einen die Kosten durch ein aufwendiges Screening reduziert und zum anderen Screening-Fehler vermieden werden.
Sollte ein Screening erforderlich sein, so ist darauf zu achten, weder das genaue Untersuchungsthema noch die Screeningkriterien in der Einladung zur Umfrage / im Screening zu kommunizieren. Sonst besteht die Gefahr, dass alleine aufgrund der Incentivierung Angaben gemacht werden, von denen man sich eine Umfrageteilnahme verspricht. Manchmal wird sogar darum gebeten, die Einladung an Bekannte mit bestimmten Merkmalen weiterzureichen. Dies lädt geradezu zu Mißbrauch ein.

Weiter ist der Rücklauf einer Stichprobe zu beobachten, der zur Nettostichprobe führt. Oft werden Online-Panels aus Zeitgründen eingesetzt und so die Feldzeit auf 1-2 Tage reduziert. Dadurch besteht aber die Gefahr, dass dann auch im Rücklauf Häufig-Nutzer des Internet überrepräsentiert sind. Dieser Effekt ist zwar bereits seit längerem bekannt, wird aber oft ignoriert.
Je nach Fragestellung ist es weiter zu empfehlen, Technik- / Internet-Affinität sowie Bildungsniveau und Berufstätigkeit zu kontrollieren und ggf. danach zu gewichten (sofern die entstehenden Gewichte nicht allzu groß werden).


7. Fazit

Auch in der Online-Forschung sind alle Erkenntnisse der Stichprobentheorie relevant. Ihre Nichtbeachtung kann eine Stichprobe grob verzerren und somit Ergebnisse unzuverlässig werden lassen. Die Standards und Qualitätskriterien der Verbände geben hierzu erste Hinweise. Von zentraler Bedeutung ist die Transparenz der jeweiligen Vorgehensweise. Insbesondere muß offengelegt und diskutiert werden:

Nur so ist es für den Nutzer von Online-Stichproben überhaupt möglich, deren Qualität einzuschätzen. Dabei gibt es nicht für jeden Einzelfall eine „richtige“ oder „falsche“ Vorgehensweise. Je nach Erkenntniszweck können auch bestimmte Verzerrungen hingenommen oder sogar begrüßt werden, etwa wenn sich eine Umfrage an Personen mit höherer Bildung oder intensiverer Internet-Nutzung richtet. In anderen Fällen kann dies aber zu Fehlschlüssen führen.

Literatur:

Heft 1/2005, S. 102-105, erschienen am 28. Feb. 2005.
Abdruck mit Genehmigung des Deutschen Fachverlages,
planung & analyse, Mainzer Landstraße 251, 60326 Frankfurt am Main, Telefon 069-7595-2019, Fax -2017, redaktion@planung-analyse.de w.planung-analyse.de