Systematische Fehler können zu Verzerrungen der Stichprobe führen. Diese Fehler finden auf dem Weg zur Nettostichprobe statt und rufen innerhalb dieser Selektionseffekte hervor. Die folgende Abbildung zeigt die Zusammenhänge.
Abbildung: Selektionseffekte bei Stichproben
Die definierte Grundgesamtheit ist die vollständige Anzahl der Elemente, über die aussagekräftige Informationen gewünscht sind.
Die Auswahlgrundlage, auch „sampling frame“ genannt, stellt eine Abbildung der Grundgesamtheit dar, auf die im konkreten Fall das jeweilige Auswahlverfahren angewandt wird. Dies kann eine Adressenliste, eine Kartei, eine Kunden-Datenbank, das Telefonverzeichnis oder auch Landkarte sein, anhand derer die Stichprobe ausgewählt wird. Für spezielle Grundgesamtheiten, wie z.B. Architekten, Handwerksbetriebe etc., werden oft so genannte „List Broker“ zu Rate gezogen um an Adressen zu gelangen.
| Axel Glemser – Head of Sampling, TNS Infratest | |
| „Wenn man eine telefonische Untersuchung anbieten möchte, kann man nicht einfach aus dem Telefonbuch Nummern ziehen, da eine Menge Haushalte nicht eingetragen sind. Das wäre keine adäquate Auswahlgrundlage.“ |
Zu Selektionseffekten kann es immer dann kommen, wenn die Auswahlgrundlage nicht vollständig ist. Das Problem bei der Stichprobenziehung auf Basis der genannten Listen und Verzeichnisse ist also, dass es zu Problemen bei der Repräsentativität kommen kann und zwar wenn diese z.B. nicht auf neustem Stand sind und daher nicht die komplette definierte Grundgesamtheit umfassen. Das Telefonbuch ist ein Bespiel für eine unvollständige Auswahlgrundlage. Eine Auswahlgrundlage kann auch Personen enthalten, die für die Untersuchung nicht erwünscht sind. Möchte eine Firma beispielsweise eine Untersuchung zur Kundenzufriedenheit durchführen, so kann die Datenbank Personen enthalten, die keine Kunden sind und somit aus der Gesamtheit herausfallen. Um deises Problem einzugrenzen, sind geeignete Filterfragen zu Beginn von Interviews oder Onlinebefragungen wichtig.
Andere Personen sind mehrfach in der Liste aufgeführt und haben so größere Chancen, in die Stichprobe zu geraten.
| Axel Glemser – Head of Sampling, TNS Infratest | |
| „Bei TNS Infratest unterscheiden wir gerne nach den Begriffen Bruttostichprobe – das was ich als Statistiker ziehe – und Nettostichprobe, was ich im Feld realisiere – also die Interviews. Auch hier kann es Fehler geben, einfach durch falsche Realisierungen. Probleme in Richtung Verzerrung durch Nichterreichbarkeit, fehlende Teilnahmebereitschaft von Personen oder auch so was wie Adressgüte, dass einfach viele falsche Adressen vorhanden sind. All das sind Dinge, die man bei der Realisierung der Stichprobe monitoren, überprüfen und ggf. korrigieren muss.“ |
Auch innerhalb der Brutto- und Nettostichprobe kommt es zu Selektionseffekten. Der häufigste Grund für die Reduktion der Bruttostichprobe ist die Nicht-Erreichbarkeit (Non-Response) der Zielpersonen. Personen mit wenig Zeit sind schwerer erreichbar und haben weniger Interesse an Erhebungen teilzunehmen. Was die Sache brisant macht: Sie unterscheiden sich zudem in einer Vielzahl von Variablen von Personen mit viel Zeit (vgl. Wübbenhorst & Wildner, 2008, S. 3).
Personen mit wenig Zeit sind eher berufstätig, haben eher Kinder, sind eher jünger, eher weiblich und vieles mehr (vgl. Wehner, 2004, S. 101). Diese Unterschiede haben zwei wesentliche Bedeutungen. Zum einen haben die genannten Variablen einen deutlichen Einfluss auf die Zusammensetzung der Stichproben und zum anderen ist davon auszugehen, dass sich die Personen mit wenig Zeit auch in ihrem Erleben und Verhalten von denjenigen mit viel Zeit unterscheiden. Auch mit wiederholten Anrufen oder Zusendungen von Einladungen zu Onlineumfragen, lässt sich dieses Problem nicht ganz beheben. Die Folge sind Verzerrungen der gewonnenen Forschungsergebnisse.
Außerdem reduzieren und verzerren Antworten durch die falschen Personen die auswertbare Nettostichprobe. Denn ein Fragebogen ist beispielsweise nicht zu gebrauchen, wenn die Antworten durch dritte Personen (etwa Freunde) gegeben werden. Gerade bei Fragebögen, die zu Hause als Papierbogen oder am Computer ausgefüllt werden, fällt dies aber oftmals gar nicht auf und die Daten werden verzerrt .
| Axel Glemser – Head of Sampling, TNS Infratest | |
| „Die zwei wesentlichen Aspekte für Selektionseffekte sind Teilnahmebereitschaft und Erreichbarkeit der Zielpersonen. Man hat daneben noch Effekte, die unter das Stichwort Adressgüte fallen – z.B. eine hoher Anteil veralteter Adresse durch Umzüge verursacht nochmal Ausfallraten. Die genannten Gründe für Selektionseffekte gab es schon immer – im Grunde genommen Charakteristika jeder Primärdatenerhebung. Insbesondere die Teilnahmebereitschaft ist in den letzten Jahren massiv gesunken. Auch die Erreichbarkeit ist zumindest nicht besser geworden – Stichwort: mobile Gesellschaft. Das sind alles Faktoren, die an Schärfe gewinnen.” |
Insgesamt zeigt sich, wie drastisch Stichproben durch Selektionseffekte verkleinert werden können. In der Praxis müssen also tatsächlich viel mehr Personen befragt werden, um eine ausreichend große Nettostichprobe zu erhalten. Die Ausschöpfungs– bzw. Rücklaufquote (Response-Rate) ist hierbei definiert als das Verhältnis von abgeschlossenen zu versuchten Interviews. Sie zeigt also z.B. wie groß der Anteil der Personen ist, die tatsächlich befragt wurden.
„Eine Rücklaufquote von über 60% wird als gut, eine von 70% und mehr als sehr gut bewertet. Die Anforderungen an den Rücklauf bei Interviewstudien liegt bei 80 bis 85%.“ (vgl. Babbie, 2001, S. 256).
| Axel Glemser – Head of Sampling, TNS Infratest | |
| „Das Verhältnis von Brutto- zu Nettostichprobe ist ein ganz schwieriges und vielschichtiges Phänomen. Es hängt an einer ganzen Bandbreite von Faktoren.
Zum einen kann der Untersuchungsgegenstand einen ganz erheblichen Einfluss darauf haben. Wir stellen immer wieder fest, dass im Bereich von Medienuntersuchungen die Auskunftsbereitschaft sehr hoch ist. Das ist offensichtlich ein Thema, für das sich weite Teile der Bevölkerung interessieren. Gegenbeispiel sind Themen, die nicht interessant sind – wir sprechen von Low-Involvement – oder die sensible Informationen beinhalten. Wenn man z.B. eine Befragung zum Anlageverhalten machen oder Auskünfte über die finanzielle Situation von Haushalten erheben wollte, dann hat man sehr sehr niedrige Teilnahmebereitschaften. Eine vernünftige Feldzeit, die es einer Studie erlaubt, die Fallzahl zu erhöhen, man kann eine bessere Ausschöpfungsquote erreichen, weil Termine mit Zielpersonen ausgemacht werden können, weil man Wiedervorlagen terminieren kann. Bei sehr kurzen Feldzeiten erreicht man eine ganze Menge an Personen aus den unterschiedlichsten Gründen schlichtweg einfach nicht.“ |