Fehler in Forschung, Studien und Umfragen: Warum viele Ergebnisse falsch sind

Die Herausforderung: Viele veröffentlichte Studien und Ergebnisse sind schlichtweg falsch, Analysen zeigen sogar: die meisten sind fehlerhaft (Ioannidis, 2005). Schlagworte dazu sind Wissenschaftsbetrug, wissenschaftliches Fehlverhalten, Fehler und Irrtümer der Wissenschaft. Das Problem gilt noch mehr für Auftragsforschung, die in den Unternehmen bleibt und intern veröffentlicht und genutzt wird. Hier häufen sich Studien, Umfragen und Untersuchungen mit fehlerhaften Ergebnissen. Mikropolitische Interessen und Dienstleister, die um ihren nächsten Auftrag fürchten, bestimmen das Feld. Was passiert, wenn man eben nicht, wie gedacht, ein Top-Arbeitgeber ist oder die höchste Kundenzufriedenheit seiner Branche hat? Was passiert, wenn der Auftraggeber erfährt, dass er seinen Werbekunden zu Unrecht für bestimmte Sendeplätze zu viel abverlangt? Was kann man tun gegen methodische Fehler, mangelnde Wissenschaftlichkeit und gezielte Verfälschung?
Dieses Kapitel zeigt die häufigsten Fehler im Forschungsprozess und gibt damit eine Checkliste für Wissenschaft und Praxis, um vorhandene Ergebnisse systematisch zu bewerten und zu hinterfragen oder um neue Erhebungen sauber vorzubereiten. …

Fehlerquellen in Studien: Forschungsstudien sind wie eine Kette – Fehler bei einzelnen Aspekten können die ganze Kette reißen lassen — Fehlerquellen in Studien: Forschungsstudien sind wie eine Kette – Fehler bei einzelnen Aspekten gefährden alles

In diesem Beitrag:

Fehlerquellen bei der Forschung: Übersicht

Die Hauptursachen für mangelnde Qualität von Ergebnissen liegen meist direkt oder indirekt auf der Seite des Forschers. Der Forscher gestaltet das gesamte Forschungsdesign und verantwortet die Durchführung der einzelnen Schritte – und dabei passieren Fehler im Forschungsprozess, mache vielleicht auch bewusst. So zeigt sich etwa bei Analysen zu wissenschaftlichen Publikationen, dass etwa bei jeder dritten Veröffentlichung die Autoren eigene finanzielle Interessen haben, die mit der Fragestellung verbunden sind (Krimsky et al., 1998). Jeder Fehler im gesamten Forschungsprozess kann fatale Auswirkungen auf die Validität und Brauchbarkeit der Daten und Ergebnisse haben. Dabei kann es in nahezu jedem Schritt des Forschungsprozesses bis zur Kommunikation der Ergebnisse zu schwerwiegenden Fehlern kommen, die die Qualität der gesamten Ergebnisse bedrohen.

Einige typische Beispiele zeigen folgende Abschnitte, die als Checkliste für die Bewertung von vorhandene Daten oder für die Planung von Datenerhebungen genutzt werden können.

Fehler bei der Analyse der Ausgangsbedingungen von Forschung

Welche typischen Fehler passieren, schon bevor ein Forschungsprojekt startet?

Die Nutzer der zu erhebenden Informationen sind nicht alle bekannt bzw. berücksichtigt. Dadurch wird die Nützlichkeit der Daten in der Regel beeinträchtigt.
Beispiel: Bei einer Mitarbeiterbefragung wird nicht erhoben, welchem Standort die Mitarbeiter zugeordnet sind. Später wird aber erwartet, dass die Leiter der Standorte an den kritischen Bereichen arbeiten und Konzepte gemeinsam mit ihren Mitarbeitern entwickeln, wie man dort vorankommt. Das Problem: Keiner kann aus den Daten mehr feststellen, an welchem Standort überhaupt welche Bereiche aus der Mitarbeiterbefragung kritisch sind und ob die Gesamtergebnisse für den einzelnen Standort zutreffen.
Man hat den Informationsbedarf der Nutzer ungenügend definiert, weil man sich nicht mit dem Problem, um das es geht, auseinandergesetzt hat. Als Folge ist die Forschungsfrage nicht klar definiert und geht an den möglichen Nutzern der Information, ihrem Bedarf und an dem Problem, das sie lösen wollen, vorbei.
Die Forschungsziele und der festgestellte Informationsbedarf entsprechen nicht der tatsächlichen Forschungsfrage oder sind zu unklar definiert.
Der Wert der Information wird falsch eingestuft. In der Folge investiert man ggf. mehr in ein Projekt als der Bedarf rechtfertigt. Oder man verzichtet auf ein Projekt, was einen Bruchteil dessen kostet, was es an Risiken senken oder Chancen eröffnen kann.
Typisches Beispiel: Für die Schaltung eines Werbespots werden Millionen Euro ausgegeben – man verzichtet aber auf einfache Wirkungstests und Optimierungen für 15000 Euro, die den Spot deutlich wirksamer machen würden. Oder man verzichtet auf eine tief-gehende Analyse des Commitments von Mitarbeitern, gibt aber viel Geld für Anreize und Maßnahmen aus, um das Commitment zu erhöhen. Dieses Geld ist dann natürlich wenig treffsicher angelegt.
Der Zeitrahmen wird falsch eingeschätzt. Als Konsequenz wird mitunter ein Design gewählt, dass erst zu spät die benötigten Informationen liefern kann. Diese sind dann nicht mehr relevant.

Typische Fehler in Forschungsdesigns

Welche typischen Fehler treten immer wieder bei Forschungsdesigns auf?

Die Untersuchungsobjekte werden nicht klar definiert. Man vergisst z.B. wichtige Personen zu befragen (etwa Mitarbeiter an bestimmten Standorten) oder schließt Personen ein, die gar nicht relevant sind (Personen, die gar nicht mehr im Unternehmen arbeiten, werden zu einer Mitarbeiterbefragung per E-Mail eingeladen).
Beispiel: Bei einer Mitarbeiterbefragung vergisst man die Zeitarbeiter mit einzubeziehen, obwohl man eigentlich einen Gesamtüberblick über die für das Unternehmen tätigen Personen bekommen möchte.
Man vergisst entscheidende Variablen zu messen, was später bei der Auswertung schmerzlich bewusst wird.
Die Untersuchungsansätze sind falsch gewählt; etwa eine Querschnittstudie für eine Frage, die durch eine Längsschnittstudie geklärt werden sollte.
Die verwendeten Instrumente sind unzureichend. Frageformulierungen und Fragebogenaufbau können zu systematischen Antwortverzerrungen führen. Beispiel: Es besteht eine unklare oder zweideutige Formulierung der Fragen, so dass die Antworten unpassend oder nicht zu interpretieren sind.
Man entscheidet sich für eine Situation oder einen Ort der Untersuchung, der nicht geeignet ist, auf die Praxis Rückschlüsse zu erlauben. Beispielsweise verhalten sich potenzielle Mitarbeiter in Assessmentcentern unter Beobachtung oft anders als später am Arbeitsplatz.
Das gewählte Auswahlverfahren für die Teilnehmer ist fehlerhaft und führt zu einer verzerrten Stichprobe, aus der nicht auf die tatsächliche Population (etwa die Mitarbeiter in einem Unternehmen) geschlossen werden kann. Wird eine Stichprobe nicht per Zufallsauswahl, sondern willkürlich getroffen oder ist die Grundgesamtheit nicht korrekt definiert, so erhält man höchstwahrscheinlich Ergebnisse, die sich nicht auf die reale Grundgesamtheit übertragen lassen.

Fehler bei der Datenerhebung

Welches sind die größten Gefahren für die Qualität von Daten während der Erhebung?

Die Daten werden in einer falschen Auflösung erhoben – etwa zu grob für spätere Analysen. Das kann mitunter von außen erzwungen worden sein, etwa weil ein Datenschutzbeauftragter nicht möchte, dass man das Alter von Mitarbeitern in Jahren erhebt, sondern nur Altersgruppen von minimal zehn Jahren zulässt.
Verzerrungen der Ergebnisse durch die erhebenden Personen werden nicht kontrolliert. Das betrifft z.B. sogenannte Interviewereinflüsse: Interviewer bestärken bestimmte Äußerungen von Interviewpartnern und reduzieren andere. So könnte eine attraktive junge Interviewerin etwa dazu führen, dass Männer ihren Berufserfolg und ihre Karriereambitionen übertrieben darstellen.
Verzerrungen der Daten durch die Teilnehmer sind unkontrolliert. Etwa indem man zulässt, dass bestimmte Teilnehmer zu zweit Fragebögen beantworten, den nur jeweils einer alleine beantworten sollte. Oder indem Personen in die Befragung aufgenommen werden, die der verwendeten Sprache nicht ausreichend mächtig sind.
Der Coverage Error resultiert aus der Verwendung einer falschen Auswahlgrundlage für die Stichprobenziehung. Soll etwa eine repräsentative Umfrage aller Bürger einer Stadt durchgeführt werden und wird dafür das Telefonbuch als Auswahlgrundlage verwendet, so haben all die Personen keine Chance in die Stichprobe zu gelangen, die nicht im Telefonbuch eingetragen sind, oder keinen Festnetzanschluss besitzen. Wer mehrere Telefonnummern hat, wird dahingegen sogar mit höherer Wahrscheinlichkeit erreicht. Solch eine Untersuchung wäre dann keinesfalls repräsentativ.

Auswertungsfehler bei Forschungsprojekten

Auch durch unsaubere Aufbereitung und Auswertung werden Forschungsdaten verdorben. Hier ein paar typische Beispiele aus der Praxis.

Bei der Datenaufbereitung werden Daten falsch eingegeben, Teilnehmer doppelt eingegeben oder übersehen oder Datensätze falsch fusioniert.
Bei der Auswertung kann es zu Kodierfehlern kommen, oder statistische Auswertungsverfahren werden sogar falsch angewandt, etwa indem statistische Tests auf Daten angewandt werden, die nicht die mathematischen Voraussetzungen erfüllen.
Die auswertenden Personen sind nicht richtig geschult oder falsch motiviert. Beispiel: Eine Firma lässt, um Kosten zu sparen, eine Rezeptionistin während der normalen Tätigkeit am Empfang Daten eingeben und aufbereiten. Diese sortiert einmal die Excel-Tabelle falsch und speichert darüber. Sicherungskopien von verschiedenen Versionen hat sie nicht erstellt.
Die verwendeten Systeme (Software und Rechner) arbeiten fehlerhaft.

Dateninterpretation und Datenkommunikation

Manche Daten werden erst dadurch verdorben, was daraus gemacht wird: Ob bewusst oder durch Unvermögen werden sie gänzlich falsch interpretiert und falsch dargestellt.

Schließlich können Ergebnisse falsch interpretiert werden und so die Aussagekraft der Studie in Frage stellen.
Letztendlich können auch in der Kommunikation der Ergebnisse handwerkliche Fehler die Validität gefährden – etwa indem Daten falsch dargestellt werden. Das geschieht teilweise bewusst, um Ziele zu erreichen oder aus Unwissenheit, wie man Daten richtig interpretiert.

All diese verfahrenstechnischen Fehler sollten durch eine sorgfältige Planung und gewissenhafte Abwicklung des gesamten Forschungsprozesses vermieden werden. Einige dieser Fehler, die besonders häufig die Qualität von Daten bedrohen, werden daher in den nächsten Kapiteln detailliert dargestellt. Dort sind auch Tipps aufgeführt, wie sich diese Fehler reduzieren oder sogar beseitigen lassen.

Der letzte Abschnitt gibt Literaturhinweise zur weiteren Vertiefung.