Was sind die wesentlichen Erkenntnisse zur Interpretation von Forschungsergebnissen zu Mitarbeitern und Kunden? Wirtschaftspsychologie ist eine empirische Wissenschaft und auch in der Praxis sind Wirtschaftspsychologen immer mit Daten konfrontiert. Meist sind dies Daten zu Mitarbeitern, Kunden oder Konsumenten. Es gilt die Qualität vorhandener Forschungsergebnisse zu bewerten und die Qualität neu zu gewinnender Ergebnisse im gesamten Forschungsprozess zu sichern. Dabei sind folgende Erkenntnisse zentral:
Forschungsergebnisse sind bewertbar – mit Gütekriterien.
Zur Bewertung der Qualität von Forschungsergebnissen stehen zahlreiche Gütekriterien zur Verfügung. Die meisten lassen sich mathematisch berechnen. Mit diesen Berechnungen lässt sich die Qualität von Messungen, Daten und Ergebnissen einschätzen.
Forschungsergebnisse sollten möglichst Unabhängig von den Forschern sein.
Das Gütekriterium Objektivität bezeichnet die Unabhängigkeit der Ergebnisse von den Personen, die bei der Ergebniserstellung beteiligt sind. Dabei wird unterschieden in die Phasen der Durchführung einer Erhebung, der Auswertung von erhobenen Daten und der Interpretation der erhobenen Daten. In all diesen Phasen sollten die Ergebnisse möglichst nicht von den durchführenden Personen abhängen. Dazu sollte Objektivität berechnet werden und die im Text geschilderten Maßnahmen zur Erhöhung umgesetzt werden.
Ergebnisse sollten aus möglichst genauen Messungen entstehen.
Das Gütekriterium Reliabilität bezeichnet die Genauigkeit einer Messung. Dafür sollten möglichst präzise und standardisierte Messinstrumente verwendet werden. Überlegen sind Messinstrumente, die wissenschaftlich konstruiert und getestet wurden. Auch die Situation in der gemessen wird, sollte möglichst standardisiert sein, um eine genaue Messung zu erlauben. Reliabilität kann und sollte berechnet werden und es stehen zahlreiche Ansatzpunkte zur Verfügung, um Reliabilität zu erhöhen.
Präzision ist schön – aber bitte das richtige messen.
Das Gütekriterium Validität bezeichnet die Gültigkeit einer Messung, d.h. ob überhaupt das gemessen wurde, was gemessen werden sollte. Es gibt verschiedene Ansätze Validität zu sichern und zu berechnen (als Inhaltsvalidität, Kriteriumsvalidität, interne Validität oder externe Validität). In der Praxis sollten alle diese Ansätze beachtet und kombiniert werden.
Gütekriterien sollten als Komplettpaket betrachtet werden.
Zumindest, wenn man Ergebnisse möchte, die man auf neue Situationen übertragen kann und die in der Praxis brauchbar sind, dann wird man mehrere Gütekriterien kombinieren müssen. Ohne genaue Messung (Reliabilität) wird man beispielsweise nie das messen können, was man messen möchte (Validität).
Eine Kette ist nur so stark wie das schwächste Glied.
Auf jeder Stufe des Forschungsprozesses können Fehler entstehen, die die gesamten Ergebnisse gefährden. Einige dieser Fehler findet man in nahezu jedem Forschungsprojekt – sei es relativ am Anfang des Forschungsprozesses durch ein unsauberes Forschungsdesign oder relativ weit hinten im Prozess, etwa durch falsche Auswertung der Daten. Brisant dabei ist: Die gesamten Ergebnisse sind höchstens so gut, wie die schwächste Stelle im Forschungsprozess. Kommen Fehler in mehreren Stufen zusammen, ist es umso gravierender um die Datenqualität und die Brauchbarkeit der Ergebnisse bestellt.
Schlechte Interviewer – schlechte Daten.
Nicht zu unterschätzen ist der Einfluss von Interviewer oder Versuchsleitern auf die Qualität von Ergebnissen. Durch ungenügend standardisiertes Verhalten, das Signalisieren eigener Erwartungen, die Auswahl falscher Teilnehmer oder schlichten Betrug sind diese Personen eine Hauptursache für verzerrte Ergebnisse. Statistisch lässt sich übrigens meist relativ leicht feststellen, ob Interviewer und Versuchsleiter bei sonst gleichen Bedingungen zu ganz anderen Ergebnissen kommen – dann kann man entsprechend handeln und die betroffenen Fälle aus der Untersuchung ausschließen. Allerdings zerstört man mit diesem nachträglichen Entfernen ggf. wesentliche Elemente in einem Versuchsdesign oder Datensatz. Man kann also im Nachhinein oft nicht mehr wirklich reparieren. Daher ist es unverzichtbar, diese Einflüsse von vornherein zu minimieren.
Rote Karte für schlechtes Teilnehmerverhalten.
Auch die Teilnehmer an Forschungsprojekten sind oft nicht ganz unschuldig, wenn es um unsaubere Daten und unbrauchbare Ergebnisse geht. Bewusste Fehldarstellungen, um Ziele zu erreichen, Ermüdung oder unsauberes Antwortverhalten sind häufig. Zwar kann man derartige Fälle oft statistisch erkennen und ausschließen – das reduziert aber wieder die Zahl an ausgewerteten Teilnehmern und gefährdet die Repräsentativität von Daten. Besser ist es, das Fehlverhalten von Teilnehmern von vornherein zu reduzieren. Das kann mit einem sauberen Versuchsdesign geschehen, das Teilnehmer interessiert und motiviert, keinen Raum für Ermüdung bietet und Fehlanreize minimiert.
Qualität ist schön, muss aber finanzierbar sein.
Die Nebengütekriterien Ökonomie, Akzeptanz und Nützlichkeit sind insbesondere in der Praxis zentral. Ergebnisse dürfen nur so viel kosten, wie für die Entscheidung, um die es geht vertretbar ist. Beispielsweise ist bei der Genauigkeit der Daten nicht das technisch machbare maßgeblich, sondern das praktisch sinnvolle. So können Daten natürlich genauer werden, je mehr Personen mit umso mehr Fragen befragt werden. Aber viele Personen zu befragen, ist teuer und umso länger Befragungen werden, desto weniger sind diese akzeptiert bei den Teilnehmern. Die Beziehung zu Mitarbeitern und Kunden wird man dadurch in der Praxis nicht gefährden wollen – auch im Interesse zukünftiger Befragungen.
Die Verzerrungen und unerwünschten Einflüsse auf Daten sind vielfältig, wer sich einfach auf die oberflächlichen Ergebnisse verlässt, trifft schlechte Entscheidungen. Es gibt also allen Grund mit der “psychologischen Brille” hinter Forschungsergebnisse zu blicken, Forschungsergebnisse zu Mitarbeitern und Kunden richtig zu interpretieren. Mit den in diesem Text gezeigten Fehlerquellen können Führungskräfte die richtigen Fragen zu Forschungsberichten stellen und hinter die Oberfläche von Ergebnissen blicken.
