Externe Validität in der Psychologie: Generalisierbarkeit – Wirtschaftspsychologische Gesellschaft

Angewandte Psychologie möchte Theorien entwickeln, die praktischen Nutzen stiften. Diese Übertragung von Forschungsergebnissen und Theorien in die Praxis ist allerdings anspruchsvoll. Zu unterschiedlich sind verschiedene Menschen, zu verschieden verhalten sich Personen in anderen Kontexten und so schnell ändert sich ihr Verhalten mit der Zeit. Diese Herausforderung, man nennt sie Generalisierbarkeit, Externe Validität oder Ökologische Validität, zeigt dieses Kapitel. Es gibt eine Definition, zeigt die Ursachen und liefert Lösungsansätze für eine bessere Übertragbarkeit von Forschung in die Praxis. …

Externe Validität: Wie aussagekräftig sind psychologische Forschungsergebnisse für die Praxis?

In diesem Beitrag:

Generalisierbarkeit und Externe Validität: Definition

Man hat vor über zwanzig Jahren bei amerikanischen Führungskräften festgestellt, dass Karriere vor allem die Networker machen, gute Ergebnisse diejenigen produzieren, die sich mit ihren Mitarbeitern und Routinekommunikation befassen (z.B. Luthans, Hodgetts und Rosenkrantz, 1988). Wunderbar. Nur: Gelten diese Ergebnisse auch heute und in Deutschland? Ähnliches gilt für Ergebnisse, die man mit Studenten oder in Laborversuchen gewonnen hat. Gelten diese Ergebnisse auch bei anderen Personen oder nur bei Studenten? Kann man sich auf Ergebnisse aus dem Labor verlassen, wenn es um Verhalten von Menschen in der Praxis geht?

Für die Angewandte Psychologie, insbesondere für die Wirtschaftspsychologie sind das große Herausforderungen. Man nennt die Übertragung von Theorien oder Ergebnissen in andere Kontexte Generalisierbarkeit oder externe Validität. Externe Validität behandelt die Frage, ob Ergebnisse aus einer Untersuchung übertragbar auf andere Situationen sind. Man bezeichnet das als Übertragbarkeit bzw. Generalisierbarkeit von Ergebnissen.

Hier die Definition für externe Validität:

Externe ist ein anderes Wort für Generalisierbarkeit und beschreibt das Ausmaß der Übertragbarkeit von Ergebnissen auf andere Situationen.

Wie folgende Abbildung zeigt, kann Generalisierbarkeit auf verschiedenen Ebenen betrachtet werden:

andere Situationen (Hier geht es vor allem das sogenannte Feld, also reale Situationen etwa beim Kaufverhalten von Kunden oder dem Arbeitsverhalten von Mitarbeitern. Lässt sich z.B. aus einem Online-Experiment zu verschiedenen Werbeformen tatsächlich auf die tatsächliche Wirkung im Feld schließen? ),
Personenpopulationen (z.B. Lassen sich Forschungsergebnisse mit deutschen Mitarbeitern auf chinesische Mitarbeiter übertragen?) und
Zeitpunkte (z.B. Wie lange sind die Ergebnisse aus einer Mitarbeiterbefragung gültig?).

Externe Validität berührt die Frage nach der Generalisierbarkeit von Ergebnissen auf andere Zeitpunkte, Umweltkontexte und Personen (Populationen)

Der nächste Abschnitt beschreibt die Herausforderungen rund um die Externe Validität.

Externe Validität: Die Herausforderungen

Können die 40 Prozent Mitarbeiter, die an einer Befragung teilgenommen haben, wirklich für alle anderen sprechen – oder gibt es systematische Unterschiede? Wieso sollten Ergebnisse einer Befragung von Kunden zu Kaufkriterien nach einem Jahr immer noch gelten? Diese Beispiele zeigen: Praktiker und Wissenschaftler sollten unbedingt immer kritisch fragen: Bei welcher Stichprobe, in welcher Situation und zu welchem Zeitpunkt wurden Daten erhoben? Lassen sich die Ergebnisse guten Gewissens auf andere Fälle übertragen? Und wenn man sich dafür entscheidet, die Daten zu verwenden, etwa weil unsichere Ergebnisse besser sind als gar keine Datengrundlage: Welche systematischen Abweichungen, Unterschiede, Verzerrungen sind bei dieser Übertragung wahrscheinlich?

Forschungsergebnisse und Theorien haben also oft nur in bestimmten Kontexten Gültigkeit. Was sind die Gründe dafür?

Die Welt ist komplex. Zumindest treten zahlreiche Herausforderungen auf, wenn Wissenschaftler sich aus dem „Elfenbeinturm” der Grundlagenforschung wagen und versuchen, generalisierbare Theorien zu entwickeln, die in verschiedenen Anwendungskontexten Gültigkeit haben. Schnell wird klar: Es gibt wenig allgemeingültige Gesetze in der Wirtschaftspsychologie! Unterschiedliche Personen verhalten sich beispielsweise in der gleichen Situation ganz anders (z.B. Preissensibilität verschiedener Personen – nicht jeder Kunde schaut nur auf den Preis). Auf der anderen Seite: Die selbe Person verhält sich in anderen Situationen oft sehr verschieden (z.B. Preissensibilität bei Getränkekauf in einer Diskothek vs. Getränkekauf im Supermarkt).
Die Welt ist also nicht nur komplex: Die Welt ist zunehmend dynamisch. Das macht die Halbwertszeit für Theorien, die nahe an der Anwendung bestehen sollen, umso kürzer. Wertewandel und gesellschaftliche Dynamik führen auch hier zu einer immer kürzeren Brauchbarkeit der Modelle.

Wie kann eine Lösung für dieses Dilemma aussehen? Das diskutiert der nächste Abschnitt.

Kontingenzmodelle als Lösung für Externe Validität

Die Wirtschaftspsychologie versucht dieser Herausforderung durch Kontingenzmodelle zu begegnen, die relevante Rahmenbedingungen berücksichtigen. Theorien beschreiben zunehmend Kontexte. Hypothesen, die aus den klassischen Theorien abgeleitet werden, sind meist in der einfachen „Wenn A dann B” Form vorhanden. Ein Beispiel ist: Wenn der Preis günstiger wahrgenommen wird, steigt die Kauffrequenz. Der folgende Schaukasten stellt eine klassische Theorie aus dem Bereich Führung vor, das Managerial Grid.

Forschungsbeispiel: Das Managerial Grid von Mouton und Blake

Einflussreiche Forschungsprojekte zum Verhalten von Führungskräften wurden bereits in den 50er-Jahren an der Universität von Michigan und der Ohio State University (z.B. Stogdill und Shartle, 1948; Hemphill und Coons, 1957) durchgeführt. Bei Analysen zum Verhalten von Führungskräften werden seither regelmäßig zwei große Verhaltensbereiche genannt (Stogdill, 1974): Aufgabenorientierung und Mitarbeiterorientierung.

Aufgabenorientierte Führung bezieht sich auf Führungsverhalten, das vor allem direkt der Arbeitsaufgabe nutzt.
Mitarbeiterorientierte Führung bezieht sich auf Führungsverhalten, das vor allem direkt den Mitarbeitern, ihren Beziehungen untereinander und zur Führungskraft dient.

Die Annahme war, dass Führungskräfte mit hohen Werten auf beiden Dimensionen, die besten Ergebnisse erzielen (Mouton und Blake, 1964; Blake und Mouton, 1985). Schnell wurde aus den beiden Dimensionen eine Matrix mit zwei Achsen gebildet, zahlreiche Manager auf den beiden Dimensionen ausgebildet.

Es zeigt sich aber: Die Fokussierung auf einen Stil mit maximaler Mitarbeiterorientierung gepaart mit maximaler Aufgabenorientierung als Ideal ist problematisch (vgl. Larson, Hunt und Osborn, 1976; Yukl, 2012). Bei hoher Kompetenz und Motivation der Mitarbeiter ist es beispielsweise oft sinnvoller, zu delegieren und die Aufgabenorientierung zurückzunehmen. Auch geringe Mitarbeiterorientierung kann in bestimmten Situationen zweckmäßig sein: Ist beispielsweise die Motivation der Mitarbeiter gering und besteht Zeitdruck sowie eine ausgeprägte Macht des Vorgesetzten, dann kann ein Stil mit sehr hoher Aufgabenorientierung und geringer Mitarbeiterorientierung vorteilhafter sein. Platt gesagt: Der Bau der chinesischen Mauer oder der Pyramiden wäre mit sehr hoher Mitarbeiterorientierung vermutlich schwer vorstellbar gewesen.

In der Folge wurden also Kontingenztheorien der Führung entwickelt, die versuchen Einflüsse der Situation auf die Wirkung eines Führungsverhaltens abzubilden. Besonders wichtige Merkmale der Situation für die Auswahl eines geeigneten Führungsverhaltens sind:

verfügbare Zeit bzw. Zeitdruck,
Komplexität der Arbeitsaufgabe,
Motivationspotenzial der Arbeitsaufgabe,
Machtposition der Führungskraft,
Abhängigkeit der Geführten von der Mitgliedschaft in der Gruppe (Dependenz),
Kultur, in der die Führung stattfindet (und damit die etablierten sozialen Normen und Akzeptanz für Führungsverhalten) und
Qualität bzw. der Zustand der Beziehung zu den Geführten (z.B. Fiedler, 1967).

... mehr

... weniger

Kontingenzmodelle stellen also andere Hypothesen zur Verfügung als klassische Modelle und Theorien: „Unter den Rahmenbedingungen C führt A zu B.” Ein Beispiel ist: Bei preissensiblen Zielgruppen, wenn der Preis kein peripherer Hinweisreiz auf die Qualität ist, wenn es kein Prestigegut ist etc. führt eine wahrgenommene Preissenkung zu einem Anstieg der Kauffrequenz. Damit berücksichtigen Kontingenzmodelle die Komplexität und Dynamik der Wirklichkeit.

Reicht das in der Praxis? Dazu der nächste Abschnitt.

Lösungen für die Praxis

Trotz der Kontingenzmodelle ist die Wirtschaftspsychologie weit davon entfernt, für praktische Probleme eine funktionierende Lösung einfach aus den theoretischen Modellen und Publikationen entnehmen zu können. Das führt auch zu einer gewissen Kluft zwischen den praktisch tätigen Psychologen in der Wirtschaftspsychologie und der Angewandten Psychologie. Vor Ort in der Praxis hängt viel von einer passenden Lösung ab (sei es bei Produktentwicklung, Werbewirkung oder Personalentwicklung) und es wird dafür meist eigene Forschung betrieben, um das Risiko einzugrenzen und eine maßgeschneiderte Lösung zu finden. Ein praktischer Psychologe formulierte enstsprechend:

„Meine Kunden wollen nicht wissen, wie etwas theoretisch geht. Die wollen eine Lösung!”

Auch mit den Kontingenzmodellen wird die Angewandte Psychologie daher nie komplett fertige Lösungen für die Praxis aus der Schublade ziehen können. Diese Modelle haben aber hohen heuristischen Wert, um auf Risiken und Chancen hinzuweisen und die Unsicherheit bei praktischen Entscheidungen in der Wirtschaft zu reduzieren. Gerade, wenn es schnell gehen muss, Entscheidungsdruck besteht, sind Modell und Theorien ei9ne sehr gute Grundlage.

Wenn es aber um viel geht und man auch Zeit hat, dann sollte man bei weit reichenden Entscheidungen immer eigene praktisch-psychologische Forschung betreiben zur Anpassung von Modellen und zum Monitoring, ob Maßnahmen so funktionieren, wie theoretisch angenommen.

Der letzte Abschnitt gibt Literaturhinweise zur weiteren Vertiefung.