4. Validität als Gütekriterium

Dieses Kapitel definiert Validität als Gütekriterium, stellt verschiedene Arten von Validität vor und liefert Tipps, wie Validität erhöht werden kann.

Validität ist das wichtigste der drei klassischen Gütekriterien und wird folgendermaßen definiert:.

Das Gütekriterium Validität bezeichnet die Gültigkeit einer Messung, d.h. ob überhaupt das gemessen wurde, was gemessen werden sollte.

Wurde überhaupt nicht das gemessen, was gemessen werden sollte, dann ist die Qualität von Ergebnissen natürlich denkbar schlecht. Es liegt außerdem auf der Hand, dass ohne Objektivität und Reliabilität auch nicht sauber das gemessen werden kann, was man messen will. Störeinflüsse bei der Durchführung, Auswertung oder Interpretation von Daten gefährden die Validität der Ergebnisse. In so fern sind Objektivität und Reliabilität als Voraussetzungen für Validität zu betrachten. Doch Validität geht über die bloße Gewährleistung von Objektivität und Reliabilität hinaus.

Inhaltsvalidität und Konstruktvalidität

Validität ist eine Folge von inhaltlicher Deckung von zu messendem Konstrukt und verwendetem Testinstrument. Soll zum Beispiel Kundenvertrauen im Mobilfunkbereich gemessen werden, so sollten alle wesentlichen Komponenten des Kundenvertrauens im Test enthalten sein. Auf der anderen Seite sollte nichts unwesentliches, was nichts mit Vertrauen zu tun hat, enthalten sein. Diese Repräsentativität für einen Inhaltsbereich bezeichnet man als Inhaltsvalidität.

Inhaltsvalidität ist das Ausmaß der Deckung zwischen einem Messverfahren bzw. einer Messung und dem zu messenden Konstrukt.

Folgende Abbildung (vgl. Neumann, 2003a) zeigt, dass Inhaltsvalidität maximal ist, wenn der Anteil an relevanten Determinanten des Konstruktes im Indikator (Messinstrument) maximal ist und der Anteil irrelevanter Determinanten im Indikator minimal ist. Je größer die Schnittmenge aus Indikator und zu messendem Konstrukt, desto größer die Inhaltsvalidität.

konstruktvaliditaet.png
Abbildung: Konstruktvalidität (vgl. Neumann, 2003a)

Eng mit der Inhaltsvalidität verknüpft ist die Konstruktvalidität, die empirisch erfasst werden kann. Konstruktvalidität ist gegeben, wenn ein Testinstrument einerseits stark mit Tests korreliert, die das selbe theoretische Konstrukt (z.B. Vertrauen) messen sollen und andererseits niedrig mit Testinstrumenten korreliert, die etwas gänzlich anderes messen sollen.

Kriteriumsvalidität

Eine etwas andere Auffassung von Validität spiegelt sich im Begriff Kriteriumsvalidität wieder. Diese bezieht sich darauf, ob ein Test mit interessanten und theoretisch damit verknüpften Außenkriterien zusammenhängt.

Kriteriumsvalidität ist der Zusammenhang zwischen einem Messverfahren bzw. einer Messung mit relevanten anderen Variablen.

Insbesondere für die praktische Anwendung (etwa bei der Personaldiagnostik oder Kundenforschung in Unternehmen) ist dies eine entscheidende Frage zur Beurteilung der Qualität eines Instrumentes. Am Beispiel Kundenvertrauen im Mobilfunkbereich bedeutet Kriteriumsvalidität, dass ein entsprechendes Messinstrument statistisch mit Außenkriterien zusammenhängen sollte. Typische Außenkriterien wären in diesem Fall die Bereitschaft Kunde zu werden bei potenziellen Kunden, Kundenbindung bzw. Vertragsverlängerung bei Bestandskunden, Cross-Buying von anderen Angeboten (DSL und Handyzubehör) oder Weiterempfehlung an Freunde und Bekannte.

kriteriumsvaliditaet_arten.png
Abbildung: Arten der Kriteriumsvalidität

Kriterien können mit einem Testinstrument entweder zum selben Zeitpunkt erhoben werden (konkurrente Validität), in der Zukunft erhoben werden (prognostische Validität) oder in der Vergangenheit erfasst worden sein (retrospektive Validität). In der Regel wird man sich für die Prognosefähigkeit eines Test interessieren, beispielsweise, wie gut er Kundenbindung und Kaufverhalten vorhersagen kann. Konkurrente und retrospektive Berechnungen werden meist herangezogen, weil die Daten bereits verfügbar sind, um damit auf die Zukunft zu schließen.

Hat ein Test höhere Kriteriumsvalidität als bisher vorhandene Instrumente bezeichnet man dies als inkrementelle Validität.

Interne Validität und externe Validität

Betrachtet man Validität auf der Ebene ganzer Untersuchungen, unterscheiden sich interne Validität und externe Validität.

Interne Validität beschreibt, dass die Ergebnisse in einer Untersuchung nicht durch störende Einflüsse (Störvariablen) erklärbar sind und tatsächlich an der oder den unabhängigen Variablen liegen. Die Variation der abhängigen Variable(n) in einer Untersuchung kann dann tatsächlich auf die unabhängige Variable(n) zurückgeführt werden. Störvariablen sind ausgeschaltet oder kontrolliert.

Eine typische Störvariable ist, wenn Personen in einem Versuch merken, dass ihr Verhalten beobachtet wird. Soll etwa untersucht werden, wie sich unterschiedlich intensive Beleuchtung (unabhängige Variable) auf die Produktivität (abhängige Variable) von Bandarbeitern auswirkt, sollten diese nicht bemerken, dass ihr Verhalten beobachtet wird (Störvariable). Nehmen wir an, die Bandarbeiter haben bemerkt, dass sich die Intensität der Beleuchtung ändert und sie wurden vom Betriebsrat heimlich informiert, dass es sich um ein Experiment handelt. Veränderungen in der Produktivität können dann nicht mehr klar zugeordnet werden. Liegen die Veränderungen an der Beleuchtung oder an der Tatsache, dass die Bandarbeiter wissen, dass ihr Verhalten beobachtet wird?

Externe Validität ist ein anderes Wort für Generalisierbarkeit und beschreibt das Ausmaß der Übertragbarkeit von Ergebnissen.

Wie folgende Abbildung zeigt, kann Generalisierbarkeit auf verschiedenen Ebenen betrachtet werden :

  • andere Situationen (Hier geht es vor allem das sogenannte Feld, also reale Situationen etwa beim Kaufverhalten von Kunden oder dem Arbeitsverhalten von Mitarbeitern.Lässt sich z.B. aus einem Online-Experiment zu verschiedenen Werbeformen tatsächlich auf die tatsächliche Wirkung im Feld schließen? ),
  • Personenpopulationen (z.B. Lassen sich Forschungsergebnisse mit deutschen Mitarbeitern auf chinesische Mitarbeiter übertragen?) und
  • Zeitpunkte (z.B. Wie lange sind die Ergebnisse aus einer Mitarbeiterbefragung gültig?).
Generalisierbarkeit.png
Abbildung: Ebenen der Generalisierbarkeit
Praxistipps

Das nächste Kapitel behandelt die Beziehungen der Gütekriterien untereinander.