Nebengütekriterien in der Forschung – Wirtschaftspsychologische Gesellschaft

Neben den klassischen Gütekriterien Objektivität, Reliabilität und Validität gibt es auch sogenannte Nebengütekriterien in der Forschung. Diese Nebengütekriterien berücksichtigen – anders als die klassischen Gütekriterien – das praktisch sinnvolle. Damit haben die Nebengütekriterien eine große Bedeutung in der Psychologie bei Fragebögen und psychologischen Tests. Die Gütekriterien Ökonomie, Akzeptanz und Nützlichkeit spielen insbesondere in der Praxis eine wichtige Rolle.
Dieses Kapitel gibt eine Übersicht über die Nebengütekriterien und zahlreiche Tipps. …

Nebengütekriterien: Akzeptanz ist ein wichtiges Gütekriterium für Tests und Erhebungen in der Praxis – was Mitarbeiter oder Kunden nicht akzeptieren, wird nicht stattfinden — Nebengütekriterien: Akzeptanz ist nicht nur für Haustiere überlebensnotwendig – es ist ein wichtiges Gütekriterium für Tests und Erhebungen in der Praxis

In diesem Beitrag:

Nebengütekriterien: Inflation notwendig?

Mittlerweile kann man eine Inflation der Nebengütekriterien beobachten. Diese ist nicht gerechtfertigt. Es gibt vier wichtige Nebengütekriterien. Die Abbildung zeigt diese.

Nebengütekriterien wissenschaftlicher Forschung und Tests

Viele Nebengütekriterien, die ausgerufen werden, sind eigentlich keine eigenen Nebengütekriterien. Sie sind dort fälschlich zugeordnet und gehören zu den klassischen Gütekriterien. So ist das Kriterium der Normierung eine Frage der Validität, kein Nebengütekriterium. Sobald man gültige Aussagen treffen möchte, braucht man Normen. Oder was soll es bringen, jemandem zu sagen „Sie haben 153 Punkte bei dem Intelligenztest – aber ich habe keine Ahnung was andere Menschen im Durchschnitt haben!“. Ähnlich ist es mit dem Kriterium der Unverfälschbarkeit. Es fordert, dass Teilnehmer ihre Ergebnisse nicht verfälschen können sollten. Beispiel: Ein Persönlichkeitstest, bei dem jeder selbst definieren kann, wie er seine Persönlichkeit gerne darstellen möchte, ist wenig wert bei der Personalauswahl. Dafür brauche ich aber kein neues Nebengütekriterium ausrufen, das ist ebenfalls einfach eine Frage der Validität.

Fazit: Es scheint ein wenig dümmlich, für alles, was irgendwie wichtig bei Tests ist, ein eigenes Gütekriterium auszurufen. Damit stiftet man mehr Verwirrung und unnötige Komplexität als Nutzen.

Die nächsten Abschnitte zeigen die wesentlichen vier Nebengütekriterien.

Ökonomie als Gütekriterium

Ökonomie beschreibt auf Ebene von Messinstrumenten, dass diese einfach, schnell und ressourcensparend durchgeführt und ausgewertet und interpretiert werden können. So ist etwa eine schriftliche Befragung zur Kundenzufriedenheit mit über 140 Fragen nicht ökonomisch. Ökonomischer wäre eine Befragung, die mit 20 Fragen auskommt und online durchgeführt werden kann.
Auf der Ebene von ganzen Untersuchungen beschreibt Ökonomie das Kosten/Nutzen-Verhältnis. Steht der Aufwand einer Studie in sinnvollem Zusammenhang zum Nutzen oder kann eine andere weniger aufwändige Studie die gleiche oder fast gleiche Funktion erfüllen?

Akzeptanz als Gütekriterium

Akzeptanz wird ein zunehmend wichtiges Gütekriterium. Akzeptanz beschreibt die positive Aufnahme der Untersuchung bei der entsprechenden Zielgruppe. Wegen immer geringerer Teilnahmebereitschaft an Marktforschungsstudien und Befragungen sollte die Akzeptanz unbedingt beachtet werden. Das Gleiche gilt im Bereich der Personalforschung. Datenschutzbeauftragte, Betriebsräte und auch die teilnehmenden Mitarbeiter achten immer genauer auf die eingesetzten Verfahren und die erhobenen Daten und Informationen. Ohne Akzeptanz gibt es dann entweder überhaupt keine Erhebung oder die betroffenen Gruppen machen nicht mit bzw. überspringen viele Angaben und Fragen. Unvollständige oder verzerrte Antworten gefährden dann die Validität genauso wie zu schnelles Ausfüllen durch mangelnde Motivation.

Nützlichkeit als Gütekriterium

Nützlichkeit (auch Praktikabilität genannt) ist gerade für die Praxis und Anwendung ein zentrales Gütekriterium. Ein Testinstrument oder eine Datenerhebung sind nur sinnvoll, wenn sie Anknüpfungspunkte zur Intervention liefern, zeigen, was zu tun ist. Beispiel: Die bloße Messung von Vertrauen bei Mobilfunkkunden wäre für einen Mobilfunkanbieter wenig geeignet, um Maßnahmen abzuleiten. Durch eine gleichzeitige Messung von Vertrauen mit den Treibern von Vertrauen können aber gute strategische Maßnahmen abgeleitet werden. Die Vertrauenstreiber liefern Ansatzpunkte für die Intervention. Das gilt umso mehr, wenn diese Daten zusätzlich im Benchmark mit anderen Anbietern vorliegen.

Ethik als Gütekriterium

In der Praxis gibt es häufig Anforderungen an Erhebungen und Tests, die man unter dem Begriff Ethik als Gütekriterium zusammenfassen kann.

Zu diesen Anforderungen gehört, die Vorstellung der Zumutbarkeit. Tests und Untersuchungen sollten demnach die Teilnehmer und Versuchspersonen nicht zu sehr belasten in Zeit, physischer und psychischer Belastung.
Zudem gibt es die ethische Forderung nach Transparenz. Teilnehmer sollten wissen, dass sie an einer Untersuchung teilnehmen und freiwillig partizipieren. Auch das eigentliche Forschungsziel sollte, soweit mit der Validität des Versuchs vereinbar, mitgeteilt werden.
Testfairness ist ein weiteres ethisches Thema. Hierunter verbirgt sich die Forderung, dass Tests bei Menschen nicht ursächlich aufgrund ihrer Kultur, ihres Geschlechts oder ihres Alters unterschiedliche Ergebnisse liefern sollten. Ein typisches Beispiel wäre ein Test mit Fragen, die nur für Menschen mit sehr guten Englischkenntnissen verständlich sind, der aber international auf Englisch Anwendung findet. Tatsächlich ist dieses Anliegen aber nicht in erster Linie ein Nebengütekriterium, sondern einfach schon eine Frage der Validität, also eines der Hauptgütekriterien. Ein Test der unterschiedliche Ergebnisse liefert, rein aufgrund nebensächlicher Einflüsse, ist einfach nicht valide.

Ethik als Nebengütekriterium steht natürlich nicht immer im positiven Zusammenhang mit anderen Gütekriterien. Mitunter kann es sein, dass die Validität von Messungen erfordert, Teilnehmer an Experimenten und Test darüber in Unkenntnis zu lassen, damit sie ihr Verhalten nicht verändern und anpassen. Auch kann es sein, dass Tests gnadenlos fair sind und Unterscheide deutlich machend die politisch gar nicht erwünscht sind. Das gefährdet dann die Akzeptanz der Ergebnisse und Verfahren.

Nebengütekriterien: Zusammenhänge

Auch bei den Nebengütekriterien gibt es Zusammenhänge. In der Praxis ist natürlich Ökonomie das maßgebliche Kriterium. Leitfrage ist: Wie kann die benötigte Information am effizientesten und effektivsten beschafft werden? Nur ohne Nützlichkeit ist jede Investition sinnlos. In so fern ist Nützlichkeit eine Bedingungen für Ökonomie. Und ohne Akzeptanz bei den Teilnehmern gibt es keine oder verzerrte und lückenhafte Daten und damit auch keine Nützlichkeit. Akzeptanz ist also eine Grundlage für die Nützlichkeit von Daten. Ethik wiederum ist, zumindest langfristig betrachtetet, eine Grundlage dafür, dass Teilnehmer überhaupt eine Untersuchung akzeptieren. Wenn unethische Ansätze erkennbar werden, ist eine Geschäftsbeziehung in der Praxis schnell beendet. Ein typisches Beispiel dafür sind die Fälle von illegaler Auswertung von Facebook-Profilen bei Millionen Menschen im US-Wahlkampf. Die betreffende Firma ist mittlerweile insolvent. Alle Nebengütekriterien hängen also miteinander zusammen und sollten gleichsam beachtet werden, um gut und sauberzumachen testen.

Praxistipps

Die Nebengütekriterien spielen bei der Planung von Erhebungen oder der Auswahl von Messinstrumenten und Tests eine zentrale Rolle. Für die Interpretation von Ergebnissen scheinen sie auf den ersten Blick zwar nicht so zentral. Auf den zweiten Blick zeigen sich aber auch hier wichtige Einflüsse.

Kommt man bei der Interpretation von Forschungsergebnissen zum Schluss, dass die Erhebung von vielen Teilnehmern nicht akzeptiert wurde, stellt das die ganzen Ergebnisse in Frage. Nicht selten zeigt sich, dass Personen, die nicht an einer Untersuchung teilgenommen haben, sich systematisch von den Teilnehmer unterscheiden – etwa in ihrem Vertrauen zum Arbeitgeber bei einer Mitarbeiterbefragung. Was nützt eine Vollerhebung aller Mitarbeiter bei einer Mitarbeiterbefragung, wenn am Ende aber nur 30 Prozent der eingeladenen Personen mitmachen, wie aussagekräftig sind die Ergebnisse dann überhaupt? Dazu kommt, dass man häufig feststellen kann, dass Personen kritischere Einstellungen zu ihrem Arbeitgeber haben, die wenig Daten von sich preisgeben (etwa Fragen zu ihrer Demographie nicht beantworten). Es ist also unerlässlich, die Akzeptanz von Erhebungen zu beachten und sehr kritisch auf Ergebnisse zu blicken, wenn es Hinweise darauf gibt, dass die Teilnehmer die Erhebung nicht wirklich akzeptiert haben.
Auch die Nützlichkeit spielt eine große Rolle, wenn man Forschungsergebnisse interpretieren möchte. Einmal natürlich gilt die triviale Tatsache, dass Forschungsergebnisse, die nicht interpretierbar sind, auch keinen Nutzen haben. Es lohnt sich aber auch tiefer zu blicken. Was ist in deiner Untersuchung falsch gelaufen, dass sie nicht mehr Nutzen entwickelt hat? Was sollte man bei der nächsten Erhebung besser machen? Häufig wird man Ergebnisse bei der Interpretation dahingehend kritisieren, dass nicht ein paar einfach zusätzliche Daten mit aufgenommen wurden. Ein einfaches Beispiel: In einem Aufwärtsfeedback beschreiben Mitarbeiter das Verhalten ihrer Führungskräfte. Es wurde aber versäumt in der gleichen Befragung Informationen zu Einstellungen der Mitarbeiter zu erheben wie Leistungsmotivation, Zufriedenheit mit der Arbeit und Vertrauen in die Führungskraft. So nimmt man sich die Chance, zu sehen, wie das Führungsverhalten mit diesen Einstellungen zusammenhängt. Für das Unternehmen und die einzelnen Führungskräfte wäre das aber sehr relevant. Bei der Interpretation der Forschungsergebnisse müsste man diesen Verzicht auf Nützlichkeit daher kritisieren.

... mehr

... weniger

Der letzte Abschnitt gibt Literaturhinweise zur weiteren Vertiefung.