Neben den klassischen Gütekriterien Objektivität, Reliabilität und Validität gibt es auch sogenannte Nebengütekriterien in der Forschung. Diese Nebengütekriterien berücksichtigen – anders als die klassischen Gütekriterien – das praktisch sinnvolle. Damit haben die Nebengütekriterien eine große Bedeutung in der Psychologie bei Fragebögen und psychologischen Tests. Die Gütekriterien Ökonomie, Akzeptanz und Nützlichkeit spielen insbesondere in der Praxis eine wichtige Rolle.
Dieses Kapitel gibt eine Übersicht über die Nebengütekriterien und zahlreiche Tipps. …
In diesem Beitrag:
Nebengütekriterien: Inflation notwendig?
Mittlerweile kann man eine Inflation der Nebengütekriterien beobachten. Diese ist nicht gerechtfertigt. Es gibt vier wichtige Nebengütekriterien. Die Abbildung zeigt diese.
Viele Nebengütekriterien, die ausgerufen werden, sind eigentlich keine eigenen Nebengütekriterien. Sie sind dort fälschlich zugeordnet und gehören zu den klassischen Gütekriterien. So ist das Kriterium der Normierung eine Frage der Validität, kein Nebengütekriterium. Sobald man gültige Aussagen treffen möchte, braucht man Normen. Oder was soll es bringen, jemandem zu sagen „Sie haben 153 Punkte bei dem Intelligenztest – aber ich habe keine Ahnung was andere Menschen im Durchschnitt haben!“. Ähnlich ist es mit dem Kriterium der Unverfälschbarkeit. Es fordert, dass Teilnehmer ihre Ergebnisse nicht verfälschen können sollten. Beispiel: Ein Persönlichkeitstest, bei dem jeder selbst definieren kann, wie er seine Persönlichkeit gerne darstellen möchte, ist wenig wert bei der Personalauswahl. Dafür brauche ich aber kein neues Nebengütekriterium ausrufen, das ist ebenfalls einfach eine Frage der Validität.
Fazit: Es scheint ein wenig dümmlich, für alles, was irgendwie wichtig bei Tests ist, ein eigenes Gütekriterium auszurufen. Damit stiftet man mehr Verwirrung und unnötige Komplexität als Nutzen.
Die nächsten Abschnitte zeigen die wesentlichen vier Nebengütekriterien.
Ökonomie als Gütekriterium
Ökonomie beschreibt auf Ebene von Messinstrumenten, dass diese einfach, schnell und ressourcensparend durchgeführt und ausgewertet und interpretiert werden können. So ist etwa eine schriftliche Befragung zur Kundenzufriedenheit mit über 140 Fragen nicht ökonomisch. Ökonomischer wäre eine Befragung, die mit 20 Fragen auskommt und online durchgeführt werden kann.
Auf der Ebene von ganzen Untersuchungen beschreibt Ökonomie das Kosten/Nutzen-Verhältnis. Steht der Aufwand einer Studie in sinnvollem Zusammenhang zum Nutzen oder kann eine andere weniger aufwändige Studie die gleiche oder fast gleiche Funktion erfüllen?
Akzeptanz als Gütekriterium
Akzeptanz wird ein zunehmend wichtiges Gütekriterium. Akzeptanz beschreibt die positive Aufnahme der Untersuchung bei der entsprechenden Zielgruppe. Wegen immer geringerer Teilnahmebereitschaft an Marktforschungsstudien und Befragungen sollte die Akzeptanz unbedingt beachtet werden. Das Gleiche gilt im Bereich der Personalforschung. Datenschutzbeauftragte, Betriebsräte und auch die teilnehmenden Mitarbeiter achten immer genauer auf die eingesetzten Verfahren und die erhobenen Daten und Informationen. Ohne Akzeptanz gibt es dann entweder überhaupt keine Erhebung oder die betroffenen Gruppen machen nicht mit bzw. überspringen viele Angaben und Fragen. Unvollständige oder verzerrte Antworten gefährden dann die Validität genauso wie zu schnelles Ausfüllen durch mangelnde Motivation.
Nützlichkeit als Gütekriterium
Nützlichkeit (auch Praktikabilität genannt) ist gerade für die Praxis und Anwendung ein zentrales Gütekriterium. Ein Testinstrument oder eine Datenerhebung sind nur sinnvoll, wenn sie Anknüpfungspunkte zur Intervention liefern, zeigen, was zu tun ist. Beispiel: Die bloße Messung von Vertrauen bei Mobilfunkkunden wäre für einen Mobilfunkanbieter wenig geeignet, um Maßnahmen abzuleiten. Durch eine gleichzeitige Messung von Vertrauen mit den Treibern von Vertrauen können aber gute strategische Maßnahmen abgeleitet werden. Die Vertrauenstreiber liefern Ansatzpunkte für die Intervention. Das gilt umso mehr, wenn diese Daten zusätzlich im Benchmark mit anderen Anbietern vorliegen.
Ethik als Gütekriterium
In der Praxis gibt es häufig Anforderungen an Erhebungen und Tests, die man unter dem Begriff Ethik als Gütekriterium zusammenfassen kann.
- Zu diesen Anforderungen gehört, die Vorstellung der Zumutbarkeit. Tests und Untersuchungen sollten demnach die Teilnehmer und Versuchspersonen nicht zu sehr belasten in Zeit, physischer und psychischer Belastung.
- Zudem gibt es die ethische Forderung nach Transparenz. Teilnehmer sollten wissen, dass sie an einer Untersuchung teilnehmen und freiwillig partizipieren. Auch das eigentliche Forschungsziel sollte, soweit mit der Validität des Versuchs vereinbar, mitgeteilt werden.
- Testfairness ist ein weiteres ethisches Thema. Hierunter verbirgt sich die Forderung, dass Tests bei Menschen nicht ursächlich aufgrund ihrer Kultur, ihres Geschlechts oder ihres Alters unterschiedliche Ergebnisse liefern sollten. Ein typisches Beispiel wäre ein Test mit Fragen, die nur für Menschen mit sehr guten Englischkenntnissen verständlich sind, der aber international auf Englisch Anwendung findet. Tatsächlich ist dieses Anliegen aber nicht in erster Linie ein Nebengütekriterium, sondern einfach schon eine Frage der Validität, also eines der Hauptgütekriterien. Ein Test der unterschiedliche Ergebnisse liefert, rein aufgrund nebensächlicher Einflüsse, ist einfach nicht valide.
Ethik als Nebengütekriterium steht natürlich nicht immer im positiven Zusammenhang mit anderen Gütekriterien. Mitunter kann es sein, dass die Validität von Messungen erfordert, Teilnehmer an Experimenten und Test darüber in Unkenntnis zu lassen, damit sie ihr Verhalten nicht verändern und anpassen. Auch kann es sein, dass Tests gnadenlos fair sind und Unterscheide deutlich machend die politisch gar nicht erwünscht sind. Das gefährdet dann die Akzeptanz der Ergebnisse und Verfahren.
Nebengütekriterien: Zusammenhänge
Auch bei den Nebengütekriterien gibt es Zusammenhänge. In der Praxis ist natürlich Ökonomie das maßgebliche Kriterium. Leitfrage ist: Wie kann die benötigte Information am effizientesten und effektivsten beschafft werden? Nur ohne Nützlichkeit ist jede Investition sinnlos. In so fern ist Nützlichkeit eine Bedingungen für Ökonomie. Und ohne Akzeptanz bei den Teilnehmern gibt es keine oder verzerrte und lückenhafte Daten und damit auch keine Nützlichkeit. Akzeptanz ist also eine Grundlage für die Nützlichkeit von Daten. Ethik wiederum ist, zumindest langfristig betrachtetet, eine Grundlage dafür, dass Teilnehmer überhaupt eine Untersuchung akzeptieren. Wenn unethische Ansätze erkennbar werden, ist eine Geschäftsbeziehung in der Praxis schnell beendet. Ein typisches Beispiel dafür sind die Fälle von illegaler Auswertung von Facebook-Profilen bei Millionen Menschen im US-Wahlkampf. Die betreffende Firma ist mittlerweile insolvent. Alle Nebengütekriterien hängen also miteinander zusammen und sollten gleichsam beachtet werden, um gut und sauberzumachen testen.
Der letzte Abschnitt gibt Literaturhinweise zur weiteren Vertiefung.
Nebengütekriterien: Literatur
Aktuelle Literatur-Tipps zu Nebengütekriterien.
- Sedlmeier, Peter (Autor)
- Müller, Karsten (Autor)
Das letzte Kapitel fasst nochmals die wesentlichen Erkenntnisse zur Interpretation von Forschungsergebnissen zu Mitarbeitern und Kunden zusammen.