9. Nebengütekriterien in der Forschung

Neben den klassischen Gütekriterien Objektivität, Reliabilität und Validität gibt es auch sogenannte Nebengütekriterien in der Forschung. Diese Nebengütekriterien berücksichtigen – anders als die klassischen Gütekriterien – das praktisch sinnvolle. Damit haben die Nebengütekriterien eine große Bedeutung in der Psychologie bei Fragebögen und psychologischen Tests. Die Gütekriterien Ökonomie, Akzeptanz und Nützlichkeit spielen insbesondere in der Praxis eine wichtige Rolle. Hier gibt es immer einen Trade-Off zwischen Budget und maximaler Qualität. Zudem ist es klar, dass Forschungsprojekte unterlassen werden, die Kunden oder Mitarbeiter nicht akzeptieren. Und für die Dinge, die nicht unmittelbar praktischen Nutzen versprechen ist die Finanzierungsbereitschaft meist nicht gegeben. Dieses Kapitel liefert eine Übersicht über die Nebengütekriterien und Tipps. …

Nebengütekriterien: Akzeptanz ist ein wichtiges Gütekriterium für Tests und Erhebungen in der Praxis – was Mitarbeiter oder Kunden nicht akzeptieren, wird nicht stattfinden
Nebengütekriterien: Akzeptanz ist nicht nur für Haustiere überlebensnotwendig – es ist ein wichtiges Gütekriterium für Tests und Erhebungen in der Praxis

Ökonomie als Gütekriterium

Ökonomie beschreibt auf Ebene von Messinstrumenten, dass diese einfach, schnell und ressourcensparend durchgeführt und ausgewertet und interpretiert werden können. So ist etwa eine schriftliche Befragung zur Kundenzufriedenheit mit über 140 Fragen nicht ökonomisch. Ökonomischer wäre eine Befragung, die mit 20 Fragen auskommt und online durchgeführt werden kann.
Auf der Ebene von ganzen Untersuchungen beschreibt Ökonomie das Kosten/Nutzen-Verhältnis. Steht der Aufwand einer Studie in sinnvollem Zusammenhang zum Nutzen oder kann eine andere weniger aufwändige Studie die gleiche oder fast gleiche Funktion erfüllen?

Akzeptanz als Gütekriterium

Akzeptanz wird ein zunehmend wichtiges Gütekriterium. Akzeptanz beschreibt die positive Aufnahme der Untersuchung bei der entsprechenden Zielgruppe. Wegen immer geringerer Teilnahmebereitschaft an Marktforschungsstudien und Befragungen sollte die Akzeptanz unbedingt beachtet werden. Das Gleiche gilt im Bereich der Personalforschung. Datenschutzbeauftragte, Betriebsräte und auch die teilnehmenden Mitarbeiter, achten immer genauer auf die eingesetzten Verfahren und die erhobenen Daten und Informationen. Ohne Akzeptanz gibt es dann entweder überhaupt keine Erhebung oder die betroffenen Gruppen machen nicht mit bzw. überspringen viele Angaben und Fragen.

Nützlichkeit als Gütekriterium

Nützlichkeit ist gerade für die Praxis und Anwendung ein zentrales Gütekriterium. Ein Testinstrument oder eine Datenerhebung sind nur sinnvoll, wenn sie Anknüpfungspunkte zur Intervention liefern, zeigen, was zu tun ist. Beispiel: Die bloße Messung von Vertrauen bei Mobilfunkkunden wäre für einen Mobilfunkanbieter wenig geeignet, um Maßnahmen abzuleiten. Durch eine gleichzeitige Messung von Vertrauen und den Treibern von Vertrauen können aber gute strategische Maßnahmen abgeleitet werden. Das gilt umso mehr, wenn diese Daten zusätzlich im Benchmark mit anderen Anbietern vorliegen.

Ethik als Gütekriterium

In der Praxis gibt es häufig Anforderungen an Erhebungen und Tests, die man unter dem Begriff Ethik als Gütekriterium zusammenfassen kann.

  • Zu diesen Anforderungen gehört, die Vorstellung der Zumutbarkeit. Tests und Untersuchungen sollten demnach die Teilnehmer und Versuchspersonen nicht zu sehr belasten in Zeit, physischer und psychischer Belastung.
  • Zudem gibt es die ethische Forderung nach Transparenz. Teilnehmer sollten wissen, dass sie an einer Untersuchung teilnehmen und freiwillig partizipieren. Auch das eigentliche Forschungsziel sollte, soweit mit der Validität des Versuchs vereinbar, mitgeteilt werden.
  • Testfairness ist ein weiteres ethisches Thema. Hierunter verbirgt sich die Forderung, dass Tests bei Menschen nicht ursächlich aufgrund ihrer Kultur, ihres Geschlechts oder ihres Alters unterschiedliche Ergebnisse liefern sollten. Ein typisches Beispiel wäre ein Test mit Fragen, die nur für Menschen mit sehr guten Englischkenntnissen verständlich sind, der aber international auf Englisch Anwendung findet. Tatsächlich ist dieses Anliegen aber nicht in erster Linie ein Nebengütekriterium, sondern einfach schon eine Frage der Validität, also eines der Hauptgütekriterien. Ein Test der unterschiedliche Ergebnisse liefert, rein aufgrund nebensächlicher Einflüsse, ist einfach nicht valide.

Inflation der Nebengütekriterien?

Mittlerweile kann man eine Inflation der Nebengütekriterien beobachten. Diese ist nicht gerechtfertigt. Viele Nebengütekriterien, die ausgerufen werden, sind eigentlich keine Nebengütekriterien. Sie sind dort fälschlich zugeordnet und gehören zu den klassischen Gütekriterien. So ist das Kriterium der Normierung eine Frage der Validität, kein Nebengütekriterium. Sobald man gültige Aussagen treffen möchte, braucht man Normen. Oder was soll es bringen, jemandem zu sagen “Sie haben 153 Punkte bei dem Intelligenztest – aber ich habe keine Ahnung was andere Menschen im Durchschnitt haben!”. Ähnlich ist es mit dem Kriterium der Unverfälschbarkeit. Es fordert, dass Teilnehmer ihre Ergebnisse nicht verfälschen können sollten. Beispiel: Ein Persönlichkeitstest, bei dem jeder selbst definieren kann, wie er seine Persönlichkeit gerne darstellen möchte, ist wenig Wert bei der Personalauswahl. Dafür brauche ich aber kein neues Nebengütekriterium ausrufen, das ist einfach eine Frage der Validität.

Nebengütekriterien: Zusammenhang und Hierarchie

Auch bei diesen Nebengütekriterien gibt es eine Hierarchie. In der Praxis ist natürlich Ökonomie das maßgebliche Kriterium. Leitfrage ist: Wie kann die benötigte Information am effizientesten und effektivsten beschafft werden? Nur ohne Nützlichkeit ist jede Investition sinnlos. In so fern ist Nützlichkeit eine Bedingungen für Ökonomie. Und ohne Akzeptanz bei den Teilnehmern gibt es keine oder verzerrte und Lückenhafte Daten und damit auch keine Nützlichkeit. Akzeptanz ist also eine Grundlage für die Nützlichkeit von Daten. Ethik wiederum ist, zumindest langfristig betrachtetet, eine Grundlage dafür, dass Teilnehmer überhaupt eine Untersuchung akzeptieren. Wenn unethische Ansätze erkennbar werden, ist eine Geschäftsbeziehung in der Praxis schnell beendet. Ein typisches Beispiel dafür sind die Fälle von illegaler Auswertung von Facebook-Profilen bei Millionen Menschen im US-Wahlkampf. Die betreffende Firma ist mittlerweile insolvent.

Praxistipps

Das letzte Kapitel fasst nochmals die wesentlichen Erkenntnisse zur Interpretation von Forschungsergebnissen zu Mitarbeitern und Kunden zusammen.