Umfragezuverlässigkeit vs. Survery Validität: Was ist die große Sache?
Sie können sich fragen oder andere finden, die Sie nach der „Zuverlässigkeit“ oder „Gültigkeit“ von Daten fragen, die aus Mitarbeiterbefragungen stammen. Es ist nicht ungewöhnlich, dass diese beiden Wörter synonym verwendet werden. Aber im Bereich der Datenforschung sind die beiden alles andere als synonym.
Warum ist es wichtig, den Unterschied zu kennen?
Weil in den meisten Fällen die Beschaffung und Einstellung eines Umfragepartners oder die Erstellung und Implementierung von DIY-Umfragen der Personalabteilung obliegt.
Wenn Sie sicherstellen, dass Sie mit einer nachweislich gültigen und zuverlässigen Umfrage arbeiten, erhalten Sie die Art von Daten, von denen Sie anderen sicher sagen können, dass sie tatsächlich zuverlässig sind. Die Kenntnis des Unterschieds zwischen Umfragevalidität und Zuverlässigkeit bringt auch Klarheit darüber, warum das Hinzufügen oder Ändern von Fragen und Formulierungen, Ablauf und Format von einer Umfrage zur nächsten Konsequenzen haben kann.
Hier ist der Grund.
Beim Umfragedesign sind viele Komponenten beteiligt, die zu Daten hoher (oder niedriger) Qualität beitragen. Die Zeit und Mühe, die die Befragten zum Ausfüllen einer Umfrage benötigen, die Anzahl der Punkte auf der Bewertungsskala, die Formulierung der Punkte, die Reihenfolge der Fragen und das Layout sind nur ein Anfang.
Die Gültigkeit betrifft die Genauigkeit Ihrer Umfrage. Es kommt darauf an, Fragen zu stellen, die wirklich messen, was gemessen werden soll. Inwieweit misst beispielsweise eine Mitarbeiterbefragung das Engagement?
Zuverlässigkeit hingegen bezieht sich auf Konsistenz oder den Grad, in dem die in einer Umfrage verwendeten Fragen jedes Mal die gleiche Art von Informationen hervorrufen, wenn sie gestellt werden. Dies ist besonders wichtig, wenn es darum geht, die Ergebnisse mit früheren internen Umfragen und Benchmarks aus externen Quellen zu verfolgen und zu vergleichen. Änderungen des Wortlauts oder der Struktur können zu unterschiedlichen Antworten führen.
Betrachten Sie dieses Beispiel einer fehlgeleiteten Änderung einer gültigen Frage:
- Gültige Frage: Meine Organisation inspiriert mich, meine beste Arbeit zu leisten.
- Fehlgeleitete Frage: Ich bin inspiriert, meine beste Arbeit hier in meiner Organisation zu leisten.
Während die beiden Fragen zu Beginn fast austauschbar erscheinen, wurde die „gültige“ Frage viele Male getestet, sodass wir wissen, wie die Befragten sie interpretieren, da die eigene Organisation die Quelle der Inspiration ist. Da es sich um eine „gültige“ Frage handelt, erwarten wir, dass die Ergebnisse im Laufe der Zeit ähnlich sind, und jede Änderung wäre auf eine echte Änderung der Einstellung zurückzuführen, im Gegensatz zu einer Änderung der Interpretation.
Andererseits kann die „fehlgeleitete“ Frage nicht als gültig angesehen werden, da sie nicht getestet wurde, um zu sehen, wie die Befragten sie interpretieren. Wenn es nicht validiert wird (durch eine Nachbesprechung mit vielen Befragten sowie Vorhersagbarkeit der Reaktion unter ähnlichen zufällig generierten Populationen), wissen wir nicht, ob es wirklich misst, was gemessen werden soll. Misst es Inspiration durch die Organisation, durch die eigene Arbeit oder durch beides?
Obwohl deutlich unterschiedlich, sind Validität und Zuverlässigkeit der Umfrage untrennbar miteinander verbunden.
Die Zuverlässigkeit der Umfrage allein begründet keine Gültigkeit.
Eine Mitarbeiterbefragung kann eine hohe Zuverlässigkeit aufweisen – konsistente Antworten Jahr für Jahr von einer Organisation zur nächsten – aber eine geringe Gültigkeit, wenn die falschen Fragen gestellt werden. Wenn Antwortdaten aus einer Umfrage mit geringer Validität in einem Diagramm dargestellt werden, bilden sie nicht die Normalverteilungsform einer Glockenkurve, bei der sich die meisten Daten in der Nähe der Mitte befinden, sondern haben stattdessen verstreute Antworten mit großen Zahlen an beiden Enden der Skala. Verzerrte Antworten deuten darauf hin, dass Fragen möglicherweise nicht richtig strukturiert sind. Das Ergebnis, wenn die Gültigkeit zum Problem wird? Schlechte Informationen, die nicht messen, was Sie beabsichtigt haben und eine fundierte Entscheidungsfindung gefährden.
Umgekehrt, wenn die Ergebnisse zeigen, dass die Antworten Jahr für Jahr von einer Umfrage zur nächsten merklich inkonsistent sind, es jedoch eine normale Glockenkurvenverteilung gibt; dann sind Ihre Fragen möglicherweise gültig, aber Ihre Umfragezuverlässigkeit nicht so sehr.
Mehrere Faktoren können die Zuverlässigkeit der Umfrage beeinträchtigen, darunter Änderungen der Teilnehmer, der Umgebung, des Zeitpunkts und der Umfrage selbst. Eine Umfrage, die beispielsweise unmittelbar nach Gewerkschaftsverhandlungen oder einer Entlassung durchgeführt wurde, hat wahrscheinlich die Zuverlässigkeit beeinträchtigt. Eine scheinbar unbedeutende Änderung der Art und Weise, wie eine Frage gestellt wird, oder das Hinzufügen eines neuen Abschnitts von Fragen, der den Befragten mehr Zeit einräumt, kann sich ebenfalls auf die Zuverlässigkeit auswirken.