Fiabilidad de la encuesta vs. Validez de la cobertura: ¿Cuál es el problema?
Puede preguntarse o encontrar a otros que le pregunten sobre la «fiabilidad» o la «validez» de los datos que salen de las encuestas a los empleados. No es raro que esas dos palabras se usen indistintamente. Pero en el campo de la investigación de datos, los dos están lejos de ser sinónimos.
¿por Qué es importante saber la diferencia?
Porque en la mayoría de los casos, la búsqueda y contratación de un socio de encuesta, o la creación e implementación de encuestas por cuenta propia, recae en Recursos Humanos.
Asegurarse de que está trabajando con una encuesta demostrablemente válida y confiable le proporcionará el tipo de datos que puede decirle con confianza a los demás es, de hecho, confiable. Conocer la diferencia entre la validez y la confiabilidad de la encuesta también aporta claridad sobre por qué agregar o modificar preguntas y redacción, flujo y formato de una encuesta a la siguiente puede tener consecuencias.
He aquí por qué.
Hay muchos componentes involucrados en el diseño de encuestas que contribuyen a datos de alta (o baja) calidad. El tiempo y el esfuerzo que necesitan los encuestados para completar una encuesta, el número de puntos en la escala de calificación, la redacción de los puntos, el orden de las preguntas y el diseño son solo el comienzo.
La validez se refiere a la precisión de su encuesta. Depende de hacer preguntas que realmente midan lo que se supone que se debe medir. Por ejemplo, ¿en qué medida una encuesta de compromiso de los empleados mide realmente el compromiso?
La confiabilidad, por otro lado, se refiere a la consistencia o al grado en que las preguntas utilizadas en una encuesta obtienen el mismo tipo de información cada vez que se les hace. Esto es particularmente importante cuando se trata de rastrear y comparar resultados con encuestas internas anteriores y puntos de referencia de fuentes externas. Los cambios en la redacción o la estructura pueden dar lugar a respuestas diferentes.
Considere este ejemplo de un cambio equivocado a una pregunta válida:
- Pregunta válida: Mi organización me inspira a hacer mi mejor trabajo.
- Pregunta equivocada: Estoy inspirado para hacer mi mejor trabajo aquí en mi organización.
Si bien las dos preguntas parecen casi intercambiables al principio, la pregunta «válida» se ha probado muchas veces, por lo que sabemos cómo la interpretan los encuestados, ya que la organización de uno es la fuente de inspiración. Además, al ser una pregunta «válida», esperamos que los resultados sean similares con el tiempo y cualquier cambio se debe a un verdadero cambio en la actitud, en lugar de cambiar la interpretación.
Por otro lado, la pregunta «equivocada» no puede considerarse válida, ya que no se ha probado para ver cómo la interpretan los encuestados. A menos que se valide (a través de un ejercicio de información con muchos encuestados, así como la previsibilidad de la respuesta entre poblaciones similares generadas aleatoriamente), no sabemos si realmente está midiendo lo que se supone que debe medirse. ¿Está midiendo la inspiración por la organización, por el trabajo de uno, o por ambos?
Aunque son claramente diferentes, la validez y la fiabilidad de la encuesta están inextricablemente vinculadas.
La fiabilidad de la encuesta por sí sola no establece la validez.
Una encuesta de compromiso de los empleados puede tener una alta confiabilidad, respuestas consistentes año tras año de una organización a la siguiente, pero poca validez si se hacen preguntas incorrectas. Cuando los datos de respuesta de una encuesta de baja validez se representan en un gráfico, no forman la forma de distribución normal de una curva de campana donde la mayoría de los datos están cerca de la mitad, sino que tienen respuestas dispersas con grandes números en cada extremo de la escala. Las respuestas sesgadas sugieren que las preguntas pueden no estar estructuradas adecuadamente. El resultado cuando la validez se convierte en un problema? Mala información que no mide lo que pretendías y pone en peligro la toma de decisiones acertadas.
Por el contrario, si los resultados muestran que las respuestas son notablemente inconsistentes año tras año de una encuesta a la siguiente, pero hay una distribución normal de la curva de campana, entonces tus preguntas pueden ser válidas, pero la confiabilidad de tu encuesta, no tanto.
Varios factores pueden interferir con la confiabilidad de la encuesta, entre ellos los cambios en los participantes, el entorno, el tiempo y la encuesta en sí. Una encuesta realizada justo después de las negociaciones sindicales o un despido, por ejemplo, es probable que tenga una confiabilidad disminuida. Un cambio aparentemente insignificante en la forma en que se hace una pregunta, o la adición de una nueva sección de preguntas que agrega más tiempo de parte de los encuestados también puede afectar la confiabilidad.