Survey Reliability vs. Survey Validity: Qual è il grosso problema?
Puoi chiederti o trovare altri che ti chiedono circa l ‘”affidabilità” o la “validità” dei dati che escono dalle indagini sui dipendenti. Non è raro che queste due parole siano usate in modo intercambiabile. Ma nel campo della ricerca dei dati, i due sono tutt’altro che sinonimi.
Perché è importante conoscere la differenza?
Perché nella maggior parte dei casi, l’approvvigionamento e l’assunzione di un partner di indagine, o la creazione e l’implementazione di sondaggi fai-da-te, ricade sulle risorse umane.
Assicurarsi che si sta lavorando con un sondaggio dimostrabilmente valido e affidabile si otterrà il tipo di dati si può tranquillamente dire agli altri è, infatti, affidabile. Conoscere la differenza tra validità e affidabilità del sondaggio porta anche chiarezza sul perché aggiungere o modificare domande e formulazione, flusso e formato da un sondaggio all’altro può avere conseguenze.
Ecco perché.
Ci sono molti componenti coinvolti nella progettazione del sondaggio che contribuiscono a dati di alta (o bassa) qualità. Il tempo e gli sforzi necessari agli intervistati per completare un sondaggio, il numero di punti sulla scala di valutazione, il fraseggio dei punti, l’ordine delle domande e il layout sono solo un inizio.
La validità riguarda l’accuratezza del sondaggio. Dipende dal fare domande che misurano veramente ciò che dovrebbe essere misurato. Ad esempio, in che misura un sondaggio sul coinvolgimento dei dipendenti misura effettivamente l’impegno?
L’affidabilità d’altra parte, riguarda la coerenza o il grado in cui le domande utilizzate in un sondaggio suscitano lo stesso tipo di informazioni ogni volta che vengono poste. Ciò è particolarmente importante quando si tratta di monitorare e confrontare i risultati con precedenti indagini interne e benchmark provenienti da fonti esterne. Le modifiche alla formulazione o alla struttura possono comportare risposte diverse.
Considera questo esempio di una modifica errata a una domanda valida:
- Domanda valida: La mia organizzazione mi ispira a fare del mio meglio.
- Domanda sbagliata: Sono ispirato a fare il mio miglior lavoro qui alla mia organizzazione.
Mentre le due domande sembrano quasi intercambiabili all’inizio, la domanda” valida ” è stata testata molte volte, quindi sappiamo come gli intervistati la interpretano, poiché la propria organizzazione è la fonte di ispirazione. Inoltre, essendo una domanda “valida”, ci aspettiamo che i risultati siano simili nel tempo e qualsiasi cambiamento sarebbe dovuto a un vero cambiamento nell’atteggiamento, al contrario di cambiare interpretazione.
D’altra parte, la domanda “sbagliata” non può essere considerata valida, poiché non è stata testata per vedere come gli intervistati la interpretano. A meno che non sia convalidato (attraverso un esercizio di debriefing con molti intervistati, oltre alla prevedibilità della risposta tra popolazioni simili generate casualmente), non sappiamo se stia veramente misurando ciò che dovrebbe essere misurato. Sta misurando l’ispirazione dall’organizzazione, dal proprio lavoro o da entrambi?
Sebbene nettamente diverse, validità e affidabilità del sondaggio sono inestricabilmente legate.
L’affidabilità del sondaggio da sola non stabilisce la validità.
Un sondaggio di coinvolgimento dei dipendenti può avere un’elevata affidabilità – risposte coerenti anno dopo anno da un’organizzazione all’altra – ma una bassa validità se vengono poste domande sbagliate. Quando i dati di risposta di un sondaggio a bassa validità vengono tracciati su un grafico, non formano la forma di distribuzione normale di una curva a campana in cui la maggior parte dei dati si trova vicino al centro, ma ha invece risposte sparse con numeri grandi a entrambe le estremità della scala. Le risposte distorte suggeriscono che le domande potrebbero non essere strutturate correttamente. Il risultato quando la validità diventa un problema? Cattive informazioni che non misurano ciò che intendevi e mettono a repentaglio il processo decisionale.
Al contrario, se i risultati mostrano che le risposte sono notevolmente incoerenti anno dopo anno da un sondaggio all’altro, tuttavia c’è una normale distribuzione della curva a campana; allora le tue domande potrebbero essere valide, ma l’affidabilità del tuo sondaggio, non tanto.
Diversi fattori possono interferire con l’affidabilità del sondaggio, tra cui i cambiamenti nei partecipanti, nell’ambiente, nei tempi e nell’indagine stessa. Un’indagine condotta subito dopo i negoziati sindacali o un licenziamento, per esempio, è probabile che abbia compromesso l’affidabilità. Un cambiamento apparentemente insignificante al modo in cui viene posta una domanda o l’aggiunta di una nuova sezione di domande che aggiunge più tempo agli intervistati può influire anche sull’affidabilità.