Survey pålidelighed vs. Survery gyldighed: Hvad er Big Deal?
du kan spørge dig selv eller finde andre, der spørger dig om “pålidelighed” eller “gyldighed” af data, der kommer ud af medarbejderundersøgelser. Det er ikke ualmindeligt, at disse to ord bruges om hverandre. Men inden for dataforskning er de to langt fra synonyme.
Hvorfor er det vigtigt at kende forskellen?
fordi sourcing og ansættelse af en undersøgelsespartner eller oprettelse og implementering af DIY-undersøgelser i de fleste tilfælde falder til HR.
hvis du sørger for, at du arbejder med en påviselig gyldig og pålidelig undersøgelse, får du den slags data, du med sikkerhed kan fortælle andre, er faktisk pålidelig. At kende forskellen mellem undersøgelsens gyldighed og pålidelighed giver også klarhed om, hvorfor tilføjelse eller ændring af spørgsmål og ordlyd, forløb og format fra en undersøgelse til den næste kan have konsekvenser.
her er hvorfor.
der er mange komponenter involveret i undersøgelsesdesign, der bidrager til data af høj (eller lav) kvalitet. Den tid og indsats, det tager for respondenterne at gennemføre en undersøgelse, antal point på vurderingsskalaen, formulering af point, rækkefølge af spørgsmål og layout er bare en start.
validitet er bekymret for nøjagtigheden af din undersøgelse. Det afhænger af at stille spørgsmål, der virkelig måler, hvad der skal måles. For eksempel, i hvilket omfang måler en medarbejderengagementundersøgelse faktisk engagement?
pålidelighed er derimod bekymret for konsistens eller i hvilken grad de spørgsmål, der bruges i en undersøgelse, fremkalder den samme slags information, hver gang de bliver spurgt. Dette er især vigtigt, når det gælder sporing og sammenligning af resultater med tidligere interne undersøgelser og benchmarks fra eksterne kilder. Ændringer i ordlyd eller struktur kan resultere i forskellige svar.
overvej dette eksempel på en vildledt ændring af et gyldigt spørgsmål:
- gyldigt spørgsmål: min organisation inspirerer mig til at gøre mit bedste arbejde.
- Misforstået Spørgsmål: Jeg er inspireret til at gøre mit bedste arbejde her i min organisation.
mens de to spørgsmål ser næsten udskiftelige ud fra starten, er det “gyldige” spørgsmål blevet testet mange gange, så vi ved, hvordan respondenterne fortolker det, da ens organisation er inspirationskilden. At være et” gyldigt ” spørgsmål forventer vi også, at resultaterne vil være ens over tid, og enhver ændring skyldes en ægte ændring i holdningen i modsætning til skiftende fortolkning.
på den anden side kan det “vildledte” spørgsmål ikke betragtes som gyldigt, da det ikke er testet for at se, hvordan respondenterne fortolker det. Medmindre det er valideret (gennem en debriefing øvelse med mange respondenter, samt forudsigelighed af respons blandt lignende tilfældigt genererede populationer), ved vi ikke, om det virkelig måler, hvad der skal måles. Måler den inspiration fra organisationen, af ens arbejde eller af begge dele?
skønt det er tydeligt anderledes, er undersøgelsens gyldighed og pålidelighed uløseligt forbundet.
undersøgelsens pålidelighed i sig selv etablerer ikke gyldighed.
en spørgeundersøgelse om medarbejderengagement kan have høj pålidelighed – ensartede svar år efter år fra organisation til organisation – men lav gyldighed, hvis de forkerte spørgsmål stilles. Når svardata fra en undersøgelse med lav gyldighed er afbildet på en graf, danner den ikke den normale fordelingsform for en klokkekurve, hvor de fleste data er nær midten, men i stedet har spredte svar med store tal i hver ende af skalaen. Skæve svar antyder, at Spørgsmål muligvis ikke er korrekt struktureret. Resultatet, når gyldighed bliver et problem? Dårlige oplysninger, der ikke måler, hvad du havde til hensigt, og bringer sund beslutningstagning i fare.
omvendt, hvis resultaterne viser, at svarene er mærkbart inkonsekvente år efter år fra en undersøgelse til den næste, men der er normal klokkekurvefordeling; så er dine spørgsmål muligvis gyldige, men din spørgeundersøgelses pålidelighed, ikke så meget.
flere faktorer kan forstyrre undersøgelsens pålidelighed, blandt dem ændringer i deltagere, miljø, timing og selve undersøgelsen. En undersøgelse foretaget lige efter fagforeningsforhandlinger eller f.eks. En tilsyneladende ubetydelig ændring i, hvordan et spørgsmål stilles, eller tilføjelsen af et nyt afsnit af spørgsmål, der tilføjer mere tid fra respondenterne, kan også påvirke pålideligheden.