Survey Reliability vs Survery Validity: Hva Er Big Deal?
du kan spørre deg selv eller finne andre som spør deg om «påliteligheten» eller «gyldigheten» av data som kommer ut av medarbeiderundersøkelser. Det er ikke uvanlig at disse to ordene brukes om hverandre. Men innen dataforskning er de to langt fra synonymt.
Hvorfor er det viktig å vite forskjellen?
fordi i de fleste tilfeller, sourcing og ansette en undersøkelse partner, ELLER DIY undersøkelse opprettelse og implementering, faller TIL HR.
Å sørge for at du jobber med en beviselig gyldig og pålitelig undersøkelse, vil gi deg den typen data du trygt kan fortelle andre, er faktisk pålitelig. Å vite forskjellen mellom undersøkelsens gyldighet og pålitelighet gir også klarhet om hvorfor å legge til eller endre spørsmål og ordlyd, flyt og format fra en undersøkelse til den neste kan få konsekvenser.
Her er hvorfor.
det er mange komponenter involvert i undersøkelsesdesign som bidrar til høy (eller lav) kvalitetsdata. Tiden og innsatsen det tar for respondentene å fullføre en undersøkelse, antall poeng på vurderingsskalaen, frasering av poeng, rekkefølge av spørsmål og layout er bare en start.
Gyldigheten er opptatt av nøyaktigheten av undersøkelsen. Det avhenger av å stille spørsmål som virkelig måler hva som skal måles. For eksempel, i hvilken grad måler en medarbeiderengasjementsundersøkelse faktisk engasjement?
Pålitelighet handler derimot om konsistens eller i hvilken grad spørsmålene som brukes i en undersøkelse fremkaller samme type informasjon hver gang de blir spurt. Dette er spesielt viktig når det gjelder sporing og sammenligning av resultater med tidligere interne undersøkelser og referanser fra eksterne kilder. Endringer i ordlyd eller struktur kan føre til ulike svar.
Vurder dette eksemplet på en misforstått endring i et gyldig spørsmål:
- Gyldig Spørsmål: min organisasjon inspirerer meg til å gjøre mitt beste arbeid.
- Misforstått Spørsmål: Jeg er inspirert til å gjøre mitt beste arbeid her i min organisasjon.
mens de to spørsmålene ser nesten utskiftbare ut i begynnelsen, har det» gyldige » spørsmålet blitt testet mange ganger, så vi vet hvordan respondentene tolker det, da ens organisasjon er inspirasjonskilden. Også, å være et» gyldig » spørsmål, forventer vi at resultatene vil være like over tid, og enhver endring vil skyldes en sann endring i holdningen, i motsetning til å endre tolkning.
på den annen side kan det «misforståtte» spørsmålet ikke anses som gyldig, siden det ikke er testet for å se hvordan respondentene tolker det. Med mindre det er validert (gjennom en debriefingøvelse med mange respondenter, samt forutsigbarhet av respons blant lignende tilfeldig genererte populasjoner), vet vi ikke om det virkelig måler hva som skal måles. Er det å måle inspirasjon av organisasjonen, av ens arbeid, eller av begge?
selv om det er tydelig forskjellig, er undersøkelsens gyldighet og pålitelighet uløselig knyttet sammen.
survey reliability på egen hånd etablerer ikke gyldighet.
en spørreundersøkelse om medarbeiderengasjement kan ha svar med høy pålitelighet år etter år fra en organisasjon til den neste – men lav gyldighet hvis feil spørsmål stilles. Når svardata fra en lav validitetsundersøkelse er plottet på en graf, danner den ikke normalfordelingsformen til en klokkekurve der de fleste data er nær midten, men i stedet har spredte svar med store tall i hver ende av skalaen. Skjeve svar tyder på spørsmål kan ikke være riktig strukturert. Resultatet når gyldighet blir et problem? Dårlig informasjon som ikke måler hva du ment og truer lyd beslutninger.
Omvendt, hvis resultatene viser at svarene er merkbart inkonsekvente år etter år fra en undersøkelse til den neste, men det er normal bell-kurvefordeling; da kan spørsmålene dine være gyldige, men undersøkelsens pålitelighet, ikke så mye.
Flere faktorer kan påvirke påliteligheten til undersøkelsen, blant annet endringer i deltakere, miljø, timing og selve undersøkelsen. En undersøkelse som gjennomføres rett etter unionsforhandlinger eller en permittering for eksempel, vil trolig ha svekket pålitelighet. En tilsynelatende ubetydelig endring i hvordan et spørsmål blir stilt, eller tillegg av en ny del av spørsmål som legger til mer tid fra respondentene, kan også påvirke påliteligheten.