Survey tillförlitlighet vs. Survery giltighet: Vad är Big Deal?
du kan fråga dig själv eller hitta andra som frågar dig om ”tillförlitlighet” eller ”giltighet” av data som kommer ut ur medarbetarundersökningar. Det är inte ovanligt att dessa två ord används omväxlande. Men inom dataforskningen är de två långt ifrån synonyma.
Varför är det viktigt att veta skillnaden?
för i de flesta fall faller inköp och anställning av en undersökningspartner, eller skapande och genomförande av DIY-undersökningar, till HR.
att se till att du arbetar med en bevisligen giltig och pålitlig undersökning kommer att få dig den typ av data som du säkert kan berätta för andra är verkligen pålitlig. Att veta skillnaden mellan enkätgiltighet och tillförlitlighet ger också tydlighet kring varför lägga till eller ändra frågor och formulering, flöde, och format från en enkät till nästa kan få konsekvenser.
här är varför.
det finns många komponenter som är involverade i undersökningsdesign som bidrar till hög (eller låg) kvalitetsdata. Den tid och ansträngning det tar för respondenterna att slutföra en undersökning, antal poäng på betygsskalan, formulering av poäng, ordning på frågor och layout är bara en början.
giltighet handlar om noggrannheten i din undersökning. Det beror på att ställa frågor som verkligen mäter vad som ska mätas. Till exempel, i vilken utsträckning mäter en medarbetarengagemangsundersökning faktiskt engagemang?
tillförlitlighet å andra sidan handlar om konsistens eller i vilken grad frågorna som används i en undersökning framkallar samma typ av information varje gång de ställs. Detta är särskilt viktigt när det gäller att spåra och jämföra resultat med tidigare interna undersökningar och riktmärken från externa källor. Ändringar i formulering eller struktur kan leda till olika svar.
Tänk på det här exemplet på en felaktig ändring av en giltig fråga:
- giltig fråga: min organisation inspirerar mig att göra mitt bästa arbete.
- Missriktad Fråga: Jag är inspirerad att göra mitt bästa arbete här på min organisation.
medan de två frågorna ser nästan utbytbara ut från början, har den” giltiga ” frågan testats många gånger, så vi vet hur respondenterna tolkar den, eftersom ens organisation är inspirationskällan. Eftersom vi är en ”giltig” fråga förväntar vi oss att resultaten blir lika över tiden och varje förändring skulle bero på en verklig förändring i attityden, i motsats till att förändra tolkningen.
å andra sidan kan den ”missvisade” frågan inte anses vara giltig, eftersom den inte har testats för att se hur respondenterna tolkar den. Om det inte valideras (genom en debriefingövning med många respondenter, liksom förutsägbarhet för svar bland liknande slumpmässigt genererade populationer), vet vi inte om det verkligen mäter vad som ska mätas. Är det att mäta inspiration av organisationen, av sitt arbete eller av båda?
även om det är tydligt annorlunda är undersökningsgiltighet och tillförlitlighet oupplösligt kopplade.
undersökningens tillförlitlighet på egen hand fastställer inte giltighet.
en medarbetarengagemangsundersökning kan ha hög tillförlitlighet – konsekventa svar år efter år från en organisation till nästa – men låg giltighet om fel frågor ställs. När svarsdata från en undersökning med låg validitet ritas på en graf bildar den inte den normala fördelningsformen för en klockkurva där de flesta data är nära mitten utan istället har spridda svar med stora antal i vardera änden av skalan. Skeva svar tyder på att frågor kanske inte är ordentligt strukturerade. Resultatet när giltighet blir ett problem? Dålig information som inte mäter vad du tänkt och äventyrar ljud beslutsfattande.
omvänt, om resultaten visar att svaren är märkbart inkonsekventa år efter år från en undersökning till nästa, men det finns normal klockkurvfördelning; då kan dina frågor vara giltiga, men din undersökningstillförlitlighet, inte så mycket.
flera faktorer kan störa undersökningens tillförlitlighet, bland annat förändringar i deltagare, miljö, timing och själva undersökningen. En undersökning som genomförs strax efter fackliga förhandlingar eller till exempel en uppsägning kommer sannolikt att ha nedsatt tillförlitlighet. En till synes obetydlig förändring av hur en fråga ställs, eller tillägg av ett nytt avsnitt av frågor som ger mer tid från respondenterna kan också påverka tillförlitligheten.