betrouwbaarheid van de enquête Versus Validiteit: Wat is het probleem?
u kunt zich afvragen of anderen u vragen stellen over de “betrouwbaarheid” of “validiteit” van gegevens die afkomstig zijn uit enquêtes onder werknemers. Het is niet ongewoon dat die twee woorden door elkaar gebruikt worden. Maar op het gebied van dataonderzoek zijn de twee verre van synoniem.
Waarom is het belangrijk om het verschil te weten?
omdat in de meeste gevallen het inkopen en inhuren van een survey partner, of het maken en implementeren van Doe-het-zelf survey, aan HR toebehoort.
ervoor zorgen dat u met een aantoonbaar geldige en betrouwbare enquête werkt, levert u de soorten gegevens op die u anderen met vertrouwen kunt vertellen. Als u het verschil tussen Validiteit en betrouwbaarheid van de enquête kent, wordt ook duidelijk waarom het toevoegen of wijzigen van vragen en formuleringen, stromen en formaten van de ene enquête naar de volgende gevolgen kan hebben.
hier is waarom.
er zijn veel componenten betrokken bij het ontwerp van de enquête die bijdragen tot gegevens van hoge (of lage) kwaliteit. De tijd en moeite die respondenten nodig hebben om een enquête in te vullen, het aantal punten op de ratingschaal, de formulering van punten, de volgorde van vragen en de lay-out zijn slechts een begin.
de geldigheid betreft de juistheid van uw enquête. Het hangt af van het stellen van vragen die echt meten wat wordt verondersteld te worden gemeten. Bijvoorbeeld, in welke mate is een employee engagement survey daadwerkelijk meten betrokkenheid?
betrouwbaarheid daarentegen heeft betrekking op de consistentie of de mate waarin de in een enquête gebruikte vragen telkens dezelfde informatie opleveren. Dit is vooral belangrijk als het gaat om het volgen en vergelijken van resultaten met eerdere interne onderzoeken en benchmarks van externe bronnen. Wijzigingen in de formulering of structuur kunnen leiden tot verschillende reacties.
beschouw dit voorbeeld van een verkeerde wijziging van een geldige vraag:
- geldige vraag: mijn organisatie inspireert mij om mijn beste werk te doen.
- Verkeerde Vraag: Ik ben geïnspireerd om mijn beste werk te doen hier bij mijn organisatie.
hoewel de twee vragen in het begin bijna uitwisselbaar lijken, is de “geldige” vraag vele malen getest, zodat we weten hoe de respondenten het interpreteren, omdat de organisatie de bron van inspiratie is. Ook, omdat het een “geldige” vraag is, verwachten we dat de resultaten in de loop van de tijd vergelijkbaar zullen zijn en elke verandering zou te wijten zijn aan een echte verandering in de houding, in tegenstelling tot een veranderende interpretatie.
aan de andere kant kan de “verkeerde” vraag niet als geldig worden beschouwd, omdat deze niet is getest om te zien hoe de respondenten hem interpreteren. Tenzij het wordt gevalideerd (door middel van een debriefing oefening met veel respondenten, evenals de voorspelbaarheid van de respons onder vergelijkbare willekeurig gegenereerde populaties), weten we niet of het echt meet wat moet worden gemeten. Meet het inspiratie door de organisatie, door het werk, of door beide?
hoewel duidelijk verschillend, zijn de validiteit en betrouwbaarheid van de enquête onlosmakelijk met elkaar verbonden.
de betrouwbaarheid van de enquête op zichzelf stelt de validiteit niet vast.
een employee engagement survey kan een hoge betrouwbaarheid hebben – consistente antwoorden jaar na jaar van de ene organisatie op de volgende – maar een lage validiteit als de verkeerde vragen worden gesteld. Wanneer de responsgegevens van een enquête met lage geldigheid op een grafiek worden uitgezet, vormt deze niet de normale distributievorm van een klokcurve waarbij de meeste gegevens in de buurt van het midden zijn, maar in plaats daarvan reacties met grote aantallen aan beide uiteinden van de schaal heeft verspreid. Schuine antwoorden suggereren dat vragen mogelijk niet goed gestructureerd zijn. Het resultaat wanneer validiteit een probleem wordt? Slechte informatie die niet meet wat je bedoeld en brengt goede besluitvorming in gevaar.
omgekeerd, als uit de resultaten blijkt dat de reacties jaar na jaar merkbaar inconsistent zijn van de ene enquête naar de andere, is er toch een normale verdeling van de belcurve; dan kunnen uw vragen geldig zijn, maar de betrouwbaarheid van uw enquête, niet zozeer.
verschillende factoren kunnen de betrouwbaarheid van de enquête verstoren, waaronder veranderingen in deelnemers, omgeving, timing en het onderzoek zelf. Een enquête die net na onderhandelingen met de vakbonden of een ontslag wordt gehouden, zal de betrouwbaarheid waarschijnlijk aantasten. Een schijnbaar onbelangrijke verandering in de manier waarop een vraag wordt gesteld, of de toevoeging van een nieuw gedeelte van vragen dat meer tijd toevoegt van respondenten kan ook van invloed zijn op betrouwbaarheid.