felmérés megbízhatósága vs. Survery érvényesség: mi a nagy dolog?
felteheti magának a kérdést, vagy találhat másokat, akik a munkavállalói felmérésekből származó adatok “megbízhatóságáról” vagy “érvényességéről” kérdeznek. Nem ritka, hogy ezt a két szót felcserélhetően használják. De az adatkutatás területén a kettő messze nem szinonimája.
miért fontos tudni a különbséget?
mert a legtöbb esetben a felmérési partner beszerzése és felvétele, vagy a DIY felmérés létrehozása és végrehajtása a HR-re hárul.
annak biztosítása, hogy bizonyíthatóan érvényes és megbízható felméréssel dolgozik, olyan típusú adatokat fog kapni, amelyekről magabiztosan elmondhatja másoknak, hogy valóban megbízhatóak. A felmérés érvényessége és megbízhatósága közötti különbség ismerete azt is világossá teszi, hogy a kérdések és a megfogalmazás, az áramlás és a formátum hozzáadása vagy módosítása az egyik felmérésből a másikba milyen következményekkel járhat.
itt van miért.
a felmérés tervezésében számos olyan elem vesz részt, amelyek hozzájárulnak a magas (vagy alacsony) minőségű adatokhoz. A válaszadóknak a felmérés kitöltéséhez szükséges idő és erőfeszítés, a minősítési skálán szereplő pontok száma, a pontok megfogalmazása, a kérdések sorrendje és az elrendezés csak a kezdet.
az érvényesség a felmérés pontosságára vonatkozik. Ez attól függ, hogy olyan kérdéseket tesz fel, amelyek valóban mérik azt, amit mérni kell. Például, milyen mértékben méri a munkavállalói elkötelezettség felmérése az elkötelezettséget?
megbízhatóság másrészt a következetességgel vagy azzal foglalkozik, hogy a felmérésben használt kérdések milyen mértékben váltanak ki azonos típusú információkat minden alkalommal, amikor felteszik őket. Ez különösen fontos az eredmények nyomon követése és összehasonlítása a korábbi belső felmérésekkel és a külső forrásokból származó referenciaértékekkel. A megfogalmazás vagy a szerkezet megváltoztatása eltérő válaszokat eredményezhet.
Tekintsük ezt a példát egy téves változtatásra egy érvényes kérdésre:
- érvényes kérdés: a szervezetem arra ösztönöz, hogy a legjobb munkámat végezzem.
- Téves Kérdés: Inspirált, hogy a legjobb munkát végezzem itt a szervezetemben.
míg a két kérdés kezdetben szinte felcserélhetőnek tűnik, az” érvényes ” kérdést sokszor tesztelték, tehát tudjuk, hogy a válaszadók hogyan értelmezik, mivel az ember szervezete az inspiráció forrása. Továbbá, mivel “érvényes” kérdés, arra számítunk, hogy az eredmények idővel hasonlóak lesznek, és minden változás a hozzáállás valódi változásának tudható be, szemben a változó értelmezéssel.
másrészt a “téves” kérdés nem tekinthető érvényesnek, mivel még nem tesztelték, hogy a válaszadók hogyan értelmezik azt. Hacsak nem validálják (sok válaszadóval folytatott eligazítás révén, valamint a válasz kiszámíthatóságával a hasonló véletlenszerűen generált populációk között), nem tudjuk, hogy valóban méri-e azt, amit állítólag mérni kell. Az inspirációt a szervezet, az ember munkája vagy mindkettő méri?
bár a felmérés érvényessége és megbízhatósága egyértelműen különbözik egymástól, elválaszthatatlanul összefügg.
a felmérés megbízhatósága önmagában nem állapítja meg az érvényességet.
az alkalmazottak elkötelezettségének felmérése nagy megbízhatóságú-következetes válaszokat adhat évről évre egyik szervezetről a másikra–, de alacsony érvényességű, ha rossz kérdéseket tesznek fel. Ha egy alacsony érvényességű felmérésből származó válaszadatokat ábrázol egy grafikonon, akkor az nem képezi a haranggörbe normál eloszlási alakját, ahol a legtöbb adat a közepe közelében van, hanem szétszórt válaszokat tartalmaz, nagy számokkal a skála mindkét végén. A ferde válaszok arra utalnak, hogy a kérdések nem megfelelően vannak felépítve. Az eredmény, amikor az érvényesség kérdéssé válik? Rossz információ, amely nem méri azt, amit szándékolt, és veszélyezteti a helyes döntéshozatalt.
ezzel szemben, ha az eredmények azt mutatják, hogy a válaszok évről évre észrevehetően következetlenek az egyik felmérésről a másikra, mégis normális haranggörbe Eloszlás van; akkor kérdései érvényesek lehetnek, de a felmérés megbízhatósága nem annyira.
számos tényező befolyásolhatja a felmérés megbízhatóságát, többek között a résztvevők, a környezet, az időzítés és maga a felmérés változásai. A közvetlenül a szakszervezeti tárgyalások vagy például egy elbocsátás után végzett felmérés valószínűleg rontja a megbízhatóságot. A kérdés feltevésének látszólag jelentéktelen változása, vagy egy új kérdésrész hozzáadása, amely több időt ad a válaszadóktól, befolyásolhatja a megbízhatóságot is.