Udvikling af en overvågnings-og evalueringsplan
en overvågnings-og evalueringsplan (M& E) er en guide til, hvad du skal evaluere, hvilke oplysninger du har brug for, og hvem du evaluerer for.
planen skitserer de vigtigste evalueringsspørgsmål og de detaljerede overvågningsspørgsmål, der hjælper med at besvare evalueringsspørgsmålene. Dette giver dig mulighed for at identificere de oplysninger, du skal indsamle, og hvordan du kan indsamle dem. Afhængigt af detaljerne I m & e-planen kan du identificere de personer, der er ansvarlige for forskellige opgaver, samt tidslinjer. Planen skal når som helst kunne afhentes af alle, der er involveret i projektet, og være klar over, hvad der sker med hensyn til overvågning og evaluering.
det er også vigtigt at huske, at der er mange typer evaluering.
en evalueringsplan bør ideelt set udføres i planlægningsfasen af et projekt, inden du påbegynder implementeringen. Dette giver dig mulighed for at planlægge forud for tid og dataindsamlingsaktiviteter, som du muligvis skal udføre, såsom undersøgelser før intervention. Det er dog aldrig for sent at udvikle en m&e plan. Retro-montering af en m & e plan til et eksisterende projekt kan bare betyde, at du kan være begrænset i nogle af de data, du kan indsamle.
sådan udvikles en overvågnings – og evalueringsplan
en kort tutorial om, hvordan man udvikler en m& e-plan-åbner i kraftpunkt
Trin 1. Identificer din evalueringspublikum
Identificer, hvem evalueringspublikummet eller interessenterne er. Evalueringspublikummet omfatter de personer eller organisationer, der kræver en evaluering. Der kan være flere målgrupper, hver med deres egne krav. Dette inkluderer typisk finansieringsbureauet og kan også omfatte partnerorganisationer, Rådet (eller rådsmedlemmer), projektgruppen og projektets deltagere eller målgruppe. Husk, at evaluering generelt foretages for ansvarlighed, eller læring, og helst begge sammen.
hvis du har begrænsede midler til evaluering, skal du muligvis prioritere din evaluering ved at identificere, hvem der er de vigtigste personer at rapportere til.
Hent M&e publikum og evaluering Spørgsmål skabelon
Trin 2. Definer evalueringsspørgsmålene
evalueringsspørgsmål skal udvikles på forhånd og i samarbejde med det primære publikum(E) og andre interessenter, som du agter at rapportere til. Evalueringsspørgsmål går ud over målinger for at stille spørgsmål med højere orden, såsom om interventionen er det værd, eller kunne hvis det er opnået på en anden måde (se eksempler nedenfor). Generelt bør evalueringsspørgsmål føre til yderligere tiltag såsom projektforbedring, projektmainstreaming eller projektredesign.
du skal også på dette tidspunkt identificere, om evalueringspublikummet har specifikke tidslinjer, hvormed det kræver en evalueringsrapport. Dette vil være en vigtig faktor i beslutningen om, hvad du kan og ikke kan indsamle.
når du indrammer dine resultatfokuserede evalueringsspørgsmål, skal du holde dem åbne. Fx. “I hvilket omfang gjorde…”
brede typer evalueringsspørgsmål efter fokusområde
tilpasset fra: Davidson & Vihipeihana (2010)
| Evalueringsfokus | evalueringsspørgsmål |
|---|---|
| proces |
hvor godt blev projektet designet og implementeret (dvs. dets kvalitet) |
| resultat |
i hvilket omfang opfyldte projektet de overordnede behov? var der nogen væsentlig ændring, og i hvilket omfang kunne det tilskrives projektet? hvor værdifulde er resultaterne for organisationen, andre interessenter og deltagere? |
| Learnings |
hvad fungerede og hvad gjorde det ikke? hvad var utilsigtede konsekvenser? hvad var nye egenskaber? |
| investering |
var projektet omkostningseffektivt? var der et andet alternativ, der kan have repræsenteret en bedre investering? |
| hvad næste |
kan projektet skaleres op? kan projektet replikeres andetsteds? er ændringen selvbærende eller kræver den fortsat intervention? |
| teori om forandring |
har projektet en teori om forandring? er teorien om forandring afspejlet i programlogikken? Hvordan kan programlogikken informere forskningsspørgsmålene? |
en anden måde at klassificere brede evalueringsspørgsmål på er præsenteret nedenfor.
tilpasset fra: Kontoret for europæisk bistand
| Evalueringsfokus | evalueringsspørgsmål |
|---|---|
| relevans |
opfylder værkstedets emne og indhold målgruppens informationsbehov? i hvilket omfang er interventionsmålet i overensstemmelse med samfundets behov og prioriteter? |
| effektivitet |
førte engagementsmetoden, der blev brugt i dette projekt, til et lignende antal deltagere som tidligere eller andre programmer til en sammenlignelig eller mindre pris? har de dyrere engagementstilgange ført til bedre resultater end de billigere engagementstilgange? |
| effektivitet |
i hvilket omfang førte værkstederne til øget fællesskabsstøtte til foranstaltninger til bekæmpelse af klimaændringer? i hvilket omfang tilskyndede engagementsmetoden målgruppen til at deltage i projektet? |
| Outcome |
i hvilket omfang har projektet ført til mere bæredygtig adfærd i målgruppen? var der andre utilsigtede positive eller negative resultater fra projektet? |
| bæredygtighed |
i hvilket omfang har projektet ført til den langsigtede adfærdsændring? |
Trin 3. Identificer overvågningsspørgsmålene
for at besvare evalueringsspørgsmål skal der udvikles overvågningsspørgsmål, der informerer om, hvilke data der indsamles gennem overvågningsprocessen. Overvågningsspørgsmål er ret specifikke i det, de stiller, sammenlignet med evalueringsspørgsmål. For eksempel til et evalueringsspørgsmål om “hvad fungerede og hvad gjorde det ikke?”du har måske flere specifikke spørgsmål som “førte værkstederne til øget viden om energieffektivitet i hjemmet?”eller” installerede deltagerne vandeffektive brusehoveder”.
overvågningsspørgsmålene vil ideelt set blive besvaret gennem indsamling af kvantitative og kvalitative data. Det er vigtigt ikke at springe direkte ind i indsamlingen af data uden at tænke på evalueringsspørgsmålene. At hoppe lige ind kan føre til indsamling af data, der ikke giver nogen nyttig information, hvilket er spild af tid og penge.
Hent m&e-Planskabelonen for at indtaste oplysningerne eller hente en særligt udfyldt m&E-planskabelon, der indeholder prøveevalueringsspørgsmål, overvågningsspørgsmål, indikatorer og kilder til et kerbside-genbrugsuddannelsesprojekt.
hvis du har udviklet en programlogik, kan du bruge dette til at begynde at identificere relevante overvågningsspørgsmål og indikatorer. Klik her for at se hvordan.
når du har identificeret overvågningsspørgsmål i din programlogik, kan du overføre dem til din M & e-Planskabelon. Klik her for at se hvordan.
en kort tutorial om, hvordan du udtrækker information fra din programlogik for at udvikle din M& E – plan-åbner i kraftpunkt
Trin 4. Identificer indikatorerne og datakilderne
det næste trin er at identificere, hvilke oplysninger du har brug for for at besvare dine overvågningsspørgsmål (indikatorer), og hvor disse oplysninger kommer fra (datakilder). Det er vigtigt at overveje dataindsamling med hensyn til typen af data og enhver form for forskningsdesign. Datakilder kan være deltagere selv eller folks hjem (f.eks. revision af belysningstyper) eller måling eller endda litteratur. Du kan derefter vælge den mest hensigtsmæssige metode til at indsamle dataene fra datakilden.
evalueringsværktøjsvælgeren er der for at hjælpe dig med at vælge en passende metode til dine behov.
det er vigtigt at sikre, at din evalueringsramme er kulturelt passende. Når du arbejder med kulturelle og sprogligt forskellige (CALD) samfund, overveje at involvere samfundsrepræsentanter eller kultureksperter i evalueringsrammen for at sikre, at dataindsamlingsmetoder er passende (følsomme og forståelige) for målgruppen. For yderligere læsning, se på den ægte Evalueringsblog
Trin 5. Identificer, hvem der er ansvarlig for dataindsamling og tidslinjer
det tilrådes at tildele ansvaret for dataindsamlingen, så alle er fri for deres roller og ansvar. Dette giver også nye medarbejdere mulighed for at komme ind på projektet og få en fornemmelse af, hvem der er ansvarlig for hvad, og hvad de muligvis skal tage på, og hvornår.
indsamling af overvågningsdata kan forekomme regelmæssigt over korte intervaller eller mindre regelmæssigt, såsom halvårligt eller årligt. Igen begrænser tildeling af tidslinjer undskyldningen for’ikke at vide’.
du kan også notere eventuelle krav, der er nødvendige for at indsamle data (personale, budget osv.). Det tilrådes at have en ide om omkostningerne forbundet med overvågning, da du måske har gode ideer til at indsamle en masse information, kun for at finde ud af, at du ikke har råd til det hele. I så fald skal du enten prioritere eller finde nogle penge andre steder (beklager, men vi har ikke noget specielt værktøj til det).
Trin 6. Identificer, hvem der vil evaluere dataene, hvordan de vil blive rapporteret, og hvornår
dette trin er valgfrit, men anbefales stærkt, da det afrunder m&E-planen som et komplet dokument. Husk at evaluering er den subjektive vurdering af et projekts værdi, det er vigtigt at identificere, hvem der vil foretage denne ‘subjektive vurdering’. I de fleste tilfælde vil det være projektgruppen, men i nogle tilfælde kan du involvere andre interessenter, herunder målgruppen eller deltagerne. Du kan også overveje at outsource en bestemt del af evalueringen til en ekstern eller uafhængig part.
for en evaluering, der skal bruges (og derfor nyttig), er det vigtigt at præsentere resultaterne i et format, der passer til publikum. Dette kan betyde en kort rapport eller et notat eller endda en plakat eller nyhedsbrev. Som sådan anbefales det, at du overvejer, hvordan du vil præsentere din evaluering fra starten, så du kan skræddersy vejen til at præsentere dine fund til præsentationsformatet (såsom grafer, tabeller, tekst, billeder).
Trin 7. Gennemgå M& e-planen
når du har gennemført din M & E-plan, skal du fremhæve datakilder, der ofte vises. Du kan f.eks. udvikle spørgeundersøgelser, der opfylder dataindsamlingskravene for mange spørgsmål.
overvej også at ombestille m& e-planen på flere måder, f.eks. Til sidst skal du gennemgå denne tjekliste. Er din M&e plan:
- fokus på de vigtigste evalueringsspørgsmål og evalueringspublikummet?
- fange alt, hvad du behøver at vide for at gøre en meningsfuld evaluering af projektet?
- stiller kun relevante overvågningsspørgsmål og undgår indsamling af unødvendige data?
- ved du, hvordan data vil blive analyseret, brugt og rapporteret?
- arbejde inden for dit budget og andre ressourcer?
- Identificer de færdigheder, der kræves for at udføre dataindsamling og analyse?