Utveckla en övervaknings-och utvärderingsplan
en övervaknings-och utvärderingsplan (M&E) är en guide till vad du ska utvärdera, vilken information du behöver och vem du utvärderar för.
planen beskriver de viktigaste utvärderingsfrågorna och de detaljerade övervakningsfrågorna som hjälper till att svara på utvärderingsfrågorna. Detta gör att du kan identifiera den information du behöver samla in och hur du kan samla in den. Beroende på detaljerna i m&E-planen kan du identifiera de personer som ansvarar för olika uppgifter samt tidslinjer. Planen bör kunna hämtas av alla som är involverade i projektet när som helst och vara tydliga om vad som händer när det gäller övervakning och utvärdering.
det är också viktigt att komma ihåg att det finns många typer av utvärdering.
en utvärderingsplan bör helst göras i planeringsstadiet av ett projekt, innan du påbörjar genomförandet. Detta gör att du kan planera i förväg och datainsamlingsaktiviteter som du kan behöva genomföra, till exempel undersökningar före intervention. Det är dock aldrig för sent att utveckla en m&E-plan. Retro-montering av en m&E-plan till ett befintligt projekt kan bara innebära att du kan vara begränsad i några av de data som du kan samla in.
hur man utvecklar en övervaknings – och utvärderingsplan
en kort handledning om hur man utvecklar en m&E-plan-öppnas i PowerPoint
Steg 1. Identifiera din utvärderingspublik
identifiera vem utvärderingspubliken eller intressenterna är. Utvärderingspubliken inkluderar de personer eller organisationer som kräver en utvärdering. Det kan finnas flera målgrupper, var och en med sina egna krav. Vanligtvis inkluderar detta finansieringsorganet och kan också inkludera partnerorganisationer, rådet (eller rådsmedlemmarna), projektgruppen och projektets deltagare eller målgrupp. Kom ihåg att utvärdering i allmänhet genomförs för ansvarighet eller lärande, och helst båda tillsammans.
om du har begränsade medel för utvärdering kan du behöva prioritera din utvärdering genom att identifiera vem som är de viktigaste personerna att rapportera till.
ladda ner M&E publik och utvärderingsfrågor Mall
steg 2. Definiera utvärderingsfrågorna
utvärderingsfrågor ska utvecklas i förväg och i samarbete med den primära publiken och andra intressenter som du tänker rapportera till. Utvärderingsfrågor går utöver mätningar för att ställa frågor om högre ordning, till exempel om ingripandet är värt det, eller om det kunde ha uppnåtts på ett annat sätt (se exempel nedan). Sammantaget bör utvärderingsfrågor leda till ytterligare åtgärder, såsom projektförbättring, projektintegrering eller projektredesign.
du bör också i detta skede identifiera om utvärderingspubliken har specifika tidslinjer som kräver en utvärderingsrapport. Detta kommer att vara en viktig faktor för att bestämma vad du kan och inte kan samla in.
när du utformar dina resultatfokuserade utvärderingsfrågor, håll dem öppna. T. ex. ”I vilken utsträckning gjorde…”
breda typer av utvärderingsfrågor efter fokusområde
anpassad från: Davidson & Wehipeihana (2010)
| fokus för utvärdering | Utvärderingsfråga |
|---|---|
| Process |
hur väl var projektet utformat och genomfört (dvs. dess kvalitet) |
| utfall |
i vilken utsträckning uppfyllde projektet de övergripande behoven? var det någon signifikant förändring och i vilken utsträckning var det hänförligt till projektet? hur värdefulla är resultaten för organisationen, andra intressenter och deltagare? |
| lärdomar |
vad fungerade och vad gjorde det inte? vad var oavsiktliga konsekvenser? vad var emergent egenskaper? |
| investering |
var projektet kostnadseffektivt? fanns det ett annat alternativ som kan ha representerat en bättre investering? |
| vad nästa |
kan projektet skalas upp? kan projektet replikeras någon annanstans? är förändringen självbärande eller kräver den fortsatt ingripande? |
| förändringsteori |
har projektet en förändringsteori? återspeglas teorin om förändring i programlogiken? Hur kan programlogiken informera forskningsfrågorna? |
ett annat sätt att klassificera breda utvärderingsfrågor presenteras nedan.
anpassad från: Byrån för samarbete i Europa
| fokus för utvärdering | Utvärderingsfråga |
|---|---|
| relevans |
uppfyller workshopens ämne och innehåll målgruppens informationsbehov? i vilken utsträckning är interventionsmålet i linje med gemenskapens behov och prioriteringar? |
| effektivitet |
ledde engagemangsmetoden som användes i detta projekt till liknande antal deltagare som tidigare eller andra program till en jämförbar eller lägre kostnad? har de dyrare engagemangsmetoderna lett till bättre resultat än de billigare engagemangsmetoderna? |
| effektivitet |
i vilken utsträckning ledde seminarierna till ökat gemenskapsstöd för åtgärder för att hantera klimatförändringar? i vilken utsträckning uppmuntrade engagemangsmetoden målgruppen att delta i projektet? |
| utfall |
i vilken utsträckning har projektet lett till mer hållbara beteenden i målgruppen? fanns det några andra oavsiktliga positiva eller negativa resultat från projektet? |
| hållbarhet |
i vilken utsträckning har projektet lett till den långsiktiga beteendeförändringen? |
steg 3. Identifiera övervakningsfrågorna
för att kunna svara på utvärderingsfrågor måste övervakningsfrågor utvecklas som informerar vilka data som kommer att samlas in genom övervakningsprocessen. Övervakningsfrågor är ganska specifika i vad de frågar, jämfört med utvärderingsfrågor. Till exempel för en utvärderingsfråga om ”vad fungerade och vad gjorde det inte?”du kan ha flera specifika frågor som ”ledde verkstäderna till ökad kunskap om energieffektivitet i hemmet?”eller” installerade deltagarna vatteneffektiva duschhuvud”.
övervakningsfrågorna kommer helst att besvaras genom insamling av kvantitativa och kvalitativa data. Det är viktigt att inte hoppa rakt in i insamlingen av data utan att tänka på utvärderingsfrågorna. Hoppa rakt in kan leda till att samla in data som inte ger någon användbar information, vilket är slöseri med tid och pengar.
ladda ner M&E Planmall för att mata in informationen eller ladda ner en särskilt slutförd m&E planmall som innehåller exempel på utvärderingsfrågor, övervakningsfrågor, indikatorer och källor för ett återvinningsutbildningsprojekt.
om du har utvecklat en programlogik kan du använda detta för att börja identifiera relevanta övervakningsfrågor och indikatorer. Klicka här för att se hur.
när du har identifierat övervakningsfråga i din programlogik kan du överföra dem till din M&E-Planmall. Klicka här för att se hur.
en kort handledning om hur du extraherar information från din programlogik för att utveckla din m&E – plan-öppnas i PowerPoint
steg 4. Identifiera indikatorer och datakällor
nästa steg är att identifiera vilken information du behöver för att svara på dina övervakningsfrågor (indikatorer) och var denna information kommer ifrån (datakällor). Det är viktigt att överväga datainsamling, när det gäller typen av data och alla typer av forskningsdesign. Datakällor kan vara deltagare själva eller människors hem (t.ex. revision av belysningstyper) eller mätning, eller till och med litteratur. Du kan sedan välja den lämpligaste metoden för att samla in data från datakällan.
utvärderingsverktygsväljaren är där för att hjälpa dig att välja en lämplig metod för dina behov.
det är viktigt att se till att din utvärderingsram är kulturellt lämplig. När du arbetar med kulturella och språkligt olika (CALD) samhällen, överväga att involvera samhällsrepresentanter eller kulturexperter i utvärderingsramen för att säkerställa att datainsamlingsmetoder är lämpliga (känsliga och förstådda) för målgruppen. För vidare läsning, titta på den äkta Utvärderingsbloggen
Steg 5. Identifiera vem som är ansvarig för datainsamling och tidslinjer
det är tillrådligt att tilldela ansvaret för datainsamlingen så att alla är fria från sina roller och ansvarsområden. Detta gör det också möjligt för ny personal att komma in i projektet och få en känsla av vem som är ansvarig för vad, och vad de kan behöva ta på sig och när.
insamling av övervakningsdata kan ske regelbundet under korta intervaller, eller mindre regelbundet, såsom halvårsvis eller årligen. Återigen begränsar tilldelning av tidslinjer ursäkten att ’inte veta’.
du kanske också vill notera eventuella krav som behövs för att samla in data (personal, budget etc). Det är lämpligt att ha en uppfattning om kostnaden för övervakning, eftersom du kan ha bra ideer att samla in mycket information, bara för att ta reda på att du inte har råd med allt. I ett sådant fall måste du antingen prioritera eller hitta lite pengar någon annanstans (ledsen men vi har inget speciellt verktyg för det).
steg 6. Identifiera vem som ska utvärdera data, hur det kommer att rapporteras och när
detta steg är valfritt men rekommenderas starkt, eftersom det kommer att avrunda m&E-planen som ett komplett dokument. Att komma ihåg att utvärdering är den subjektiva bedömningen av ett projekts värde, det är viktigt att identifiera vem som kommer att göra denna subjektiva bedömning. I de flesta fall kommer det att vara projektgruppen, men i vissa fall kan du involvera andra intressenter inklusive målgruppen eller deltagarna. Du kan också överväga att outsourca en viss del av utvärderingen till en extern eller oberoende part.
för att en utvärdering ska kunna användas (och därför användbar) är det viktigt att presentera resultaten i ett format som är lämpligt för publiken. Det kan innebära en kort rapport, eller ett memo, eller till och med en affisch eller ett nyhetsbrev. Som sådan rekommenderas att du överväger hur du kommer att presentera din utvärdering från början, så att du kan skräddarsy sättet att presentera dina resultat till presentationsformatet (som grafer, tabeller, text, bilder).
Steg 7. Granska m&E plan
när du har slutfört din m&E plan, markera datakällor som visas ofta. Du kan till exempel utveckla enkäter som uppfyller datainsamlingskraven för många frågor.
överväg också att ombeställa m&E-Planen på flera sätt, till exempel efter datakälla eller efter tidsram för datainsamling. Slutligen, gå igenom denna checklista. Planerar din m&E:
- fokusera på de viktigaste utvärderingsfrågorna och utvärderingspubliken?
- fånga allt du behöver veta för att göra en meningsfull utvärdering av projektet?
- ställer bara relevanta övervakningsfrågor och undviker insamling av onödiga data?
- vet du hur data kommer att analyseras, användas och rapporteras?
- arbeta inom din budget och andra resurser?
- identifiera de färdigheter som krävs för att genomföra datainsamling och analys?