Vypracování plánu monitorování a hodnocení
plán monitorování a hodnocení (M&E) je návodem k tomu, co byste měli vyhodnotit, jaké informace potřebujete a pro koho hodnotíte.
plán popisuje klíčové hodnotící otázky a podrobné monitorovací otázky, které pomáhají odpovědět na hodnotící otázky. To vám umožní identifikovat informace, které potřebujete shromáždit, a jak je můžete sbírat. V závislosti na detailu plánu m&E můžete identifikovat osoby odpovědné za různé úkoly a časové osy. Plán by měl být schopen kdykoli vyzvednout kdokoli, kdo se na projektu podílí, a mít jasno v tom, co se děje, pokud jde o monitorování a hodnocení.
je také důležité si uvědomit, že existuje mnoho typů hodnocení.
plán hodnocení by měl být v ideálním případě proveden ve fázi plánování projektu před zahájením implementace. To vám umožní plánovat dopředu a činnosti sběru dat, které budete možná muset provést, jako jsou průzkumy před intervencí. Nikdy však není příliš pozdě na vypracování plánu m&E. Dodatečné přizpůsobení plánu M&E stávajícímu projektu může znamenat, že můžete být omezeni v některých datech, které můžete shromažďovat.
jak vytvořit plán monitorování a hodnocení
krátký návod, jak vytvořit plán m&e-otevře se v aplikaci PowerPoint
Krok 1. Identifikujte své hodnotící publikum
určete, kdo jsou hodnotící publikum nebo zúčastněné strany. Mezi hodnotící publikum patří lidé nebo organizace, které vyžadují provedení hodnocení. Může existovat více publika, z nichž každý má své vlastní požadavky. Obvykle to zahrnuje finanční agenturu a může také zahrnovat partnerské organizace, radu (nebo Radní), projektový tým a účastníky nebo cílovou skupinu projektu. Pamatujte, že hodnocení se obecně provádí za účelem odpovědnosti, nebo učení, a nejlépe oba společně.
pokud máte omezené finanční prostředky na hodnocení, možná budete muset upřednostnit své hodnocení tím, že určíte, kdo jsou nejdůležitější lidé, kterým se mají hlásit.
stáhnout M&e šablona otázek pro publikum a hodnocení
Krok 2. Definujte hodnotící otázky
evaluační otázky by měly být vypracovány předem a ve spolupráci s primárním publikem a dalšími zúčastněnými stranami, kterým chcete podat zprávu. Hodnotící otázky přesahují měření a kladou otázky vyššího řádu, například zda zásah stojí za to, nebo by mohl být dosažen jiným způsobem(viz příklady níže). Celkově by Otázky hodnocení měly vést k dalším krokům, jako je zlepšení projektu, mainstreaming projektu nebo redesign projektu.
v této fázi byste také měli zjistit, zda má hodnotící publikum konkrétní časové osy, podle kterých vyžaduje hodnotící zprávu. To bude hlavním faktorem při rozhodování o tom, co můžete a nemůžete sbírat.
při vytváření hodnotících otázek zaměřených na výsledky je udržujte otevřené. Ego. „Do jaké míry to udělal…“
široké typy hodnotících otázek podle oblasti zaostření
přizpůsobeno z: Davidson & Wehipeihana (2010)
| zaměření hodnocení | hodnotící otázka |
|---|---|
| proces |
jak dobře byl projekt navržen a realizován (tj. jeho kvalita) |
| výsledek |
do jaké míry projekt splnil celkové potřeby? došlo k nějaké významné změně a do jaké míry to bylo způsobeno projektem? jak cenné jsou výsledky pro organizaci, ostatní zúčastněné strany a účastníky? |
| učení |
co fungovalo a co ne? jaké byly nezamýšlené důsledky? jaké byly vznikající vlastnosti? |
| investice |
byl projekt nákladově efektivní? existovala jiná alternativa, která mohla představovat lepší investici? |
| co dál |
může být Projekt zvětšen? lze Projekt replikovat i jinde? je změna soběstačná nebo vyžaduje pokračující zásah? |
| teorie změny |
má projekt teorii změny? odráží se teorie změny v programové logice? jak může programová logika informovat výzkumné otázky? |
další způsob klasifikace širokých hodnotících otázek je uveden níže.
upraveno z: Europe Aid Cooperation Office
| zaměření hodnocení | hodnotící otázka |
|---|---|
| Relevance |
splňuje téma a obsah Workshopu informační potřeby cílové skupiny? do jaké míry je cíl intervence v souladu s potřebami a prioritami Společenství? |
| účinnost |
vedla metoda zapojení použitá v tomto projektu k podobnému počtu účastníků jako předchozí nebo jiné programy za srovnatelné nebo nižší náklady? vedly dražší přístupy k zapojení k lepším výsledkům než levnější přístupy k zapojení? |
| účinnost |
do jaké míry vedly workshopy ke zvýšení podpory Společenství pro opatření v boji proti změně klimatu? do jaké míry motivovala metoda zapojení cílovou skupinu k účasti na projektu? |
| výsledek |
do jaké míry projekt vedl k udržitelnějšímu chování v cílové skupině? byly z projektu nějaké další nezamýšlené pozitivní nebo negativní výsledky? |
| udržitelnost |
do jaké míry projekt vedl k dlouhodobé změně chování? |
Krok 3. Identifikujte monitorovací otázky
aby bylo možné odpovědět na hodnotící otázky, musí být vypracovány monitorovací otázky, které budou informovat o tom, jaké údaje budou shromažďovány prostřednictvím monitorovacího procesu. Monitorovací otázky jsou zcela specifické v tom, co se ptají, ve srovnání s hodnotícími otázkami. Například pro hodnotící otázku “ co fungovalo a co ne?“možná máte několik konkrétních otázek, například“ vedly workshopy ke zvýšení znalostí o energetické účinnosti v domácnosti?“nebo“ instalovali účastníci vodní sprchy“.
monitorovací otázky budou v ideálním případě zodpovězeny prostřednictvím sběru kvantitativních a kvalitativních údajů. Je důležité neskočit přímo do sběru dat, aniž byste přemýšleli o hodnotících otázkách. Skákání přímo může vést ke sběru dat, která neposkytují žádné užitečné informace, což je ztráta času a peněz.
Stáhněte si šablonu plánu m&E pro zadání informací nebo stáhněte částečnou vyplněnou šablonu plánu m&E, která obsahuje otázky hodnocení vzorků, monitorovací otázky, ukazatele a zdroje pro vzdělávací projekt recyklující obrubníky.
pokud jste vyvinuli programovou logiku, můžete ji použít k zahájení identifikace relevantních monitorovacích otázek a indikátorů. Kliknutím sem zobrazíte jak.
jakmile identifikujete monitorovací otázku ve své programové logice, můžete je přenést do šablony plánu m&e. Kliknutím sem zobrazíte jak.
krátký návod, jak extrahovat informace z vaší programové logiky pro rozvoj vašeho plánu m&e-otevře se v aplikaci PowerPoint
Krok 4. Identifikujte indikátory a zdroje dat
dalším krokem je zjistit, jaké informace potřebujete k zodpovězení vašich monitorovacích otázek (indikátorů) a odkud tyto informace pocházejí (zdroje dat). Je důležité zvážit sběr dat, pokud jde o typ dat a všechny typy návrhu výzkumu. Zdroje dat mohou být samotní účastníci, nebo domovy lidí (např. audit typů osvětlení) nebo měření, nebo dokonce literatura. Poté se můžete rozhodnout pro nejvhodnější metodu sběru dat ze zdroje dat.
volič hodnotících nástrojů vám pomůže při výběru vhodné metody pro vaše potřeby.
je důležité zajistit, aby váš hodnotící rámec byl kulturně vhodný. Při práci s kulturními a jazykově rozmanitými komunitami (CALD) zvažte zapojení zástupců komunity nebo kulturních odborníků do hodnotícího rámce, aby bylo zajištěno, že metody sběru dat jsou vhodné (citlivé a srozumitelné) pro cílovou skupinu. Pro další čtení se podívejte na skutečný hodnotící blog
Krok 5. Určete, kdo je zodpovědný za sběr dat a časové osy
je vhodné přiřadit odpovědnost za sběr dat tak, aby každý měl jasno ve svých rolích a odpovědnostech. To také umožňuje novým zaměstnancům vstoupit do projektu a získat představu o tom, kdo je za co zodpovědný, a co možná budou muset převzít a kdy.
sběr dat z monitorování může probíhat pravidelně v krátkých intervalech nebo méně pravidelně, například pololetně nebo ročně. Přiřazení časových os opět omezuje výmluvu „nevědět“.
můžete si také všimnout všech požadavků, které jsou potřebné ke shromažďování údajů (zaměstnanci, rozpočet atd.). Je vhodné mít nějakou představu o nákladech spojených s monitorováním, protože můžete mít skvělé nápady, jak shromáždit spoustu informací, jen abyste zjistili,že si to všechno nemůžete dovolit. V takovém případě budete muset buď upřednostnit, nebo najít nějaké peníze jinde (Omlouvám se, ale na to nemáme žádný speciální nástroj).
Krok 6. Určete, kdo vyhodnotí data, jak budou nahlášena a kdy
tento krok je volitelný, ale vysoce doporučený, protože zaokrouhlí plán M&E jako úplný dokument. Vzhledem k tomu, že hodnocení je subjektivním hodnocením hodnoty projektu, je důležité určit, kdo bude toto „subjektivní hodnocení“ provádět. Ve většině případů to bude projektový tým, ale v některých případech můžete zapojit další zúčastněné strany včetně cílové skupiny nebo účastníků. Můžete také zvážit outsourcing konkrétní části hodnocení externí nebo nezávislé straně.
pro hodnocení, které má být použito (a proto užitečné), je důležité prezentovat zjištění ve formátu, který je vhodný pro publikum. To může znamenat krátkou zprávu nebo poznámku nebo dokonce plakát nebo zpravodaj. Proto se doporučuje zvážit, jak budete prezentovat své hodnocení od začátku, abyste mohli přizpůsobit způsob prezentace svých zjištění formátu prezentace (například grafy, tabulky, text, obrázky).
Krok 7. Zkontrolujte plán M&e
Jakmile dokončíte plán M&e, zvýrazněte zdroje dat, které se často objevují. Můžete například vytvořit průzkumy, které splňují požadavky na sběr dat pro mnoho otázek.
zvažte také opětovné objednání plánu m&E několika způsoby, například podle zdroje dat nebo časového rámce sběru dat. Nakonec projděte tento kontrolní seznam. Má váš plán m&e:
- zaměřit se na klíčové otázky hodnocení a hodnocení publika?
- zachytit vše, co potřebujete vědět, abyste mohli smysluplně zhodnotit projekt?
- klade pouze relevantní monitorovací otázky a vyhýbá se shromažďování nepotřebných dat?
- víte, jak budou data analyzována, použita a vykazována?
- pracujte v rámci svého rozpočtu a dalších zdrojů?
- Identifikujte dovednosti potřebné k provádění sběru a analýzy dat?