Sviluppare un piano di monitoraggio e valutazione
Un piano di monitoraggio e valutazione (M& E) è una guida su cosa dovresti valutare, quali informazioni hai bisogno e per chi stai valutando.
Il piano delinea le domande chiave di valutazione e le domande di monitoraggio dettagliate che aiutano a rispondere alle domande di valutazione. Ciò consente di identificare le informazioni necessarie per raccogliere e come è possibile raccoglierle. A seconda dei dettagli del piano M&E, è possibile identificare le persone responsabili di compiti diversi, nonché le scadenze. Il piano dovrebbe essere in grado di essere raccolto da chiunque sia coinvolto nel progetto in qualsiasi momento ed essere chiaro su ciò che sta accadendo in termini di monitoraggio e valutazione.
È anche importante ricordare che esistono molti tipi di valutazione.
Un piano di valutazione dovrebbe idealmente essere fatto nella fase di pianificazione di un progetto, prima di iniziare l’implementazione. Ciò ti consentirà di pianificare in anticipo le attività di raccolta dei dati che potresti dover intraprendere, come le indagini pre-intervento. Tuttavia, non è mai troppo tardi per sviluppare un piano M&E. Il retro-adattamento di un piano M&E a un progetto esistente potrebbe significare solo che potresti essere vincolato in alcuni dei dati che puoi raccogliere.
Come Sviluppare un Piano di Monitoraggio e Valutazione
Un breve tutorial su come sviluppare un M&E piano – si apre in PowerPoint
Passo 1. Identificare il pubblico di valutazione
Identificare chi sono il pubblico di valutazione o gli stakeholder. Il pubblico di valutazione comprende le persone o le organizzazioni che richiedono una valutazione da condurre. Ci possono essere più tipi di pubblico, ognuno con le proprie esigenze. In genere, questo include l’agenzia di finanziamento e può includere anche organizzazioni partner, il Consiglio (o consiglieri), il team di progetto e i partecipanti o il gruppo target del progetto. Ricorda che la valutazione è generalmente intrapresa per responsabilità, o apprendimento, e preferibilmente entrambi insieme.
Se si dispone di fondi limitati per la valutazione, potrebbe essere necessario dare la priorità alla valutazione identificando chi sono le persone più importanti a cui riferire.
Scarica M&E Audience e Domande di valutazione Template
Passo 2. Definire le domande di valutazione
Le domande di valutazione devono essere sviluppate in anticipo e in collaborazione con il pubblico primario(s) e altre parti interessate che si intende riferire a. Le domande di valutazione vanno oltre le misurazioni per porre domande di ordine superiore come se l’intervento valesse la pena o se fosse stato realizzato in un altro modo (vedi esempi sotto). Nel complesso, le questioni di valutazione dovrebbero condurre a ulteriori azioni come il miglioramento del progetto, l’integrazione o la riprogettazione del progetto.
Si dovrebbe anche identificare in questa fase se il pubblico di valutazione ha scadenze specifiche in base alle quali richiede un rapporto di valutazione. Questo sarà un fattore importante nel decidere che cosa si può e non può raccogliere.
Quando si inquadrano le domande di valutazione focalizzate sul risultato, tenerle aperte. Ad Es. “Fino a che punto ha fatto…”
Ampi tipi di domande di valutazione per area di interesse
Adattato da: Davidson & Wehipeihana (2010)
| Focus di Valutazione | domanda di Valutazione |
|---|---|
| Processo |
Come era il progetto ideato e implementato (cioè la sua qualità) |
| Risultato |
in che misura il progetto ha raggiunto i bisogni? C’è stato un cambiamento significativo e in che misura è attribuibile al progetto? Quanto sono preziosi i risultati per l’organizzazione, gli altri stakeholder e i partecipanti? |
| Apprendimenti |
Cosa ha funzionato e cosa no? Quali sono state le conseguenze indesiderate? Quali erano le proprietà emergenti? |
| Investimento |
Il progetto è stato redditizio? C’era un’altra alternativa che avrebbe potuto rappresentare un investimento migliore? |
| Che cosa dopo |
il progetto può essere scalato? Il progetto può essere replicato altrove? Il cambiamento è autosufficiente o richiede un intervento continuo? |
| Teoria del cambiamento |
Il progetto ha una teoria del cambiamento? La teoria del cambiamento si riflette nella logica del programma? Come può la logica del programma informare le domande di ricerca? |
Un altro modo per classificare le domande di valutazione di ampio respiro è presentato di seguito.
Adattato da: Ufficio Europeo di cooperazione agli aiuti
| Focus della valutazione | Domanda di valutazione |
|---|---|
| Rilevanza |
L’argomento e i contenuti del workshop soddisfano le esigenze informative del gruppo target? In che misura l’obiettivo di intervento è in linea con le esigenze e le priorità della comunità? |
| Efficienza |
Il metodo di coinvolgimento utilizzato in questo progetto ha portato a un numero di partecipanti simile a quello dei programmi precedenti o di altri programmi a un costo comparabile o inferiore? Gli approcci di engagement più costosi hanno portato a risultati migliori rispetto agli approcci di engagement meno costosi? |
| Efficacia |
In che misura i workshop hanno portato ad un maggiore sostegno comunitario all’azione volta a contrastare il cambiamento climatico? In che misura il metodo di engagement ha incoraggiato il gruppo target a partecipare al progetto? |
| Risultato |
In che misura il progetto ha portato a comportamenti più sostenibili nel gruppo target? Ci sono stati altri risultati positivi o negativi non intenzionali dal progetto? |
| Sostenibilità |
In che misura il progetto ha portato al cambiamento di comportamento a lungo termine? |
Punto 3. Identificare le domande di monitoraggio
Per rispondere alle domande di valutazione, è necessario sviluppare domande di monitoraggio che informino quali dati saranno raccolti attraverso il processo di monitoraggio. Le domande di monitoraggio sono piuttosto specifiche in ciò che chiedono, rispetto alle domande di valutazione. Ad esempio, per una domanda di valutazione di ” Cosa ha funzionato e cosa no?”potresti avere diverse domande specifiche come “I workshop hanno portato a una maggiore conoscenza sull’efficienza energetica in casa?”o” I partecipanti hanno installato soffioni efficienti per l’acqua”.
Le domande di monitoraggio riceveranno idealmente risposta attraverso la raccolta di dati quantitativi e qualitativi. È importante non saltare direttamente nella raccolta dei dati, senza pensare alle domande di valutazione. Saltare dritto può portare a raccogliere dati che non forniscono informazioni utili, il che è uno spreco di tempo e denaro.
Scarica il modello di piano M&E per inserire le informazioni o scarica un modello di piano M &E completato in modo particolare che include domande di valutazione di esempio, domande di monitoraggio, indicatori e fonti per un progetto di educazione al riciclaggio sul marciapiede.
Se è stata sviluppata una logica di programma, è possibile utilizzarla per iniziare a identificare le domande e gli indicatori di monitoraggio pertinenti. Clicca qui per vedere come.
Una volta identificata la domanda di monitoraggio nella logica del programma, è possibile trasferirli nel modello di piano M&E. Clicca qui per vedere come.
Un breve tutorial su come estrarre informazioni dalla logica del programma per sviluppare il piano M&E – si apre in PowerPoint
Passo 4. Identificare gli indicatori e le fonti di dati
Il passo successivo è identificare le informazioni necessarie per rispondere alle domande di monitoraggio (indicatori) e da dove provengono queste informazioni (fonti di dati). È importante considerare la raccolta dei dati, in termini di tipo di dati e qualsiasi tipo di progettazione della ricerca. Le fonti di dati potrebbero essere partecipanti stessi, o case delle persone(ad es. verifica dei tipi di illuminazione) o di misurazione, o anche la letteratura. È quindi possibile decidere il metodo più appropriato per raccogliere i dati dall’origine dati.
Il selettore strumento di valutazione è lì per aiutarvi a selezionare un metodo appropriato per le vostre esigenze.
È importante assicurarsi che il quadro di valutazione sia culturalmente appropriato. Quando si lavora con comunità Culturall e linguisticamente diverse (CALD), valutare la possibilità di coinvolgere rappresentanti della comunità o esperti culturali nel quadro di valutazione per garantire che i metodi di raccolta dei dati siano appropriati (sensibili e compresi) al gruppo target. Per ulteriori letture, guarda il blog di valutazione genuina
Passaggio 5. Identificare chi è responsabile per la raccolta dei dati e le tempistiche
Si consiglia di assegnare la responsabilità per la raccolta dei dati in modo che tutti siano chiari dei loro ruoli e responsabilità. Ciò consente anche al nuovo personale di entrare nel progetto e di capire chi è responsabile di cosa, cosa potrebbe dover assumere e quando.
La raccolta di dati di monitoraggio può avvenire regolarmente a intervalli brevi, o meno regolarmente, come semestrale o annuale. Ancora una volta, l’assegnazione di linee temporali limita la scusa del “non sapere”.
Puoi anche prendere nota di tutti i requisiti necessari per raccogliere i dati (personale, budget, ecc.). Si consiglia di avere qualche idea del costo associato con il monitoraggio, come si può avere grandi idee per raccogliere un sacco di informazioni, solo per scoprire che non si può permettere tutto. In tal caso, dovrai dare la priorità o trovare dei soldi altrove (mi dispiace ma non abbiamo uno strumento speciale per questo).
Punto 6. Identificare chi valuterà i dati, come verranno segnalati e quando
Questo passaggio è facoltativo ma altamente raccomandato, in quanto completerà il piano M&E come documento completo. Ricordando che la valutazione è la valutazione soggettiva del valore di un progetto, è importante identificare chi effettuerà questa “valutazione soggettiva”. Nella maggior parte dei casi, sarà il team di progetto, ma in alcuni casi, si può coinvolgere altre parti interessate, tra cui il gruppo target o partecipanti. Si può anche considerare l’esternalizzazione di una particolare parte della valutazione a una parte esterna o indipendente.
Per una valutazione da utilizzare (e quindi utile) è importante presentare i risultati in un formato appropriato al pubblico. Questo può significare un breve rapporto, o un memo, o anche un poster o newsletter. Pertanto, si consiglia di considerare come presentare la valutazione fin dall’inizio, in modo da poter adattare il modo di presentare i risultati al formato di presentazione (come grafici, tabelle, testo, immagini).
Punto 7. Rivedere il piano M&E
Una volta completato il piano M&E, evidenziare le origini dati che appaiono frequentemente. Ad esempio, potresti essere in grado di sviluppare sondaggi che soddisfano i requisiti di raccolta dei dati per molte domande.
Considera anche di riordinare il piano M &E in diversi modi, ad esempio per origine dati o per tempi di raccolta dei dati. Infine, passare attraverso questa lista di controllo. Il tuo piano M&E:
- Concentrarsi sulle domande chiave di valutazione e il pubblico di valutazione?
- Cattura tutto ciò che devi sapere per fare una valutazione significativa del progetto?
- Pone solo domande di monitoraggio pertinenti ed evita la raccolta di dati non necessari?
- Know how i dati saranno analizzati, utilizzati e segnalati?
- Lavora all’interno del tuo budget e di altre risorse?
- Identificare le competenze necessarie per condurre la raccolta e l’analisi dei dati?