Entwicklung eines Monitoring- und Evaluierungsplans
Ein Monitoring- und Evaluierungsplan (M& E) ist ein Leitfaden dafür, was Sie bewerten sollten, welche Informationen Sie benötigen und für wen Sie evaluieren.
Der Plan beschreibt die wichtigsten Bewertungsfragen und die detaillierten Überwachungsfragen, die zur Beantwortung der Bewertungsfragen beitragen. Auf diese Weise können Sie identifizieren, welche Informationen Sie sammeln müssen und wie Sie sie sammeln können. Abhängig von den Details des M& E-Plans können Sie die Personen identifizieren, die für verschiedene Aufgaben verantwortlich sind, sowie Zeitpläne. Der Plan sollte jederzeit von allen Projektbeteiligten aufgegriffen werden können und klar sein, was in Bezug auf Überwachung und Bewertung geschieht.
Es ist auch wichtig, sich daran zu erinnern, dass es viele Arten der Bewertung gibt.
Ein Evaluierungsplan sollte idealerweise in der Planungsphase eines Projekts erstellt werden, bevor Sie mit der Implementierung beginnen. Auf diese Weise können Sie im Voraus planen und Datenerfassungsaktivitäten durchführen, die Sie möglicherweise durchführen müssen, z. B. Umfragen vor der Intervention. Es ist jedoch nie zu spät, einen M& E-Plan zu entwickeln. Das Nachrüsten eines M & E-Plans an ein vorhandenes Projekt kann nur bedeuten, dass Sie in einigen der Daten, die Sie sammeln können, eingeschränkt sind.
So entwickeln Sie einen Monitoring- und Evaluierungsplan
Ein kurzes Tutorial zur Entwicklung eines M&E-Plans – öffnet sich in PowerPoint
Schritt 1. Identifizieren Sie Ihre Evaluierungspublikum
Identifizieren Sie, wer die Evaluierungspublikum oder Stakeholder sind. Das Evaluierungspublikum umfasst die Personen oder Organisationen, die eine Evaluierung benötigen. Es kann mehrere Zielgruppen geben, jede mit ihren eigenen Anforderungen. In der Regel umfasst dies die Förderagentur, aber auch Partnerorganisationen, den Rat (oder die Räte), das Projektteam und die Projektteilnehmer oder die Zielgruppe. Denken Sie daran, dass die Bewertung im Allgemeinen aus Gründen der Rechenschaftspflicht oder des Lernens durchgeführt wird, und vorzugsweise beides zusammen.
Wenn Sie nur über begrenzte Mittel für die Bewertung verfügen, müssen Sie Ihre Bewertung möglicherweise priorisieren, indem Sie ermitteln, wer die wichtigsten Personen sind, denen Sie Bericht erstatten müssen.
Download M&E Vorlage für Publikums- und Bewertungsfragen
Schritt 2. Definieren Sie die Bewertungsfragen
Bewertungsfragen sollten im Voraus und in Zusammenarbeit mit den primären Zielgruppen und anderen Interessengruppen entwickelt werden, an die Sie berichten möchten. Bewertungsfragen gehen über Messungen hinaus, um Fragen höherer Ordnung zu stellen, z. B. ob sich die Intervention lohnt oder auf andere Weise hätte erreicht werden können (siehe Beispiele unten). Insgesamt sollten Bewertungsfragen zu weiteren Maßnahmen wie Projektverbesserung, Projektmainstreaming oder Projektneugestaltung führen.
Sie sollten zu diesem Zeitpunkt auch feststellen, ob die Bewertungsaudience bestimmte Zeitpläne hat, innerhalb derer sie einen Bewertungsbericht benötigt. Dies wird ein wichtiger Faktor bei der Entscheidung sein, was Sie sammeln können und was nicht.
Wenn Sie Ihre ergebnisorientierten Bewertungsfragen formulieren, halten Sie sie offen. Z. „In welchem Umfang hat…“
Breite Arten von Bewertungsfragen nach Schwerpunkten
Angepasst an: Davidson & Wehipeihana (2010)
| Bewertungsschwerpunkt | Bewertungsfrage |
|---|---|
| Prozess |
Wie gut wurde das Projekt konzipiert und umgesetzt (d.h. seine Qualität) |
| Ergebnis |
Inwieweit entsprach das Projekt den Gesamtanforderungen? Gab es eine wesentliche Änderung und inwieweit war sie auf das Projekt zurückzuführen? Wie wertvoll sind die Ergebnisse für die Organisation, andere Stakeholder und Teilnehmer? |
| Learnings |
Was hat funktioniert und was nicht? Was waren unbeabsichtigte Folgen? Was waren emergente Eigenschaften? |
| Investition |
War das Projekt kostengünstig? Gab es eine andere Alternative, die möglicherweise eine bessere Investition darstellte? |
| Was als nächstes |
Kann das Projekt skaliert werden? Kann das Projekt an anderer Stelle repliziert werden? Ist die Veränderung selbsttragend oder erfordert sie fortgesetzte Intervention? |
| Theorie der Veränderung |
Hat das Projekt eine Theorie der Veränderung? Spiegelt sich die Theorie der Veränderung in der Programmlogik wider? Wie kann die Programmlogik die Forschungsfragen informieren? |
Eine andere Möglichkeit, breite Bewertungsfragen zu klassifizieren, wird im Folgenden vorgestellt.
Angepasst von: Amt für Entwicklungszusammenarbeit
| Bewertungsschwerpunkt | Bewertungsfrage |
|---|---|
| Relevanz |
Entspricht das Workshop-Thema und die Inhalte dem Informationsbedarf der Zielgruppe? Inwieweit entspricht das Interventionsziel den Bedürfnissen und Prioritäten der Gemeinschaft? |
| Effizienz |
Führte die in diesem Projekt verwendete Engagement-Methode zu ähnlichen Teilnehmerzahlen wie frühere oder andere Programme zu vergleichbaren oder geringeren Kosten? Haben die teureren Engagement-Ansätze zu besseren Ergebnissen geführt als die weniger teuren Engagement-Ansätze? |
| Wirksamkeit |
Inwieweit haben die Workshops zu einer verstärkten Unterstützung der Gemeinschaft für Maßnahmen zur Bekämpfung des Klimawandels geführt? Inwieweit hat die Methode des Engagements die Zielgruppe ermutigt, sich am Projekt zu beteiligen? |
| Ergebnis |
Inwieweit hat das Projekt zu nachhaltigerem Verhalten in der Zielgruppe geführt? Gab es andere unbeabsichtigte positive oder negative Ergebnisse des Projekts? |
| Nachhaltigkeit |
Inwieweit hat das Projekt zu einer langfristigen Verhaltensänderung geführt? |
Schritt 3. Identifizieren Sie die Überwachungsfragen
Um Bewertungsfragen zu beantworten, müssen Überwachungsfragen entwickelt werden, die darüber informieren, welche Daten im Rahmen des Überwachungsprozesses gesammelt werden. Überwachungsfragen sind im Vergleich zu Bewertungsfragen sehr spezifisch in dem, was sie stellen. Zum Beispiel für eine Bewertungsfrage „Was hat funktioniert und was nicht?“ möglicherweise haben Sie mehrere spezifische Fragen wie „Haben die Workshops zu mehr Wissen über Energieeffizienz im Haushalt geführt?“ oder „Haben die Teilnehmer wassereffiziente Duschköpfe installiert“.
Die Monitoringfragen werden idealerweise durch die Erhebung quantitativer und qualitativer Daten beantwortet. Es ist wichtig, nicht direkt in die Sammlung von Daten zu springen, ohne über die Bewertungsfragen nachzudenken. Ein direkter Einstieg kann dazu führen, dass Daten gesammelt werden, die keine nützlichen Informationen liefern, was Zeit- und Geldverschwendung ist.
Laden Sie die M & E-Planvorlage herunter, um die Informationen einzugeben, oder laden Sie eine speziell ausgefüllte M& E-Planvorlage herunter, die Beispielbewertungsfragen, Überwachungsfragen, Indikatoren und Quellen für ein Recycling-Bildungsprojekt am Straßenrand enthält.
Wenn Sie eine Programmlogik entwickelt haben, können Sie damit beginnen, relevante Überwachungsfragen und Indikatoren zu identifizieren. Klicken Sie hier, um zu sehen, wie.
Sobald Sie diese Frage in Ihrer Programmlogik identifiziert haben, können Sie sie in Ihre M&E-Planvorlage übertragen. Klicken Sie hier, um zu sehen, wie.
Ein kurzes Tutorial, wie Sie Informationen aus Ihrer Programmlogik extrahieren können, um Ihren M&E-Plan zu entwickeln – öffnet sich in PowerPoint
Schritt 4. Identifizieren Sie die Indikatoren und Datenquellen
Im nächsten Schritt müssen Sie ermitteln, welche Informationen Sie zur Beantwortung Ihrer Überwachungsfragen benötigen (Indikatoren) und woher diese Informationen stammen (Datenquellen). Es ist wichtig, die Datenerhebung in Bezug auf die Art der Daten und jede Art von Forschungsdesign zu berücksichtigen. Datenquellen könnten die Menschen selbst sein, oder die Häuser der Menschen (zB. prüfung der Beleuchtungsarten) oder Metering oder sogar Literatur. Sie können dann die am besten geeignete Methode zum Sammeln der Daten aus der Datenquelle auswählen.
Der Evaluation Tool Selector unterstützt Sie bei der Auswahl einer geeigneten Methode für Ihre Bedürfnisse.
Es ist wichtig sicherzustellen, dass Ihr Bewertungsrahmen kulturell angemessen ist. Erwägen Sie bei der Arbeit mit kulturell und sprachlich vielfältigen (CALD) Gemeinschaften, Gemeindevertreter oder Kulturexperten in den Bewertungsrahmen einzubeziehen, um sicherzustellen, dass die Datenerhebungsmethoden für die Zielgruppe angemessen (sensibel und verständlich) sind. Weitere Informationen finden Sie im Genuine Evaluation Blog
Schritt 5. Identifizieren Sie, wer für die Datenerfassung und Zeitpläne verantwortlich ist
Es ist ratsam, die Verantwortung für die Datenerfassung zuzuweisen, damit sich jeder über seine Rollen und Verantwortlichkeiten im Klaren ist. Dies ermöglicht es auch neuen Mitarbeitern, in das Projekt einzusteigen und ein Gefühl dafür zu bekommen, wer für was verantwortlich ist und was sie wann übernehmen müssen.
Die Erfassung von Überwachungsdaten kann regelmäßig über kurze Intervalle oder weniger regelmäßig erfolgen, z. B. halbjährlich oder jährlich. Auch hier schränkt die Zuweisung von Zeitleisten die Entschuldigung des Nichtwissens ein.
Möglicherweise möchten Sie auch alle Anforderungen notieren, die für die Erfassung der Daten erforderlich sind (Personal, Budget usw.). Es ist ratsam, eine Vorstellung von den mit der Überwachung verbundenen Kosten zu haben, da Sie möglicherweise großartige Ideen haben, um viele Informationen zu sammeln, nur um herauszufinden, dass Sie sich nicht alles leisten können. In einem solchen Fall müssen Sie entweder Prioritäten setzen oder woanders Geld finden (Entschuldigung, aber wir haben kein spezielles Tool dafür).
Schritt 6. Identifizieren Sie, wer die Daten auswertet, wie sie gemeldet werden und wann
Dieser Schritt ist optional, wird jedoch dringend empfohlen, da er den M&E-Plan als vollständiges Dokument abrundet. Wenn man sich daran erinnert, dass Evaluation die subjektive Einschätzung des Projektwerts ist, ist es wichtig zu ermitteln, wer diese ’subjektive Bewertung‘ vornehmen wird. In den meisten Fällen wird es das Projektteam sein, aber in einigen Fällen können Sie andere Stakeholder einbeziehen, einschließlich der Zielgruppe oder der Teilnehmer. Sie können auch erwägen, einen bestimmten Teil der Bewertung an eine externe oder unabhängige Partei auszulagern.
Damit eine Evaluation genutzt (und damit sinnvoll) werden kann, ist es wichtig, die Ergebnisse in einem dem Publikum angemessenen Format zu präsentieren. Dies kann einen kurzen Bericht oder ein Memo oder sogar ein Poster oder einen Newsletter bedeuten. Daher wird empfohlen, dass Sie von Anfang an überlegen, wie Sie Ihre Bewertung präsentieren, damit Sie die Art und Weise, wie Sie Ihre Ergebnisse präsentieren, an das Präsentationsformat anpassen können (z. B. Grafiken, Tabellen, Text, Bilder).
Schritt 7. Überprüfen Sie den M&E-Plan
Nachdem Sie Ihren M&E-Plan abgeschlossen haben, markieren Sie Datenquellen, die häufig angezeigt werden. Zum Beispiel können Sie Umfragen entwickeln, die die Datenerfassungsanforderungen für viele Fragen erfüllen.
Erwägen Sie auch, den M&E-Plan auf verschiedene Arten neu zu ordnen, z. B. nach Datenquelle oder nach Datenerfassungszeitraum. Gehen Sie abschließend diese Checkliste durch. Hat Ihr M& E Plan:
- Konzentrieren Sie sich auf die wichtigsten Bewertungsfragen und das Bewertungspublikum?
- Erfassen Sie alles, was Sie wissen müssen, um eine aussagekräftige Bewertung des Projekts vorzunehmen?
- Stellt nur relevante Überwachungsfragen und vermeidet die Sammlung unnötiger Daten?
- Wissen Sie, wie Daten analysiert, verwendet und gemeldet werden?
- Arbeiten Sie im Rahmen Ihres Budgets und anderer Ressourcen?
- Identifizieren Sie die Fähigkeiten, die zur Durchführung der Datenerfassung und -analyse erforderlich sind?