Opracowywanie planu monitorowania i oceny
plan monitorowania i oceny (M& E) to przewodnik po tym, co powinieneś ocenić, jakich informacji potrzebujesz i dla kogo oceniasz.
plan przedstawia kluczowe pytania dotyczące oceny i szczegółowe pytania dotyczące monitorowania, które pomagają odpowiedzieć na pytania dotyczące oceny. Pozwala to zidentyfikować informacje, które należy zebrać, i w jaki sposób można je zbierać. W zależności od szczegółów planu m& E można zidentyfikować osoby odpowiedzialne za różne zadania, a także osie czasowe. Plan powinien być w stanie być odebrany przez każdą osobę zaangażowaną w projekt w dowolnym momencie i jasno określać, co dzieje się w zakresie monitorowania i oceny.
ważne jest również, aby pamiętać, że istnieje wiele rodzajów oceny.
Plan ewaluacyjny najlepiej wykonać na etapie planowania projektu, przed rozpoczęciem realizacji. Pozwoli to na zaplanowanie z wyprzedzeniem działań i gromadzenia danych, które mogą być konieczne do podjęcia, takich jak ankiety przedinterwencyjne. Jednak nigdy nie jest za późno na opracowanie planu M& E. Modernizacja planu M& E do istniejącego projektu może po prostu oznaczać, że niektóre dane, które możesz zebrać, mogą być ograniczone.
jak opracować Plan monitorowania i oceny
krótki samouczek na temat tworzenia planu M&E – otwiera się w programie PowerPoint
Krok 1. Zidentyfikuj odbiorców oceny
Zidentyfikuj odbiorców oceny lub interesariuszy. W ocenie uczestniczą osoby lub organizacje, które wymagają przeprowadzenia oceny. Może być wielu odbiorców, każdy z własnymi wymaganiami. Zazwyczaj obejmuje to agencję finansującą, a także organizacje partnerskie, Radę (lub radnych), zespół projektowy oraz uczestników projektu lub grupę docelową. Pamiętaj, że ocena jest zazwyczaj podejmowana w celu rozliczalności lub uczenia się, a najlepiej zarówno razem.
jeśli masz ograniczone środki na ocenę, być może będziesz musiał nadać priorytet swojej ocenie, określając, kto jest najważniejszym człowiekiem do zgłoszenia.
Pobierz M& e szablon pytań o audiencję i ocenę
Krok 2. Zdefiniuj pytania ewaluacyjne
pytania ewaluacyjne powinny być opracowywane z góry i we współpracy z głównymi odbiorcami i innymi zainteresowanymi stronami, którym zamierzasz zgłosić. Pytania ewaluacyjne wykraczają poza pomiary, aby zadać pytania wyższego rzędu, takie jak czy interwencja jest tego warta, czy mogłaby zostać zrealizowana w inny sposób (patrz przykłady poniżej). Ogólnie rzecz biorąc, pytania dotyczące oceny powinny prowadzić do dalszych działań, takich jak poprawa projektu, włączenie projektu do głównego nurtu lub przeprojektowanie projektu.
na tym etapie należy również określić, czy odbiorcy oceny mają określone terminy, w których wymagają sprawozdania z oceny. Będzie to głównym czynnikiem decydującym o tym, co możesz, a czego nie możesz zebrać.
podczas formułowania pytań oceniających skupionych na wynikach, pozostaw je otwarte. Np. „W jakim stopniu…”
szerokie typy pytań ewaluacyjnych według obszaru zainteresowań
: Davidson & Wehipeihana (2010)
| cel oceny | pytanie o ocenę |
|---|---|
| proces |
jak dobrze projekt został zaprojektowany i zrealizowany (tj. jego jakość) |
| rezultaty |
w jakim stopniu projekt spełnił ogólne potrzeby? czy nastąpiła jakaś istotna zmiana i w jakim stopniu była ona związana z projektem? jak cenne są wyniki dla organizacji, innych interesariuszy i uczestników? |
| Nauka |
co działało, a co nie? jakie były niezamierzone konsekwencje? jakie były właściwości? |
| inwestycja |
czy projekt był opłacalny? czy istnieje inna alternatywa, która mogła reprezentować lepszą inwestycję? |
| co dalej |
czy projekt można skalować? czy projekt można powielać gdzie indziej? czy zmiana jest samowystarczalna, czy wymaga ciągłej interwencji? |
| teoria zmiany |
czy projekt ma teorię zmiany? czy teoria zmian znajduje odzwierciedlenie w logice programu? w jaki sposób logika programu może informować o pytaniach badawczych? |
Poniżej przedstawiono inny sposób klasyfikacji ogólnych pytań ewaluacyjnych.
: BIURO WSPÓŁPRACY Europe Aid
| cel oceny | pytanie o ocenę |
|---|---|
| aktualność |
czy tematyka i treść warsztatów odpowiada potrzebom informacyjnym grupy docelowej? w jakim stopniu cel interwencji jest zgodny z potrzebami i priorytetami wspólnoty? |
| efektywność |
czy metoda zaangażowania zastosowana w tym projekcie doprowadziła do podobnej liczby uczestników jak poprzednie lub inne programy przy porównywalnych lub niższych kosztach? czy droższe podejście do zaangażowania prowadziło do lepszych wyników niż tańsze podejście do zaangażowania? |
| skuteczność |
w jakim stopniu warsztaty doprowadziły do zwiększenia wspólnotowego wsparcia dla działań na rzecz przeciwdziałania zmianom klimatu? w jakim stopniu metoda zaangażowania zachęciła grupę docelową do udziału w projekcie? |
| rezultaty |
w jakim stopniu projekt doprowadził do bardziej zrównoważonych zachowań w grupie docelowej? czy były jakieś inne niezamierzone pozytywne lub negatywne wyniki projektu? |
| zrównoważony rozwój |
w jakim stopniu projekt doprowadził do długoterminowej zmiany zachowania? |
Punkt 3. Identyfikacja pytań monitorujących
aby odpowiedzieć na pytania dotyczące oceny, należy opracować pytania monitorujące, które będą informować, jakie dane będą gromadzone w procesie monitorowania. Pytania monitorujące są dość specyficzne w tym, co zadają, w porównaniu z pytaniami oceniającymi. Na przykład na pytanie ewaluacyjne ” co działało, a co nie?”możesz mieć kilka konkretnych pytań, takich jak” czy warsztaty doprowadziły do zwiększenia wiedzy na temat efektywności energetycznej w domu?”lub” czy uczestnicy zainstalowali wodoodporne głowice prysznicowe”.
na pytania dotyczące monitorowania najlepiej odpowiedzieć poprzez gromadzenie danych ilościowych i jakościowych. Ważne jest, aby nie przeskakiwać bezpośrednio do zbierania danych, bez myślenia o pytaniach ewaluacyjnych. Skakanie prosto może prowadzić do zbierania danych, które nie dostarczają użytecznych informacji, co jest stratą czasu i pieniędzy.
Pobierz szablon planu M&E, aby wprowadzić informacje lub Pobierz wypełniony specjalnie szablon planu m&E, który zawiera przykładowe pytania ewaluacyjne, pytania monitorujące, wskaźniki i źródła dla projektu edukacyjnego kerbside Recycling.
jeśli opracowałeś logikę programu, możesz użyć tego, aby rozpocząć identyfikowanie odpowiednich pytań i wskaźników monitorowania. Kliknij tutaj, aby zobaczyć jak.
po zidentyfikowaniu pytania monitorującego w logice programu możesz przenieść je do szablonu planu m& E. Kliknij tutaj, aby zobaczyć jak.
krótki tutorial, Jak wyodrębnić informacje z logiki programu, aby rozwinąć swój plan M&e-otwiera się w PowerPoint
Krok 4. Zidentyfikuj wskaźniki i źródła danych
następnym krokiem jest określenie, jakie informacje są potrzebne do odpowiedzi na pytania monitorujące (wskaźniki) i skąd te informacje będą pochodzić (źródła danych). Ważne jest, aby wziąć pod uwagę gromadzenie danych, pod względem rodzaju danych i wszelkiego rodzaju projektów badawczych. Źródłem danych mogą być sami uczestnicy lub domy ludzi(np. audyt rodzajów oświetlenia) lub pomiarów, a nawet literatury. Następnie możesz zdecydować się na najbardziej odpowiednią metodę zbierania danych ze źródła danych.
selektor narzędzi ewaluacyjnych służy pomocą w wyborze odpowiedniej metody do Twoich potrzeb.
ważne jest, aby upewnić się, że ramy oceny są odpowiednie kulturowo. Podczas pracy ze społecznościami zróżnicowanymi kulturowo i językowo (CALD) należy rozważyć włączenie przedstawicieli społeczności lub ekspertów ds. kultury w ramy oceny, aby zapewnić, że metody gromadzenia danych są odpowiednie (wrażliwe i zrozumiałe) dla grupy docelowej. Aby uzyskać więcej informacji, spójrz na blogu prawdziwej oceny
Krok 5. Określ, kto jest odpowiedzialny za gromadzenie danych i terminy
wskazane jest przypisanie odpowiedzialności za gromadzenie danych, aby wszyscy byli świadomi swoich ról i obowiązków. Pozwala to również nowym pracownikom wejść do projektu i dowiedzieć się, kto jest odpowiedzialny za co, i co może mieć do podjęcia i kiedy.
gromadzenie danych z monitorowania może odbywać się regularnie w krótkich odstępach czasu lub rzadziej, na przykład co pół roku lub co roku. Ponownie, przypisywanie osi czasu ogranicza wymówkę „niewiedzy”.
Możesz również pamiętać o wszelkich wymaganiach, które są potrzebne do zbierania danych (personel, budżet itp.). Wskazane jest, aby mieć jakieś pojęcie o kosztach związanych z monitorowaniem, ponieważ możesz mieć świetne pomysły na zebranie wielu informacji, tylko po to, aby dowiedzieć się, że nie możesz sobie na to pozwolić. W takim przypadku będziesz musiał ustalić priorytety lub znaleźć pieniądze gdzie indziej (Przykro nam, ale nie mamy do tego specjalnego narzędzia).
Krok 6. Określ, kto oceni dane, w jaki sposób zostaną zgłoszone i kiedy
ten krok jest opcjonalny, ale wysoce zalecany, ponieważ zakończy plan M&E jako kompletny dokument. Pamiętając, że ocena jest subiektywną oceną wartości projektu, ważne jest, aby określić, kto będzie dokonywał tej „subiektywnej oceny”. W większości przypadków będzie to zespół projektowy, ale w niektórych przypadkach możesz zaangażować innych interesariuszy, w tym grupę docelową lub uczestników. Możesz również rozważyć powierzenie określonej części oceny zewnętrznej lub niezależnej stronie.
aby ocena była użyta (a zatem użyteczna), ważne jest przedstawienie wyników w formacie odpowiednim dla publiczności. Może to oznaczać krótki raport, notatkę, a nawet plakat lub biuletyn. W związku z tym zaleca się rozważenie sposobu prezentacji oceny od samego początku, aby można było dostosować sposób prezentacji wyników do formatu prezentacji (takich jak wykresy, tabele, tekst, obrazy).
Krok 7. Przejrzyj Plan M&e
po zakończeniu planu m&e wyróżnij często pojawiające się źródła danych. Na przykład możesz opracować ankiety, które spełniają wymagania dotyczące gromadzenia danych w przypadku wielu pytań.
rozważ również ponowne zamówienie planu M&E na kilka sposobów, na przykład według źródła danych lub ram czasowych gromadzenia danych. W końcu przejrzyj tę listę kontrolną. Czy twój m&e plan:
- skupić się na kluczowych pytaniach ewaluacyjnych i publiczności ewaluacyjnej?
- Uchwyć wszystko, co musisz wiedzieć, aby dokonać sensownej oceny projektu?
- zadaje tylko istotne pytania monitorujące i unika gromadzenia niepotrzebnych danych?
- wiesz, jak dane będą analizowane, wykorzystywane i raportowane?
- pracujesz w ramach swojego budżetu i innych zasobów?