Seuranta-ja arviointisuunnitelman laatiminen
seuranta-ja arviointisuunnitelma (M&E) on opas siitä, mitä sinun tulisi arvioida, mitä tietoja tarvitset ja kenelle arvioit.
suunnitelmassa hahmotellaan Keskeiset arviointikysymykset ja yksityiskohtaiset seurantakysymykset, jotka auttavat vastaamaan arviointikysymyksiin. Näin voit tunnistaa, mitä tietoja tarvitset kerättäväksi, ja miten voit kerätä niitä. M&e-suunnitelman yksityiskohdista riippuen voi tunnistaa eri tehtävistä vastaavat henkilöt sekä aikataulut. Jokaisen hankkeeseen osallistuvan olisi voitava ottaa suunnitelma vastaan milloin tahansa, ja sen olisi oltava selkeä siinä, mitä seurannan ja arvioinnin osalta tapahtuu.
on myös tärkeää muistaa, että arviointeja on monenlaisia.
arviointisuunnitelma olisi mieluiten tehtävä hankkeen suunnitteluvaiheessa, ennen toteutuksen aloittamista. Näin voit suunnitella etukäteen ja kerätä tietoja, joita saatat joutua toteuttamaan,kuten ennen toimenpiteitä tehtävät kyselyt. Koskaan ei kuitenkaan ole liian myöhäistä kehittää m&E-suunnitelmaa. M&E-suunnitelman takautuva sovittaminen olemassa olevaan projektiin voi vain tarkoittaa sitä, että jotkin keräämäsi tiedot saattavat rajoittaa sinua.
seuranta – ja arviointisuunnitelman laatiminen
lyhyt opetusohjelma m&e suunnitelma-avautuu PowerPointissa
Vaihe 1. Tunnista arviointiyleisösi
tunnista arviointiyleisö tai sidosryhmät. Arviointiyleisöön kuuluvat henkilöt tai organisaatiot, jotka edellyttävät arviointia. Yleisöjä voi olla useita, ja jokaisella on omat vaatimuksensa. Tyypillisesti tähän kuuluu rahoitusvirasto, ja siihen voi kuulua myös kumppaniorganisaatioita, valtuusto (tai valtuutetut), projektiryhmä sekä hankkeen osallistujat tai kohderyhmä. Muista, että arviointi tehdään yleensä vastuullisuutta, tai oppimista, ja mieluiten molemmat yhdessä.
jos arviointiin on rajalliset varat, voi olla, että joudut priorisoimaan arviointiasi tunnistamalla, ketkä ovat tärkeimmät henkilöt, joille raportoida.
lataa M& E yleisö-ja Arviointikysymysten malli
Vaihe 2. Määrittele arviointikysymykset
arviointikysymykset tulisi kehittää etukäteen ja yhteistyössä ensisijaisten yleisöjen ja muiden sidosryhmien kanssa, joille aiot raportoida. Arviointikysymykset menevät mittauksia pidemmälle kysyäkseen korkeamman asteen kysymyksiä, kuten onko interventio sen arvoinen, tai olisiko se voitu saavuttaa muulla tavalla (katso esimerkkejä alla). Arviointikysymysten olisi kaiken kaikkiaan johdettava jatkotoimiin, kuten hankkeiden parantamiseen, hankkeiden valtavirtaistamiseen tai hankkeiden uudelleensuunnitteluun.
tässä vaiheessa on myös selvitettävä, onko arviointiyleisöllä erityisiä aikarajoja, joihin mennessä se tarvitsee arviointiraportin. Tämä on tärkeä tekijä päätettäessä, mitä voit ja mitä et voi kerätä.
kun rajaat tuloskeskeisiä arviointikysymyksiä, pidä ne avoimina. Esim. ”Missä määrin…”
Laaja – alaiset arviointikysymykset painopistealueittain
mukautettu: Davidson & Wehipeihana (2010)
| arvioinnin painopiste | Arviointikysymys |
|---|---|
| prosessi |
kuinka hyvin hanke suunniteltiin ja toteutettiin (eli sen laatu) |
| tulos |
missä määrin hanke vastasi kokonaistarpeisiin? tapahtuiko merkittävää muutosta ja missä määrin se johtui hankkeesta? kuinka arvokkaita tulokset ovat organisaatiolle, muille sidosryhmille ja osallistujille? |
| oppineita |
mikä toimi ja mikä ei? mitä olivat tahattomat seuraukset? mitkä olivat emergentit ominaisuudet? |
| investointi |
oliko hanke kustannustehokas? oliko toista vaihtoehtoa, joka olisi voinut edustaa parempaa sijoitusta? |
| mitä seuraavaksi |
voidaan projektia skaalata? voidaanko hanketta toistaa muualla? onko muutos omavarainen vai vaatiiko se jatkuvaa puuttumista? |
| Muutosteoria |
onko projektissa muutosteoriaa? heijastuuko muutosteoria ohjelmalogiikkaan? miten ohjelmalogiikka voi informoida tutkimuskysymyksiä? |
seuraavassa esitellään toinen tapa luokitella laajoja arviointikysymyksiä.
mukautettu: Europe Aid – yhteistyötoimisto
| arvioinnin painopiste | Arviointikysymys |
|---|---|
| relevanssi |
vastaako Työpajan aihe ja sisältö kohderyhmän tietotarpeita? missä määrin interventiotavoite vastaa yhteisön tarpeita ja painopisteitä? |
| tehokkuus |
johtiko tässä projektissa käytetty sitouttamismenetelmä siihen, että osallistujamäärä oli yhtä suuri kuin aiemmissa tai muissa ohjelmissa vastaavin tai pienemmin kustannuksin? ovatko kalliimmat kihlausmenetelmät johtaneet parempiin tuloksiin kuin edullisemmat kihlausmenetelmät? |
| tehokkuus |
missä määrin työpajat lisäsivät yhteisön tukea ilmastonmuutoksen vastaisille toimille? missä määrin vaikuttamismenetelmä rohkaisi kohderyhmää osallistumaan hankkeeseen? |
| tulos |
missä määrin hanke on johtanut kestävämpään käyttäytymiseen kohderyhmässä? oliko hankkeesta muita tahattomia myönteisiä tai kielteisiä tuloksia? |
| kestävyys |
missä määrin hanke on johtanut pitkän aikavälin käyttäytymismuutokseen? |
Vaihe 3. Yksilöi seurantakysymykset
jotta arviointikysymyksiin voidaan vastata, on kehitettävä seurantakysymyksiä, jotka kertovat, mitä tietoja seurantaprosessissa kerätään. Seurantakysymykset ovat melko tarkkoja siinä, mitä ne esittävät, verrattuna arviointikysymyksiin. Esimerkiksi arviointikysymykseen ”mikä toimi ja mikä ei?”sinulla voi olla useita erityisiä kysymyksiä, kuten” johtivatko työpajat lisäämään tietoa kodin energiatehokkuudesta?”tai” asentivatko osallistujat vesitehoisia suihkupäitä”.
seurantakysymyksiin vastataan mieluiten keräämällä määrällisiä ja laadullisia tietoja. On tärkeää olla hyppäämättä suoraan tiedonkeruuseen miettimättä arviointikysymyksiä. Suoraan hyppääminen voi johtaa siihen, että kerätään tietoja, joista ei saa mitään hyödyllistä tietoa, mikä on ajan ja rahan tuhlausta.
lataa M& E Plan Template tietojen syöttämiseksi tai lataa erityisesti täytetty M&E plan template, joka sisältää näytteen arviointikysymyksiä, seurantakysymyksiä, indikaattoreita ja lähteitä kerbsiden kierrätyskoulutushanketta varten.
jos olet kehittänyt ohjelmalogiikan, voit käyttää sitä relevanttien seurantakysymysten ja indikaattoreiden tunnistamiseen. Klikkaa tästä nähdäksesi miten.
kun olet tunnistanut seurantakysymyksen ohjelmalogiikassasi, voit siirtää ne omaan M&E Plan-malliin. Klikkaa tästä nähdäksesi miten.
lyhyt opetusohjelma siitä, miten voit poimia tietoa ohjelmalogiikastasi kehittääksesi M&e plan – avautuu PowerPointissa
Vaihe 4. Tunnista indikaattorit ja tietolähteet
seuraava vaihe on selvittää, mitä tietoja tarvitset vastataksesi seurantakysymyksiisi (indikaattorit) ja mistä nämä tiedot tulevat (tietolähteet). On tärkeää tarkastella tiedonkeruuta tiedon tyypin ja kaikenlaisen tutkimussuunnittelun kannalta. Tietolähteet voivat olla osallistujia itse, tai ihmisten koteihin (esim. valaistustyyppien auditointi) tai mittaus, tai jopa kirjallisuus. Tämän jälkeen voit päättää, mikä on sopivin tapa kerätä tiedot tietolähteestä.
arviointityökalun valitsin auttaa sinua valitsemaan tarpeisiisi sopivan menetelmän.
on tärkeää varmistaa, että arviointikehyksesi on kulttuurisesti tarkoituksenmukainen. Kun työskentelet kulttuuristen ja kielellisesti monimuotoisten yhteisöjen (CALD) kanssa, harkitse yhteisön edustajien tai kulttuurialan asiantuntijoiden ottamista mukaan arviointikehykseen sen varmistamiseksi, että tiedonkeruumenetelmät ovat kohderyhmälle sopivia (arkaluonteisia ja ymmärrettäviä). Lue lisää Aito arviointi-blogista
Vaihe 5. Yksilöi, kuka on vastuussa tiedonkeruusta ja aikajänteistä
on suositeltavaa jakaa vastuu tiedonkeruusta, jotta kaikki ovat selvillä rooleistaan ja vastuistaan. Näin myös uudet työntekijät voivat tulla projektiin ja saada käsityksen siitä, kuka on vastuussa mistäkin, ja mitä he voivat joutua ottamaan vastaan ja milloin.
seurantatietoja voidaan kerätä säännöllisesti lyhyin väliajoin tai harvemmin, kuten puolivuosittain tai vuosittain. Aikajanojen määrääminen rajoittaa jälleen ”tietämättömyyden” tekosyytä.
voit myös haluta huomioida kaikki vaatimukset, joita tietojen keräämiseen tarvitaan (henkilöstö, budjetti jne.). On suositeltavaa olla jonkinlainen käsitys seurantaan liittyvistä kustannuksista, koska sinulla voi olla hyviä ideoita kerätä paljon tietoa, vain huomataksesi, että sinulla ei ole varaa kaikkeen. Tällaisessa tapauksessa, sinun täytyy joko priorisoida tai löytää rahaa muualta (anteeksi, mutta meillä ei ole erityistä työkalua, että).
Vaihe 6. Yksilöi, kuka arvioi tiedot, miten ne raportoidaan ja milloin
tämä vaihe on valinnainen, mutta erittäin suositeltava, koska se täydentää M&e-suunnitelman kokonaisena asiakirjana. Kun muistetaan, että arviointi on subjektiivinen arvio hankkeen arvosta, on tärkeää tunnistaa, kuka tekee tämän ”subjektiivisen arvioinnin”. Useimmissa tapauksissa se on projektiryhmä, mutta joissakin tapauksissa voit ottaa mukaan muita sidosryhmiä, mukaan lukien kohderyhmä tai osallistujat. Voit myös harkita tietyn arvioinnin osan ulkoistamista ulkopuoliselle tai riippumattomalle osapuolelle.
jotta arviointia voidaan käyttää (ja siksi hyödyllistä), on tärkeää esittää tulokset yleisölle sopivassa muodossa. Tämä voi tarkoittaa lyhyttä raporttia tai muistiota tai jopa julistetta tai uutiskirjettä. Sinällään on suositeltavaa, että harkitset, miten esität arviointisi alusta alkaen, jotta voit räätälöidä havaintosi esitysmuotoon (kuten kaaviot, taulukot, Teksti, Kuvat).
Vaihe 7. Tarkista m& e suunnitelma
kun olet suorittanut M & e suunnitelma, korosta usein esiintyvät tietolähteet. Voit esimerkiksi kehittää kyselyitä, jotka täyttävät tiedonkeruun vaatimukset monien kysymysten osalta.
harkitaan myös M&e-suunnitelman tilaamista uudelleen useilla tavoilla, esimerkiksi tietolähteittäin tai tiedonkeruun aikataulujen mukaan. Käy lopuksi läpi tämä tarkistuslista. Suunnitteleeko m&e:
- keskity keskeisiin arviointikysymyksiin ja arviointiyleisöön?
- ota talteen kaikki, mitä sinun tarvitsee tietää tehdäksesi mielekkään arvioinnin hankkeesta?
- kysyy vain olennaisia seurantakysymyksiä ja välttää tarpeettomien tietojen keräämistä?
- miten tietoja analysoidaan, käytetään ja raportoidaan?
- työskentele budjettisi ja muiden resurssiesi puitteissa?
- tunnistetaanko tietojen keruun ja analysoinnin edellyttämät taidot?