Desenvolver um plano de monitoramento e avaliação
um plano de monitoramento e avaliação (M & E) é um guia sobre o que você deve avaliar, quais informações você precisa e para quem está avaliando.
o plano descreve as principais questões de Avaliação e as questões detalhadas de monitoramento que ajudam a responder às perguntas de avaliação. Isso permite identificar as informações que você precisa coletar e como você pode coletá-las. Dependendo do detalhe do Plano M&e, você pode identificar as pessoas responsáveis por diferentes tarefas, bem como cronogramas. O plano deve poder ser escolhido por qualquer pessoa envolvida no projeto a qualquer momento e ser claro sobre o que está acontecendo em termos de monitoramento e avaliação.
também é importante lembrar que existem muitos tipos de avaliação.Um plano de avaliação deve idealmente ser feito na fase de planejamento de um projeto, antes de iniciar a implementação. Isso permitirá que você planeje com antecedência e atividades de coleta de dados que você pode precisar realizar, como pesquisas pré-intervenção. No entanto, nunca é tarde demais para desenvolver um plano m&E. Um plano m&e para um projeto existente pode significar apenas que você pode estar limitado em alguns dos dados que você pode coletar.
Como Desenvolver um Plano de Monitoramento e Avaliação
Um breve tutorial sobre como desenvolver um M&E o plano se abre no PowerPoint
Passo 1. Identifique seu público de avaliação
identifique quem é o público de avaliação ou as partes interessadas. O público de avaliação inclui as pessoas ou organizações que exigem uma avaliação a ser realizada. Pode haver vários públicos, cada um com seus próprios requisitos. Normalmente, isso inclui a agência de financiamento e também pode incluir organizações parceiras, o conselho (ou conselheiros), a equipe do projeto e os participantes ou grupo-alvo do projeto. Lembre-se de que a avaliação geralmente é realizada para responsabilidade, ou aprendizagem, e de preferência ambos juntos.
se você tem fundos limitados para avaliação, você pode ter que priorizar sua avaliação, identificando quem são as pessoas mais importantes para se reportar.
Baixar M&e modelo de perguntas de audiência e avaliação
Etapa 2. Defina as perguntas de avaliação
as perguntas de avaliação devem ser desenvolvidas antecipadamente e em colaboração com o(s) Público (s) principal (s) e outras partes interessadas às quais você pretende se reportar. As perguntas de avaliação vão além das medições para fazer perguntas de ordem superior, como se a intervenção vale a pena ou se poderia ter sido alcançada de outra maneira (veja exemplos abaixo). No geral, as questões de avaliação devem levar a novas ações, como melhoria do projeto, integração do projeto ou redesenho do projeto.
você também deve identificar nesta fase se o público de avaliação tem cronogramas específicos pelos quais requer um relatório de avaliação. Este será um fator importante para decidir o que você pode e não pode coletar.
ao enquadrar suas perguntas de avaliação focadas no resultado, mantenha-as abertas. Exemplo. “Até que ponto…”
tipos amplos de questões de Avaliação por área de foco
adaptado de: Davidson & Wehipeihana (2010)
| o Foco da Avaliação | pergunta de Avaliação |
|---|---|
| Processo |
Como bem foi o projeto desenhado e implementado (i.e. a sua qualidade) |
| Resultado |
em que medida o projeto atender as necessidades gerais? houve alguma mudança significativa e até que ponto foi atribuível ao projeto? quão valiosos são os resultados para a organização, outras partes interessadas e participantes? |
| Aprendizados |
o Que funcionou e o que não? quais foram as consequências não intencionais? quais eram as propriedades emergentes? |
| investimento |
o projeto foi rentável? havia outra alternativa que poderia ter representado um melhor investimento? |
| o que vem a seguir |
o projeto pode ser ampliado? o projeto pode ser replicado em outro lugar? a mudança é autossustentável ou requer intervenção contínua? |
| Teoria da mudança |
o projecto tem uma teoria da mudança? a teoria da mudança é refletida na lógica do programa? como a lógica do programa pode informar as questões de pesquisa? |
outra maneira de classificar questões de avaliação ampla é apresentada abaixo.
adaptado de: A europa Auxílio da Cooperação Gabinete
| o Foco da Avaliação | pergunta de Avaliação |
|---|---|
| Relevância |
Não o workshop tópico e conteúdo de atender as necessidades de informação do grupo-alvo? em que medida o objetivo de intervenção está alinhado com as necessidades e prioridades da comunidade? |
| eficiência |
o método de engajamento usado neste projeto levou a um número semelhante de participantes como programas anteriores ou outros a um custo comparável ou menor? as abordagens de engajamento mais caras levaram a melhores resultados do que as abordagens de engajamento menos caras? |
| eficácia |
em que medida os workshops levaram a um maior apoio da Comunidade à ação para combater as mudanças climáticas? até que ponto o método de engajamento incentivou o grupo-alvo a participar do projeto? |
| resultado |
até que ponto o projeto levou a comportamentos mais sustentáveis no grupo-alvo? houve outros resultados positivos ou negativos não intencionais do projeto? |
| sustentabilidade |
até que ponto o projeto levou à mudança de comportamento a longo prazo? |
Etapa 3. Identificar as questões de monitoramento
para responder a questões de avaliação, devem ser desenvolvidas questões de monitoramento que informarão quais dados serão coletados por meio do processo de monitoramento. As perguntas de monitoramento são bastante específicas no que fazem, em comparação com as perguntas de avaliação. Por exemplo, para uma questão de avaliação de ” o que funcionou e o que não funcionou?”você pode ter várias perguntas específicas, como” os workshops levaram a um maior conhecimento sobre eficiência energética em casa?”ou” os participantes instalaram chuveiros com eficiência hídrica”.
as perguntas de monitoramento serão idealmente respondidas por meio da coleta de dados quantitativos e qualitativos. É importante não saltar diretamente para a coleta de dados, sem pensar nas questões de avaliação. Pular direto pode levar à coleta de dados que não fornecem informações úteis, o que é uma perda de tempo e dinheiro.
Faça o Download do modelo de Plano M&e para inserir as informações ou baixar um modelo de plano m&e concluído em particular que inclui perguntas de avaliação de amostra, perguntas de monitoramento, indicadores e fontes para um projeto de educação de reciclagem de kerbside.
se você desenvolveu uma lógica de programa, você pode usar isso para começar a identificar questões e indicadores de monitoramento relevantes. Clique aqui para ver como.
depois de identificar a pergunta de monitoramento na lógica do seu programa, você pode transferi-los para o seu modelo de Plano M&E. Clique aqui para ver como.
um breve tutorial sobre como extrair informações da lógica do seu programa para desenvolver seu plano m&e – abre no PowerPoint
Etapa 4. Identifique os indicadores e fontes de dados
o próximo passo é identificar quais informações você precisa para responder às suas perguntas de monitoramento (indicadores) e de onde essas informações virão (fontes de dados). É importante considerar a coleta de dados, em termos do tipo de dados e de qualquer tipo de projeto de pesquisa. As fontes de dados podem ser participantes ou as casas das pessoas (por exemplo. auditoria de tipos de iluminação) ou medição, ou mesmo literatura. Você pode então decidir sobre o método mais apropriado para coletar os dados da fonte de dados.
o seletor de ferramentas de avaliação está lá para ajudá-lo a selecionar um método apropriado para suas necessidades.
é importante garantir que sua estrutura de avaliação seja culturalmente apropriada. Ao trabalhar com comunidades Culturall e linguisticamente diversas (CALD), considere envolver representantes comunitários ou especialistas culturais no quadro de avaliação para garantir que os métodos de coleta de dados sejam apropriados (sensíveis e compreendidos) ao grupo-alvo. Para uma leitura mais aprofundada, veja o Blog de avaliação genuína
Etapa 5. Identifique quem é responsável pela coleta de dados e cronogramas
é aconselhável atribuir a responsabilidade pela coleta de dados para que todos estejam livres de suas funções e responsabilidades. Isso também permite que novos funcionários entrem no projeto e tenham uma noção de quem é responsável pelo quê, e o que eles podem ter que assumir e quando.
a coleta de dados de monitoramento pode ocorrer regularmente em intervalos curtos, ou menos regularmente, como semestrais ou anuais. Mais uma vez, atribuir cronogramas limita a desculpa de ‘não saber’.
você também pode querer observar quaisquer requisitos que são necessários para coletar os dados (pessoal, orçamento etc). É aconselhável ter alguma ideia do custo associado ao monitoramento, pois você pode ter ótimas ideias para coletar muitas informações, apenas para descobrir que não pode pagar tudo. Nesse caso, você terá que priorizar ou encontrar algum dinheiro em outro lugar (desculpe, mas não temos nenhuma ferramenta especial para isso).
Passo 6. Identifique quem avaliará os dados, como serão relatados e quando
esta etapa é opcional, mas altamente recomendada, pois completará o plano m&e como um documento completo. Lembrando que a avaliação é a avaliação subjetiva do valor de um projeto, é importante identificar quem estará fazendo essa ‘avaliação subjetiva’. Na maioria dos casos, será a equipe do projeto, mas em alguns casos, você pode envolver outras partes interessadas, incluindo o grupo-alvo ou os participantes. Você também pode considerar terceirizar uma parte específica da avaliação para uma parte externa ou independente.
para que uma avaliação seja usada (e, portanto, útil), é importante apresentar os achados em um formato apropriado ao público. Isso pode significar um relatório curto, um memorando ou até mesmo um pôster ou boletim informativo. Como tal, é recomendável que você considere como apresentará sua avaliação desde o início, para que possa adaptar a maneira de apresentar suas descobertas ao formato de apresentação (como gráficos, tabelas, texto, imagens).
Passo 7. Revise o plano m&e
depois de concluir seu plano m&e, destaque as fontes de dados que aparecem com frequência. Por exemplo, você pode desenvolver pesquisas que atendam aos requisitos de coleta de dados para muitas perguntas.
considere também reordenar o plano m&e de várias maneiras, por exemplo, por fonte de dados ou por período de coleta de dados. Finalmente, passe por esta lista de verificação. O seu plano M&e:
- concentre – se nas principais questões de Avaliação e no público de avaliação?
- Capture tudo o que você precisa saber para fazer uma avaliação significativa do projeto?
- apenas faz perguntas relevantes de monitoramento e evita a coleta de dados desnecessários?
- Saiba como os dados serão analisados, usados e relatados?
- trabalhar dentro do seu orçamento e outros recursos?
- identificar as habilidades necessárias para realizar a coleta e análise de dados?