Élaboration d’un Plan de suivi et d’évaluation
Un plan de suivi et d’évaluation (M & E) est un guide sur ce que vous devez évaluer, les informations dont vous avez besoin et pour qui vous évaluez.
Le plan décrit les principales questions d’évaluation et les questions de suivi détaillées qui aident à répondre aux questions d’évaluation. Cela vous permet d’identifier les informations que vous devez collecter et comment vous pouvez les collecter. Selon le détail du plan M & E, vous pouvez identifier les personnes responsables des différentes tâches, ainsi que les échéanciers. Le plan devrait pouvoir être repris à tout moment par toute personne impliquée dans le projet et être clair sur ce qui se passe en termes de suivi et d’évaluation.
Il est également important de se rappeler qu’il existe de nombreux types d’évaluation.
Un plan d’évaluation devrait idéalement être réalisé au stade de la planification d’un projet, avant de commencer la mise en œuvre. Cela vous permettra de planifier à l’avance les activités de collecte de données que vous devrez peut-être entreprendre, telles que les enquêtes pré-intervention. Cependant, il n’est jamais trop tard pour élaborer un plan M&E. L’adaptation rétroactive d’un plan M & E à un projet existant peut simplement signifier que vous pouvez être limité dans certaines des données que vous pouvez collecter.
Comment élaborer un Plan de suivi et d’évaluation
Un court tutoriel sur la façon d’élaborer un plan M &E – s’ouvre dans PowerPoint
Étape 1. Identifiez votre public d’évaluation
Identifiez le public d’évaluation ou les parties prenantes. Le public visé par l’évaluation comprend les personnes ou les organisations qui ont besoin d’une évaluation. Il peut y avoir plusieurs publics, chacun ayant ses propres exigences. En règle générale, cela inclut l’organisme de financement et peut également inclure les organisations partenaires, le Conseil (ou les conseillers), l’équipe du projet et les participants ou le groupe cible du projet. N’oubliez pas que l’évaluation est généralement entreprise dans un but de responsabilisation ou d’apprentissage, et de préférence les deux ensemble.
Si vous avez des fonds limités pour l’évaluation, vous devrez peut-être prioriser votre évaluation en identifiant les personnes les plus importantes à qui faire rapport.
Télécharger M & E Modèle de questions d’audience et d’évaluation
Étape 2. Définir les questions d’évaluation
Les questions d’évaluation doivent être élaborées à l’avance et en collaboration avec le ou les publics principaux et les autres intervenants auxquels vous avez l’intention de faire rapport. Les questions d’évaluation vont au-delà des mesures pour poser des questions d’ordre supérieur telles que si l’intervention en vaut la peine ou si elle aurait pu être réalisée d’une autre manière (voir les exemples ci-dessous). Dans l’ensemble, les questions d’évaluation devraient déboucher sur d’autres mesures telles que l’amélioration des projets, l’intégration des projets ou la refonte des projets.
Vous devez également déterminer à ce stade si le public visé par l’évaluation a des échéanciers précis selon lesquels il a besoin d’un rapport d’évaluation. Ce sera un facteur majeur pour décider de ce que vous pouvez et ne pouvez pas collecter.
Lorsque vous formulez vos questions d’évaluation axées sur les résultats, gardez-les ouvertes. Par exemple. « Dans quelle mesure l’a fait… »
Grands types de questions d’évaluation par domaine d’intérêt
Adapté de: Davidson & Wehipeihana (2010)
| Objet de l’évaluation | Question d’évaluation |
|---|---|
| Processus |
Dans quelle mesure le projet a-t-il été conçu et mis en œuvre (c’est-à-dire sa qualité) |
| Résultat |
Dans quelle mesure le projet a-t-il répondu aux besoins globaux? Y a-t-il eu un changement important et dans quelle mesure est-il attribuable au projet? Quelle est la valeur des résultats pour l’organisation, les autres parties prenantes et les participants ? |
| Apprentissages |
Qu’est-ce qui a fonctionné et qu’est-ce qui n’a pas fonctionné? Quelles ont été les conséquences imprévues? Quelles étaient les propriétés émergentes ? |
| Investissement |
Le projet était-il rentable? Y avait-il une autre alternative qui aurait pu représenter un meilleur investissement? |
| Que peut ensuite |
Le projet peut-il être agrandi? Le projet peut-il être répliqué ailleurs ? Le changement est-il autonome ou nécessite-t-il une intervention continue? |
| Théorie du changement |
Le projet a-t-il une théorie du changement? La théorie du changement se reflète-t-elle dans la logique du programme ? Comment la logique du programme peut-elle éclairer les questions de recherche? |
Une autre façon de classer les grandes questions d’évaluation est présentée ci-dessous.
Adapté de: Bureau Européen de Coopération en Matière d’Aide
| Objet de l’évaluation | Question d’évaluation |
|---|---|
| Pertinence |
Le sujet et le contenu de l’atelier répondent-ils aux besoins d’information du groupe cible? Dans quelle mesure l’objectif d’intervention est-il conforme aux besoins et aux priorités de la communauté? |
| Efficacité |
La méthode d’engagement utilisée dans ce projet a-t-elle permis d’obtenir un nombre de participants similaire à celui des programmes précédents ou d’autres programmes à un coût comparable ou moindre? Les approches d’engagement plus coûteuses ont-elles conduit à de meilleurs résultats que les approches d’engagement moins coûteuses? |
| Efficacité |
Dans quelle mesure les ateliers ont-ils permis d’accroître le soutien communautaire à l’action contre le changement climatique? Dans quelle mesure la méthode d’engagement a-t-elle encouragé le groupe cible à participer au projet? |
| Résultat |
Dans quelle mesure le projet a-t-il conduit à des comportements plus durables dans le groupe cible? Y a-t-il eu d’autres résultats positifs ou négatifs involontaires du projet? |
| Durabilité |
Dans quelle mesure le projet a-t-il entraîné un changement de comportement à long terme? |
Étape 3. Identifier les questions de surveillance
Afin de répondre aux questions d’évaluation, des questions de surveillance doivent être élaborées pour déterminer les données qui seront recueillies dans le cadre du processus de surveillance. Les questions de suivi sont assez spécifiques dans ce qu’elles posent, par rapport aux questions d’évaluation. Par exemple, pour une question d’évaluation de » Qu’est-ce qui a fonctionné et qu’est-ce qui n’a pas fonctionné? »vous avez peut-être plusieurs questions spécifiques telles que « Les ateliers ont-ils permis d’accroître les connaissances sur l’efficacité énergétique à la maison? » ou « Les participants ont-ils installé des pommes de douche économes en eau « .
Les questions de suivi recevront idéalement une réponse grâce à la collecte de données quantitatives et qualitatives. Il est important de ne pas sauter directement dans la collecte de données, sans penser aux questions d’évaluation. Sauter directement peut conduire à collecter des données qui ne fournissent aucune information utile, ce qui est une perte de temps et d’argent.
Téléchargez le Modèle de Plan M&E pour saisir les informations ou téléchargez un modèle de plan M&E complété de manière partielle qui comprend des exemples de questions d’évaluation, des questions de suivi, des indicateurs et des sources pour un projet d’éducation sur le recyclage du côté kerbside.
Si vous avez développé une logique de programme, vous pouvez l’utiliser pour commencer à identifier les questions et indicateurs de surveillance pertinents. Cliquez ici pour voir comment.
Une fois que vous avez identifié la question de surveillance dans la logique de votre programme, vous pouvez les transférer dans votre modèle de plan M&E. Cliquez ici pour voir comment.
Un court tutoriel sur la façon d’extraire des informations de la logique de votre programme pour développer votre plan M &E – s’ouvre dans PowerPoint
Étape 4. Identifier les indicateurs et les sources de données
L’étape suivante consiste à identifier les informations dont vous avez besoin pour répondre à vos questions de surveillance (indicateurs) et d’où proviendront ces informations (sources de données). Il est important de considérer la collecte de données, en termes de type de données et de tout type de conception de la recherche. Les sources de données peuvent être les participants eux-mêmes ou les foyers des personnes (p. ex. audit des types d’éclairage) ou de comptage, ou même de littérature. Vous pouvez ensuite décider de la méthode la plus appropriée pour collecter les données à partir de la source de données.
Le sélecteur d’outil d’évaluation est là pour vous aider à choisir une méthode adaptée à vos besoins.
Il est important de s’assurer que votre cadre d’évaluation est adapté à la culture. Lorsque vous travaillez avec des communautés culturellement diverses et linguistiquement diversifiées (CALD), envisagez d’impliquer des représentants de la communauté ou des experts culturels dans le cadre d’évaluation pour vous assurer que les méthodes de collecte de données sont appropriées (sensibles et comprises) au groupe cible. Pour en savoir plus, consultez le blog d’évaluation authentique
Étape 5. Déterminer qui est responsable de la collecte des données et les délais
Il est conseillé d’attribuer la responsabilité de la collecte des données afin que chacun soit clair de ses rôles et responsabilités. Cela permet également aux nouveaux employés de participer au projet et de savoir qui est responsable de quoi, ce qu’ils peuvent avoir à assumer et quand.
La collecte de données de surveillance peut se faire régulièrement sur de courts intervalles, ou moins régulièrement, par exemple semestriellement ou annuellement. Encore une fois, l’attribution de délais limite l’excuse de « ne pas savoir ».
Vous pouvez également noter les exigences nécessaires pour collecter les données (personnel, budget, etc.). Il est conseillé d’avoir une idée du coût associé à la surveillance, car vous avez peut-être de bonnes idées pour collecter beaucoup d’informations, pour découvrir que vous ne pouvez pas tout vous permettre. Dans un tel cas, vous devrez soit prioriser, soit trouver de l’argent ailleurs (désolé mais nous n’avons pas d’outil spécial pour cela).
Étape 6. Identifiez qui évaluera les données, comment elles seront déclarées et quand
Cette étape est facultative mais fortement recommandée, car elle complétera le plan M &E en tant que document complet. En rappelant que l’évaluation est l’évaluation subjective de la valeur d’un projet, il est important d’identifier qui fera cette « évaluation subjective ». Dans la plupart des cas, il s’agira de l’équipe du projet, mais dans certains cas, vous pouvez impliquer d’autres parties prenantes, y compris le groupe cible ou les participants. Vous pouvez également envisager d’externaliser une partie particulière de l’évaluation à une partie externe ou indépendante.
Pour qu’une évaluation soit utilisée (et donc utile), il est important de présenter les résultats dans un format approprié pour le public. Cela peut signifier un bref rapport, ou un mémo, ou même une affiche ou un bulletin d’information. En tant que tel, il est recommandé de réfléchir dès le début à la façon dont vous présenterez votre évaluation, afin de pouvoir adapter la façon de présenter vos résultats au format de présentation (tels que graphiques, tableaux, texte, images).
Étape 7. Passez en revue le plan M&E
Une fois que vous avez terminé votre plan M&E, mettez en évidence les sources de données qui apparaissent fréquemment. Par exemple, vous pourrez peut-être élaborer des enquêtes qui répondent aux exigences de collecte de données pour de nombreuses questions.
Envisagez également de réorganiser le plan M &E de plusieurs manières, par exemple par source de données ou par calendrier de collecte de données. Enfin, parcourez cette liste de contrôle. Est-ce que votre plan M& E:
- Se concentrer sur les questions clés de l’évaluation et le public visé par l’évaluation?
- Capturez tout ce que vous devez savoir afin de faire une évaluation significative du projet?
- Ne pose que des questions de surveillance pertinentes et évite la collecte de données inutiles?
- Savoir comment les données seront analysées, utilisées et déclarées?
- Travaillez dans les limites de votre budget et des autres ressources?
- Identifier les compétences requises pour effectuer la collecte et l’analyse des données?