|
1. L’ÉVALUATION PEUT VOUS ÊTRE UTILE EN COURS D’ACTION ET EN FIN D’ACTION :
1.1 En cours d’action : elle vise à fournir des repères pour mieux ajuster ou repréciser les objectifs de votre action. Ce type d’évaluation est appelé évaluation formative, car elle s’intéresse aux efforts déployés par les acteurs pour atteindre les publics visés. Le temps de réalisation est rapide :
- Le plus souvent, il s’agit de suivre régulièrement des indicateurs pour analyser des écarts entre la mise en oeuvre prévue et celle effectivement réalisée.
- S’il y a des enquêtes à réaliser, elles sont en général d’ampleur limitée et portent soit sur l’implication des acteurs dans les activités, soit sur la façon dont ces activités ont atteint les groupes cibles concernés.
1.2 En fin d’action : elle s’intéresse aux résultats et à l'impact de l’action après sa mise en oeuvre. Ce type d’évaluation est appelé évaluation sommative, ou récapitulative, car elle s’attache aux effets produits par l’action.
2. LA PLANIFICATION D’UNE ÉVALUATION S’ORGANISE EN TROIS TEMPS :
2.1 D’abord, formuler la ou les questions d’évaluation… Vous vous êtes déjà posé plusieurs questions au début de votre démarche d’évaluation (voir étape 1). Maintenant que le cadre logique a été écrit (voir étape 2), vous précisez ces questions en fonction du type d’évaluation que vous choisissez (en cours ou en fin d’action). Pour vous aider, voici des questions fréquemment posées :
Evaluation formative
- Est-ce que la mise en oeuvre de l’action est conforme à ce qui a été prévu ?
- Est-ce que les actions mises en place sont appropriées ?
- Est-ce que les groupes cibles visés sont atteints ? Quelle est leur satisfaction ?
Evaluation sommative ou récapitulative
- Les objectifs spécifiques de l’action (les résultats attendus) ont-ils été atteints ?
- Y a-t-il eu des effets inattendus ou éventuellement pervers ?
- L’action a-t-elle répondu au moins en partie aux problèmes auxquels elle s’attaque ? Va-t-elle dans la direction attendue ?
Cette étape est très importante parce qu’elle fixe l’objet sur lequel l’ensemble de votre travail va porter. C’est la raison pour laquelle il est indispensable de peser chaque mot dans la formulation des questions afin que l’objet de l’évaluation soit le plus précis possible.
IMPORTANT : les moyens étant limités, il n’est pas possible de répondre à de nombreuses questions. Choisissez-la ou les deux questions les plus importantes pour éclairer les décisions à prendre.
2.2… ensuite, dresser la liste des critères qui permettent de répondre à la question…
En général, il faut plusieurs critères pour évaluer toutes les dimensions d’une question d’évaluation. Un critère est un angle de vue porté sur un objet, une caractéristique observable qui sert à décrire ou à mesurer les divers éléments de l’action (objectifs, actions, situations, etc.). C’est lui qui donne le sens de l’évaluation.
Par exemple, la mortalité, la morbidité, la qualité de vie perçue, sont trois critères permettant de décrire l’état de santé d’une population.
Ou encore, la précarité d’une personne peut être abordée par plusieurs critères : la pauvreté, le chômage ou la précarité du travail, l’absence ou la faiblesse de son réseau social, la difficulté d’accès aux services de santé ou aux ressources culturelles…
Vous pouvez vous aider du projet que vous avez déposé auprès de votre direction et/ou du financeur ; il devrait comporter les principaux critères d’évaluation.
EN RÉSUMÉ, POUR TROUVER LES CRITÈRES D’ÉVALUATION…
1. Commencez par répertorier l’ensemble des critères possibles.
2. Vérifiez que vous n’avez oublié aucun critère majeur.
3. Puis sélectionnez les plus importants pour répondre aux questions posées à l’évaluation.
2.3… Enfin, construire les indicateurs
Pour être renseigné, un critère nécessite des indicateurs. Les critères ne sont donc manipulables qu'une fois traduits en indicateurs.
Un indicateur est un instrument de mesure qui donne de l'information ; une variable qui aide à mesurer des changements. Choisir un indicateur, c’est donc choisir les méthodes de recueil de l’information selon la source : analyse documentaire, observation, mesure, enquêtes, etc. En général, il faut plusieurs indicateurs pour évaluer tous les aspects d’un même critère. Il est nécessaire toutefois de limiter leur nombre pour que l’évaluation reste réalisable.
Exemples :
- La mortalité est un critère de l'état de santé des nourrissons
*le taux de mortalité infantile est un indicateur.
- La pauvreté est un critère de la situation de précarité
*le revenu mensuel moyen est un indicateur.
- L’activité culturelle d’une population est un critère du niveau culturel d’un pays
*la fréquentation des salles de cinéma est un indicateur.
Un indicateur doit avoir plusieurs qualités : il doit être valide et fiable (mesurer effectivement ce qu'il est censé mesurer), mais aussi être observable ou mesurable et disponible à un coût acceptable.
Idéalement, un indicateur doit être comparé à une référence ou à une "norme" : pour l’interpréter, il faut le mettre en rapport à une valeur que l'on considère comme acceptable ou moyenne. Quand il n’existe pas de référence validée pour un indicateur, on peut comparer la situation avec celle observée avant l’intervention, ou avec celle d’une autre zone sans intervention. Le comité d’évaluation peut également fixer les références à retenir. Exemples :
- Le taux de mortalité infantile était de 3,5 décès d’enfants de moins d’un an pour 1000 naissances vivantes en 2005 en France métropolitaine. Il n’y a pas de norme, ce taux n’ayant cessé de diminuer, mais un taux supérieur à 5 pour mille ne serait pas acceptable en France aujourd’hui.
- Le seuil de pauvreté utilisé en Europe correspond à 60 % du revenu médian du pays, soit en France 817 euros par mois pour une personne seule en 2005. La France a longtemps utilisé un autre seuil à 50 % du revenu médian (soit 681 euros en 2005).
EN PRATIQUE
- Commencez par rechercher les critères et indicateurs déjà existants (analyse documentaire),
- Construisez-en d’autres qui pourraient mieux correspondre aux questions d’évaluation à renseigner,
- Sélectionnez les plus importants pour répondre aux questions posées par l’évaluation tout en tenant compte de leur qualité et de la difficulté à obtenir l’information (la méthode de recueil des données).
- Récapitulez pour chaque critère les indicateurs retenus et leur source dans un tableau. (cf. exemple dans l’étape 4).
Lire la suite...
|
