Comment mesurer si une initiative a vraiment aidé

Une association de jeunes anime un club de lecture pendant un an. Elle se réunit chaque samedi. Elle collecte des livres. Elle prend de superbes photos. En fin d'année, elle rédige un rapport : « Nous avons organisé 48 séances et touché 200 enfants. Ce fut un grand succès ! »

Mais l'était-ce vraiment ? Les enfants lisent-ils réellement mieux ? Aiment-ils davantage la lecture ? Empruntent-ils des livres pour la maison ? Personne ne le sait — parce que personne n'a mesuré.

Beaucoup d'initiatives communautaires, de projets scolaires et de petites ONG font un travail précieux. Mais sans mesure, ils ne peuvent ni le prouver, ni l'améliorer, ni convaincre d'autres de les soutenir.

Comment un groupe communautaire, une école ou une petite organisation peut-il mesurer si son initiative a vraiment aidé — sans faire appel à des experts coûteux ?

Pourquoi mesurer compte

• Pour apprendre : qu'est-ce qui fonctionne ? Qu'est-ce qui ne fonctionne pas ? Que devrions-nous changer ?
• Pour s'améliorer : ajuster les activités à partir de preuves.
• Pour rendre des comptes : montrer à la communauté et aux bailleurs de fonds ce qu'il est advenu de leur temps et de leur argent.
• Pour grandir : les preuves attirent partenaires, bénévoles et financements.
• Pour éviter de nuire : les projets ont parfois des effets négatifs inattendus. Mesurer aide à les repérer.

Les économistes Abhijit Banerjee et Esther Duflo — lauréats, avec Michael Kremer, du prix Nobel d'économie 2019 pour leur approche expérimentale de la lutte contre la pauvreté — ont montré qu'une mesure rigoureuse peut révéler des résultats surprenants : certains programmes populaires avaient peu d'effet, tandis que des interventions simples et bon marché avaient parfois un fort impact.

Activités ou résultats

Première leçon de la mesure : ne confondez pas activités et résultats.

• Les activités (réalisations) : ce que vous avez fait. « Nous avons organisé 48 séances de lecture. »
• Les effets : ce qui a changé pour les gens. « Les scores de lecture des enfants se sont améliorés ; 70 % empruntent désormais des livres chaque semaine. »
• L'impact : le changement plus large, à long terme. « Plus d'enfants réussissent leurs examens et poursuivent leur scolarité. »

Beaucoup de rapports se contentent de compter les activités. Une bonne mesure s'intéresse aussi aux effets.

Pause humour : un groupe a annoncé : « Nous avons distribué 1 000 moustiquaires ! » Un bailleur a demandé : « Est-ce que les gens dorment dessous ? » Silence. Quelqu'un a fini par dire : « Eh bien… certaines font maintenant de très bons filets de pêche. » Voilà pourquoi on mesure les effets, et pas seulement les activités.

Étape 1 : rédiger votre théorie du changement

Une « théorie du changement » est une explication simple de la manière dont vos activités sont censées produire des résultats. Rédigez-la sous forme d'une chaîne d'énoncés « si… alors… » :

« Si nous organisons chaque semaine des séances de lecture avec des livres amusants, alors les enfants aimeront davantage lire. Si les enfants aiment davantage lire, alors ils liront davantage à la maison. S'ils lisent davantage, alors leurs compétences en lecture s'amélioreront. »

Cela vous aide à voir ce qu'il faut mesurer à chaque étape — et où vos hypothèses pourraient être fausses.

Étape 2 : choisir quelques bons indicateurs

Un indicateur est un élément mesurable qui montre un changement. Les bons indicateurs sont SMART :

• Spécifiques
• Mesurables
• Atteignables
• Pertinents
• Temporellement définis

Pour le club de lecture :

• Le pourcentage d'enfants capables de lire correctement un court paragraphe (début et fin d'année).
• Le nombre de livres empruntés par enfant et par mois.
• Le pourcentage d'enfants qui disent aimer lire.

Choisissez 3 à 5 indicateurs. Au-delà, vous vous noierez dans les données.

Étape 3 : mesurer avant de commencer (la situation de référence)

On ne peut pas montrer un changement sans savoir d'où l'on part. La situation de référence est une mesure prise avant (ou tout au début de) votre initiative.

Pour le club de lecture : évaluez la lecture de chaque enfant au départ avec une méthode simple et identique pour tous (par exemple, un court passage et quelques questions).

Pas de situation de référence ? Vous pouvez toujours demander aux gens de comparer « avant et après » — mais c'est moins fiable.

Étape 4 : collecter des données régulièrement (le suivi)

Le suivi consiste à recueillir des informations pendant le projet :

• Les listes de présence.
• Les livres empruntés.
• De brefs retours des participants.
• Des notes sur les difficultés.

Restez simple : un carnet, un tableur ou un outil gratuit comme Google Forms ou KoboToolbox. Voir Pourquoi l'action locale a besoin d'une bonne information.

Étape 5 : mesurer à la fin (et comparer)

Refaites la mesure de référence à la fin. Comparez :

• Les scores de lecture se sont-ils améliorés ? De combien ?
• Les emprunts de livres ont-ils augmenté ?
• Le plaisir de lire a-t-il progressé ?

Étape 6 : se demander « par rapport à quoi ? »

Voici la partie délicate. Si la lecture des enfants s'est améliorée, est-ce grâce à votre club — ou auraient-ils progressé de toute façon (parce qu'ils ont un an de plus et vont à l'école) ?

C'est ce qu'on appelle le « contrefactuel » : que se serait-il passé sans votre initiative ?

Quelques façons d'y réfléchir :

• Un groupe de comparaison : mesurez des enfants qui n'ont pas fréquenté le club (d'âge et d'école similaires). Si les enfants du club ont davantage progressé, la preuve est plus solide.
• Les essais randomisés : la référence absolue, utilisée par des chercheurs comme Banerjee, Duflo et Kremer — on tire au sort qui bénéficie du programme. Souvent trop complexe pour de petits groupes, mais utile à comprendre.
• Le bon sens et l'honnêteté : reconnaissez les autres facteurs qui pourraient expliquer les changements.

Vous n'avez pas besoin d'une science parfaite. Vous avez besoin d'honnêteté sur ce que vos données peuvent montrer et ne peuvent pas montrer.

« Tout ce qui peut être compté ne compte pas forcément, et tout ce qui compte ne peut pas forcément être compté. » — souvent attribué à Albert Einstein (en réalité du sociologue William Bruce Cameron, 1963)

Étape 7 : écouter aussi les témoignages

Les chiffres ne disent pas tout. Recueillez des témoignages :

• « Avant, ma fille se cachait quand on lui demandait de lire. Maintenant, elle fait la lecture à son petit frère. »
• « Je ne savais pas que la bibliothèque existait. Maintenant, j'y vais chaque semaine. »

Une méthode appelée « Most Significant Change » (le changement le plus significatif) pose aux participants la question suivante : « Quel est le changement le plus important que vous avez vécu grâce à ce projet, et pourquoi ? » Elle est simple, puissante et largement utilisée dans le secteur du développement.

Associez chiffres et témoignages pour obtenir une vision complète.

Étape 8 : partager les résultats honnêtement — y compris les échecs

Partagez les résultats avec :

• Les participants et la communauté (en premier !).
• Les bénévoles et les partenaires.
• Les bailleurs de fonds et les autorités.

Soyez honnêtes sur ce qui n'a pas marché. Des organisations comme Ingénieurs sans frontières Canada ont publié des « rapports d'échecs » pour partager ouvertement leurs enseignements. Reconnaître ses échecs renforce la confiance et aide les autres à éviter les mêmes erreurs.

Étape 9 : utiliser ce que vous avez appris

Mesurer ne sert à rien si rien ne change. Après avoir examiné les résultats :

• Gardez ce qui a marché.
• Modifiez ou arrêtez ce qui n'a pas marché.
• Testez de nouvelles idées.
• Mettez à jour votre théorie du changement.

Des idées de mesure simples pour des projets courants

• Campagne de nettoyage : photos avant/après prises à des endroits fixes ; nombre de tas d'ordures ; pourcentage de ménages abonnés à la collecte. Voir Ce qu'il faut pour garder une rue propre ensemble.
• Plantation d'arbres : nombre d'arbres plantés ; pourcentage de survie après 6 et 12 mois.
• Programme de formation : test de compétences avant/après ; pourcentage de personnes utilisant ces compétences ou ayant un emploi 6 mois plus tard.
• Sensibilisation à la santé : quiz de connaissances avant/après ; changements de comportement (par exemple, l'utilisation de la moustiquaire).
• Conseil de jeunes : nombre de propositions formulées ; pourcentage adopté par les autorités. Voir Comment les jeunes peuvent participer aux décisions locales.
• Projet de sécurité : sentiment de sécurité des habitants avant/après ; incidents signalés. Voir Des gestes simples pour des espaces publics plus sûrs.

Les erreurs courantes à éviter

• Ne mesurer que les activités.
• Ne pas établir de situation de référence.
• Avoir trop d'indicateurs.
• Collecter des données qu'on n'analyse jamais.
• Ne rapporter que les bonnes nouvelles.
• Ignorer la voix des participants.
• Attribuer tout changement à son seul projet.

Une histoire illustrative : la surprise de la plantation d'arbres

Un groupe de jeunes (exemple illustratif) a planté 1 000 arbres en une journée et l'a célébré sur les réseaux sociaux. Six mois plus tard, il a décidé de mesurer le taux de survie. Seuls 280 arbres étaient encore en vie. Beaucoup étaient morts faute d'eau ; certains avaient été mangés par des chèvres.

Au début, les jeunes étaient gênés. Puis ils en ont tiré des leçons. La saison suivante, ils ont planté moins d'arbres (300), choisi des essences résistantes à la sécheresse, travaillé avec des familles qui s'engageaient à arroser et protéger chaque arbre, et construit des clôtures simples. Au bout d'un an, 250 arbres avaient survécu — presque autant que la première fois, avec un tiers de l'effort.

Mesurer ne les a pas fait mal paraître. Cela les a rendus meilleurs.

Un plan de mesure d'une page

Pour les petits groupes, une page suffit :

• Objectif : quel changement voulons-nous ?
• Indicateurs (3 à 5) : comment le saurons-nous ?
• Situation de référence : quels sont les chiffres aujourd'hui ?
• Cible : qu'espérons-nous atteindre d'ici la fin ?
• Méthode : comment et quand collecterons-nous les données ?
• Qui : qui en est responsable ?
• Partage : comment partagerons-nous les résultats ?

Remplissez-le avant le début du projet. Revoyez-le à mi-parcours. Complétez-le à la fin.

Mesurer pour apprendre, pas pour impressionner

Mesurer l'impact ne consiste pas à produire de beaux rapports pour les bailleurs de fonds. Il s'agit de savoir si votre travail acharné aide vraiment — et comment aider davantage.

Commencez simple : choisissez trois indicateurs, mesurez avant et après, écoutez les témoignages, partagez honnêtement et ajustez.

Votre communauté mérite des initiatives qui fonctionnent. La mesure, c'est ce qui vous permet de le savoir.

Poursuivez votre lecture : Comment transformer une conversation en projet, Dix questions à poser à quelqu'un qui fait bouger les choses, et notre rubrique Afrique & Action.

Questions fréquentes

Comment mesurer l'impact d'un projet communautaire ?

Rédigez une théorie du changement, choisissez 3 à 5 indicateurs, établissez une situation de référence, assurez un suivi pendant le projet, mesurez à nouveau à la fin, comparez, recueillez des témoignages et partagez les résultats honnêtement.

Quelle est la différence entre réalisations et effets ?

Les réalisations correspondent à ce que vous avez fait (par exemple, les séances organisées) ; les effets correspondent à ce qui a changé pour les gens (par exemple, de meilleures compétences ou de nouveaux comportements).

Qu'est-ce qu'une situation de référence ?

Une mesure prise avant ou au début d'un projet, qui sert de point de comparaison avec les résultats ultérieurs.