« Le projet prend fin un jour. Votre organisation, elle, perdure. » Cette idée m’a accompagné tout au long de ma carrière dans les domaines du suivi, de l’évaluation, de la reddition de comptes et de l’apprentissage (MEAL).
Au fil de mon travail dans les domaines de la sécurité alimentaire, de l’agriculture, du développement des entreprises, de la gouvernance et de l’aide humanitaire, j’ai vu des organisations nationales jongler avec les exigences de multiples programmes financés par des bailleurs de fonds, souvent simultanément. Chaque nouveau projet peut s’accompagner de ses propres exigences en matière de données probantes : un nouveau cadre de mesure, un tableau de bord, un format de rapport et un ensemble d’indicateurs. Au premier abord, cela semble renforcer la reddition de comptes, mais après des années passées à mettre en place et à restructurer des systèmes MEAL, j’ai commencé à me poser la question suivante : pour qui mesurons-nous réellement les progrès ?
Powon Long'ironyang of I_Rep Foundation Kenya
Quand le reporting prend le pas sur l’apprentissage
Il y a une bonne raison pour laquelle les projets financés par des bailleurs de fonds s’accompagnent de cadres de mesure exigeants. Les indicateurs standardisés ont facilité la comparaison des résultats, renforcé la transparence et la responsabilité, et poussé les organisations à regarder au-delà des activités pour se concentrer sur les résultats. Ce sont là des avancées importantes. Mais au fil du temps, j’ai constaté que ces systèmes engendraient un autre problème : le reporting peut commencer à prendre le pas sur l’apprentissage.
De nombreuses organisations nationales sont devenues très efficaces pour présenter les résultats de leurs projets aux bailleurs de fonds, tout en ayant une vision bien moins complète de leurs propres progrès institutionnels. Trop souvent, lorsqu’un projet prend fin, ses indicateurs disparaissent, les tableaux de bord sont archivés et les bases de données deviennent inactives. À ce stade, la mémoire institutionnelle s’en va avec le financement. Puis un nouveau bailleur de fonds arrive, et le processus recommence. Au fil du temps, l’apprentissage organisationnel se fragmente d’un projet à l’autre au lieu de s’enrichir d’une expérience à l’autre.
Des partenaires de mise en œuvre, et non des prolongements des bailleurs de fonds
Une chose m’apparaît de plus en plus clairement : en tant que partenaires de mise en œuvre, nous ne sommes pas des prolongements des organisations bailleuses de fonds. Nous sommes des institutions indépendantes dotées de nos propres missions, conseils d’administration, plans stratégiques et visions à long terme. Le financement des bailleurs de fonds nous aide à poursuivre cette vision, mais il ne doit pas en venir à la définir.
Pourtant, les systèmes d’évaluation des bailleurs de fonds peuvent progressivement s’imposer comme ceux de l’organisation elle-même, au point que les réunions du conseil d’administration se concentrent davantage sur les résultats des projets que sur l’efficacité institutionnelle. Les rapports annuels peuvent commencer à refléter plus fidèlement les cadres logiques des bailleurs de fonds que la stratégie propre à l’organisation. La réussite peut devenir synonyme d’atteinte des objectifs du projet plutôt que de faire avancer la mission propre à l’organisation. Il en résulte un déséquilibre gênant : nous rendons de plus en plus de comptes à nos supérieurs, et de moins en moins à l’intérieur de notre organisation.
Le tournant
Cette question a pris une importance particulière lorsque j’ai restructuré le système MERL (suivi, évaluation, recherche et apprentissage) d’un programme de résilience agricole. Le projet disposait d’excellents indicateurs et de modèles de rapports complets, mais je me suis demandé quelles données resteraient utiles à l’organisation une fois le projet terminé, alors que la plupart, voire la totalité, de ces indicateurs existaient uniquement parce que le bailleur de fonds les exigeait.
Aucun de ces indicateurs n’avait été délibérément relié aux objectifs stratégiques propres à l’organisation ni à ses besoins en données à long terme. Cela m’a ramené à une idée que Theo Sowa avait soulignée auprès de ses collègues lorsqu’elle occupait le poste de directrice générale par intérim au Graça Machel Trust : « Nous ne sommes pas nos bailleurs de fonds ; ce ne sont pas les subventions que nous mettons en œuvre qui nous définissent, mais la vision fondatrice qui nous guide »
Cette expérience a changé ma façon d’envisager les systèmes institutionnels de données probantes. Ceux-ci doivent perdurer au-delà des projets individuels, les exigences de reporting des bailleurs de fonds s’y rattachant plutôt que de les remplacer. La responsabilité vis-à-vis des bailleurs de fonds reste essentielle, mais les cadres de reporting externes ne doivent pas devenir le seul système de données factuelles d’une organisation. Un système institutionnel solide doit continuer à générer des données factuelles utiles au-delà des projets, des cycles de financement et des évolutions des exigences des bailleurs de fonds, bien après la fin des subventions individuelles.
Construire un système de données factuelles durable :
Un bon point de départ consiste à créer une banque d’indicateurs institutionnels dérivés de la mission, de la stratégie et de la théorie du changement de l’organisation. Pour les organisations œuvrant dans les domaines de l’agriculture et de la sécurité alimentaire, cela peut couvrir des domaines tels que la résilience des ménages, la productivité des agriculteurs, la participation économique des femmes, les capacités institutionnelles locales, l’adaptation au changement climatique, la durabilité des interventions et la confiance de la communauté. Un ensemble d’indicateurs de base peut assurer la continuité d’un projet à l’autre, permettant ainsi d’intégrer les nouveaux indicateurs des bailleurs de fonds dans un cadre organisationnel existant plutôt que d’exiger un nouveau système de mesure pour chaque subvention.
Une approche simple qui a fait ses preuves pour moi consiste à tenir un registre des activités de base parallèlement à un registre des résultats. Dans la mesure du possible, ces registres peuvent alimenter une base de données factuelles partagée qui sert plusieurs objectifs. Les mêmes données factuelles peuvent étayer la reddition de comptes aux bailleurs de fonds, le contrôle du conseil d’administration, l’apprentissage organisationnel, la prise de décision stratégique, l’élaboration de propositions, les retours d’expérience de la communauté et l’engagement politique. Les conseils d’administration devraient également s’interroger sur ce que les données factuelles révèlent concernant l’efficacité organisationnelle au fil du temps, et pas seulement sur la performance des projets. Sans indicateurs institutionnels, les organisations peuvent savoir si les projets atteignent leurs objectifs, mais auront du mal à déterminer si l’organisation elle-même se renforce.
Deux ouvrages ont particulièrement influencé ma réflexion sur ces questions : Indigenous Research Methodologies de Bagele Chilisa et Principles-Focused Evaluation: The GUIDE de Michael Quinn Patton. Les travaux de Chilisa m’ont incité à réfléchir de manière plus critique à la question de savoir quels savoirs, quel contexte et quelles priorités façonnent un système de données factuelles, tandis que ceux de Patton ont renforcé ma conviction qu’il faut rendre ces données factuelles pertinentes et utiles pour la prise de décision, plutôt que de traiter l’évaluation comme un simple exercice de reporting. C’est pourquoi, pour moi, un système institutionnel de données factuelles est bien plus qu’une simple banque d’indicateurs. Il s’agit d’un mécanisme institutionnel permettant de déterminer ce qui importe, quelles connaissances comptent, ce que l’organisation apprend et comment cet apprentissage est mis à profit.
Pour moi, décoloniser la mesure d’impact ne revient pas à rejeter les cadres définis par les bailleurs de fonds. Il s’agit de veiller à ce que les organisations locales conservent la maîtrise de leurs systèmes de données factuelles. La localisation prend tout son sens lorsque les données factuelles renforcent les institutions et continuent d’éclairer les décisions une fois le financement des bailleurs de fonds terminé.
Une dernière réflexion de Theo Sowa m’a marqué : « Tant que nous n’aurons pas véritablement intériorisé et mis en œuvre une évaluation et un apprentissage qui reflètent nos véritables publics cibles, nous continuerons à être moins efficaces et plus facilement cooptés par les agendas d’autrui. »
C’est là le véritable test d’un système de données factuelles : s’il se contente de rendre compte de ce qu’un projet a accompli, ou s’il aide une organisation à comprendre où elle va.