Stephanie Jill Hodge Member since 02/04/2025

My contributions

• Discussion

  Evaluation under pressure : Strengthening evidence use, accountability and learning amidst funding constraints (Joint EvalforEarth-ALNAP discussion)

  09 Oct 2026
  • 

    United States of America

    Stephanie Jill Hodge

    Posté le 21/10/2026

    La discussion de la semaine 1 fait écho à mon expérience, en particulier en ce qui concerne la tension entre conformité et apprentissage. Pour moi, le pouvoir est présent dans les deux. Qui définit les questions ? Qui contrôle l’accès aux données ? Quelle explication a le plus de poids ? Et qui a le pouvoir d’agir en fonction des conclusions ?
    La leçon pratique la plus importante que j’en ai tirée est qu’il faut investir massivement dans la compréhension de la situation réelle dès le départ. La phase de lancement constitue un travail d’évaluation de fond. Si le contexte institutionnel sous-jacent n’est pas encore clair, il faut négocier un délai supplémentaire avant de définir les questions et les méthodes. Compte tenu des contraintes budgétaires, nous avons encore moins de marge de manœuvre pour consacrer des ressources limitées à répondre aux mauvaises questions.
    Dans le cadre d’une évaluation d’un fonds multidonateurs, les dispositifs impliquaient un organe directeur, un secrétariat technique, une fonction de gestion du fonds hébergée par l’ONU, des organisations de mise en œuvre et des homologues nationaux. La mise en œuvre s’effectuait par le biais de subventions et d’intermédiaires. Le leadership, le contrôle des ressources, les responsabilités de mise en œuvre et la responsabilité formelle étaient répartis entre différentes entités.
    La simple lecture de l’organigramme ne suffisait pas. Les questions importantes portaient sur le fonctionnement concret de ces dispositifs : qui pouvait approuver ou retarder une décision, qui était responsable de la mise en œuvre, et quelle influence les partenaires nationaux pouvaient exercer par l’intermédiaire des organisations intermédiaires.
    Dès le début, j’ai fait de la gouvernance, des partenariats et de l’appropriation des domaines d’enquête explicites. L’examen des documents et les témoignages des parties prenantes m’ont aidé à analyser les tensions entre l’assurance fiduciaire et la flexibilité opérationnelle, ainsi qu’entre l’appropriation nationale formelle et l’organisation pratique de la mise en œuvre. Au cours de l’analyse, j’ai distingué ces enjeux structurels des faiblesses de mise en œuvre. Sans cela, les conclusions auraient facilement pu se résumer à des « problèmes de coordination » sans expliquer ce qui devait changer.
    Cette distinction a été maintenue jusqu’au rapport final. J’ai intégré les conclusions dans l’évaluation de la gouvernance, des partenariats et de la durabilité, y compris les responsabilités futures. J’ai également distingué les preuves relatives aux activités et aux résultats des preuves relatives aux bénéfices à long terme. Le renforcement institutionnel et la préparation à l’investissement avaient leur importance, mais ils ne démontraient pas automatiquement des résultats en matière de résilience.
    La leçon à retenir est de bien comprendre le contexte sous-jacent pour pouvoir le vérifier. La phase de lancement doit aboutir à une explication fondée et à une analyse crédible, tout en laissant la possibilité que des données ultérieures viennent remettre en cause notre compréhension initiale. Elle ne doit pas se transformer en une quête indéfinie de certitude.
    Un autre exemple concerne la conception de dispositifs de suivi pour un partenariat environnemental national impliquant des agences gouvernementales, des organismes de financement et des partenaires techniques, dont la mise en œuvre était envisagée par le biais de projets menés par les agences. Ici, j’ai distingué les résultats au niveau du programme du suivi au niveau des agences et des projets, et j’ai relié le cadre aux systèmes existants. Cela fournit une base pratique pour réduire les doublons et clarifier qui doit collecter quelles données.
    Mais l’expression « utiliser les données existantes » doit être nuancée. Les systèmes administratifs enregistrent ce que les institutions sont tenues de déclarer et sont en mesure de communiquer. Ils peuvent nous en dire beaucoup moins sur les priorités des propriétaires fonciers coutumiers, l’influence des femmes sur les décisions ou l’expérience du changement vécue par les communautés. La réutilisation des données peut permettre de réaliser des économies, mais risque de reproduire des lacunes quant à l’expérience dont on tient compte.
    Pour la semaine 2, je suggérerais donc :

    • Préserver le travail de diagnostic initial. Étudier l’histoire institutionnelle, les modalités de financement, les relations décisionnelles et les données existantes avant de définir le périmètre de l’évaluation.
    • Négocier un nombre réduit de questions ayant un impact significatif. Se mettre d’accord sur les décisions que l’évaluation doit éclairer et sur les données requises pour ces décisions.
    • Utilisez les données existantes de manière critique. Évaluez leur qualité, leur couverture et leurs omissions avant de déterminer où une collecte supplémentaire est indispensable.
    • Préservez les possibilités de remettre en question les interprétations. La responsabilisation communautaire ne se limite pas à la collecte de témoignages ; les personnes doivent disposer de véritables occasions de remettre en question la manière dont leur expérience est représentée.
    • Reliez les recommandations au pouvoir décisionnel. Distinguez ce que la direction peut modifier de ce qui nécessite des décisions de l’instance dirigeante ou des bailleurs de fonds.

    Ce qui ne fonctionne pas, c’est de conserver un champ d’application vaste tout en réduisant discrètement les données nécessaires pour l’étayer. Il ne faut pas non plus supposer qu’un évaluateur peut résoudre les déséquilibres de pouvoir institutionnels simplement en les documentant.
    Notre propre pouvoir mérite également d’être examiné de près. Nous choisissons les sources, interprétons les désaccords et décidons de ce qui figurera dans le rapport final. Cette responsabilité commence dès le début. Une compréhension hâtive peut façonner l’ensemble de l’évaluation, aussi soigné que soit le produit final. Consacrer suffisamment de temps à la compréhension de la situation est l’un des moyens les plus concrets que je connaisse pour préserver à la fois l’utilité et la crédibilité d’une évaluation menée sous pression.

    Stephanie Jill Hodge - MPA Harvard (2006) : MA, UEA (1997). B.Ed. B.PE. MUN (1987)

    Skype : shodge1_3

    Téléphone : 1- 917 480 7247

    Profil LinkedIn : Stephanie Jill Hodge

    Lire sur une autre page
• Discussion

  From Hindsight to Foresight: How Evaluation Can Become Future-Informed

  23 Mar 2026
  • 

    United States of America

    Stephanie Jill Hodge

    Posté le 29/04/2026

    Du recul à la prospective : comment l’évaluation retrouve toute son utilité

    Réflexions issues d’une expérience au cœur de systèmes qui évoluent trop vite pour être mesurés

    Il existe une tension latente au cœur de la plupart des travaux d’évaluation, et si vous avez déjà travaillé au sein de programmes complexes liés à l’environnement ou au climat, vous la ressentez presque immédiatement. Nous sommes formés – avec soin, avec rigueur – à regarder en arrière. À évaluer ce qui a été réalisé, ce qui a fonctionné, ce qui n’a pas fonctionné, et si cela correspondait à ce qui avait été initialement promis. Et pourtant, les systèmes dans lesquels nous travaillons – systèmes alimentaires, adaptation au changement climatique, gouvernance de la biodiversité, économies circulaires – ne restent pas immobiles assez longtemps pour que ce regard en arrière reste pertinent.

    Dans mon propre travail au sein de portefeuilles liés au Fonds pour l’environnement mondial (FEM) et de systèmes parallèles, j’ai vu cette tension se manifester à maintes reprises. Les questions formelles – pertinence, efficacité, efficience, durabilité – restent constantes. Mais le monde qu’elles sont censées interpréter ne cesse de changer sous leurs pieds.

    Prenons l’exemple du programme ISLANDS du Programme des Nations Unies pour l’environnement (PNUE) / FEM, mis en œuvre dans quatorze petits États insulaires en développement (PEID) du Pacifique. Sur le papier, il faisait ce qu’il avait promis. Des infrastructures étaient mises en place – des systèmes de gestion des polluants organiques persistants, du mercure, des déchets électroniques, des huiles usagées. Des politiques ont été rédigées. Des mécanismes de coordination ont été établis. Si l’on s’en tenait au cadre traditionnel, l’évaluation pouvait confirmer la réalisation des objectifs.

    Mais quand on prend du recul et qu’on observe le système tel qu’il fonctionne réellement, la question change. Il s’agit moins de savoir si les résultats ont été atteints que de savoir si le système mis en place continuera de fonctionner lorsque les conditions changeront – ce qui est inévitable. Le tourisme fluctue. La marge de manœuvre budgétaire se réduit. Les chocs climatiques perturbent les infrastructures et les chaînes d’approvisionnement. Dans ce contexte, la véritable question que se posaient les décideurs n’était pas « cela a-t-il fonctionné ? », mais « cela tiendra-t-il ? ».

    Cette question se situe en dehors de l’évaluation rétrospective, à moins que vous ne l’y intégriez délibérément.

    Le même schéma est apparu dans le travail sur l’économie circulaire mené avec la Banque asiatique de développement et le FEM à travers l’Asie du Sud-Est. Nous examinions des systèmes de type « responsabilité élargie des producteurs » : état de préparation des politiques, arrangements institutionnels, mise en œuvre pilote. Tous les ingrédients étaient réunis. Mais là encore, la fragilité ne résidait pas dans la conception. Elle résidait dans les conditions futures dans lesquelles cette conception devrait fonctionner. Les fluctuations des prix des matières premières, les cycles d’application de la réglementation, les changements politiques — ce ne sont pas des cas marginaux. Ils constituent l’environnement opérationnel. Et pourtant, ils sont rarement au centre de la conception de l’évaluation.

    Même dans les premiers travaux de conception et d’évaluation de projets du FEM, y compris les conseils au niveau du PIF alignés sur l’Organisation des Nations unies pour l’alimentation et l’agriculture, la théorie du changement suivait une logique familière et rassurante : les résultats conduisent aux capacités, les capacités conduisent à une meilleure gestion, une meilleure gestion conduit à des résultats environnementaux. C’est clair. C’est logique. Mais elle est aussi, dans la plupart des cas, incomplète. Car elle suppose un environnement favorable relativement stable. Elle ne se demande pas, de manière structurée, dans quelles conditions futures cette chaîne tiendra — et où elle se brisera.

    Tout au long de ce travail, la même limite ne cesse de refaire surface. L’évaluation rétrospective est très efficace pour valider ce qui a été réalisé. Elle est beaucoup moins performante pour évaluer ce qui perdurera. Et elle reste largement muette sur ce qui est sur le point d’échouer.

    C’est là qu’intervient la prospective — non pas comme un ajout abstrait, mais comme une nécessité pratique. Et d’après mon expérience, c’est non pas à la fin d’un programme qu’elle devient la plus puissante, mais en son milieu — lors des ajustements de cap, lors des examens à mi-parcours, dans ces moments chaotiques et inconfortables où les systèmes ne se comportent clairement pas comme prévu mais n’ont pas encore complètement échoué.

    C’est là que j’effectue désormais la majeure partie de ce travail.

    Lors d’un examen à mi-parcours, la tentation est toujours de stabiliser le récit. D’expliquer les écarts. D’ajuster les notes. De recommander des corrections progressives. Mais si vous traitez un examen à mi-parcours comme un point de contrôle statique, vous passez à côté de sa véritable valeur. Un examen à mi-parcours est le dernier moment crédible pour changer de cap avant qu’un programme ne s’enferme dans sa propre logique.

    Mon approche est donc différente.

    Je commence par cartographier le système non pas comme un cadre logique, mais comme un parcours. Des données probantes à la décision. De la décision au pipeline. Du pipeline au financement. Du financement à la mise en œuvre. De la mise en œuvre aux résultats. Puis je pose une question simple à chaque étape : où cela avance-t-il, et où est-ce bloqué ?

    Pas en théorie. En pratique.

    Où les décisions ne sont-elles pas prises, alors même que les données probantes existent ? Où les concepts de projet restent-ils en suspens sans passer dans des pipelines prêts à l’investissement ? Où les financements ne circulent-ils pas, alors même que les priorités sont claires ? Où la mise en œuvre échoue-t-elle parce que la légitimité — en particulier au niveau communautaire — n’est pas assurée ?

    Ce n’est pas le terrain de l’évaluation traditionnelle. Mais c’est là que les programmes réussissent ou échouent réellement.

    Une fois que l’on voit le système sous cet angle, la prospective s’impose naturellement. Car la question suivante n’est pas « que s’est-il passé ? », mais « que se passera-t-il ensuite si rien ne change ? ». Et ensuite : « que se passera-t-il dans différents scénarios d’avenir plausibles ? »

    Concrètement, cela signifie soumettre le système à des tests de résistance. Non pas à l’aide de modèles élaborés, mais par le biais d’un questionnement structuré. Qu’advient-il de ce modèle de financement si les budgets publics se contractent ? Qu’advient-il de ce mécanisme de mise en œuvre en cas de perturbations météorologiques extrêmes ? Qu’advient-il de cette politique si son application s’affaiblit après un changement politique ? Vous n’avez pas besoin de scénarios parfaits. Vous avez besoin de scénarios plausibles.

    Et ensuite, vous réintégrez cela dans l’évaluation.

    Les recommandations cessent d’être génériques — « renforcer les capacités », « améliorer la coordination » — et deviennent orientées vers l’action. Modifiez cette partie du pipeline car elle ne tiendra pas dans des conditions prévisibles. Rééquilibrez cette structure de financement car elle est trop exposée à un risque unique. Investissez dans cette relation ou ce mécanisme de légitimité car sans cela, la mise en œuvre s’enlisera, quelle que soit la conception technique.

    En d’autres termes, l’évaluation consiste moins à juger le passé qu’à réorienter l’avenir.

    C’est exactement le domaine dans lequel je travaille actuellement dans le cadre du « Country Package » de la Papouasie-Nouvelle-Guinée. Ici, le problème n’est pas un manque d’activité. C’est que le mouvement au sein du système est inégal et souvent invisible. Les décisions ne se traduisent pas systématiquement en processus. Les processus ne se traduisent pas systématiquement en financement. Le financement ne se traduit pas systématiquement par une mise en œuvre à grande échelle. Et derrière tout cela se cache un facteur critique que l’évaluation traditionnelle sous-estime souvent : la légitimité, en particulier dans un contexte où la propriété foncière coutumière définit ce qui est possible.

    Si vous examinez cela avec un regard rétrospectif, vous produirez une évaluation parfaitement raisonnable qui ne changera pratiquement rien aux résultats. Si vous l’examinez avec un regard prospectif — en identifiant où le système risque de s’enliser ensuite —, vous commencez à voir où l’intervention est réellement importante.

    Il ne s’agit pas d’abandonner les critères de l’OCDE-CAD. Il s’agit de les élargir. La pertinence devient prospective : cela restera-t-il pertinent dans des scénarios d’avenir plausibles ? La durabilité devient conditionnelle : dans quelles conditions cela tient-il ? L’efficacité devient dynamique : il ne s’agit pas seulement de savoir si les résultats ont été atteints, mais si le système est capable de continuer à les produire.

    Et peut-être plus important encore, l’évaluation change de fonction. Elle cesse d’être principalement un mécanisme de rapport et devient un outil d’aide à la décision.

    Cela semble être un petit changement. Ce n’est pas le cas. Cela exige des évaluateurs qu’ils soient plus explicites quant à l’incertitude, plus engagés dans la dynamique des systèmes et plus disposés à sortir légèrement de la zone de confort du jugement purement rétrospectif. Cela exige également des institutions qu’elles acceptent que l’évaluation la plus utile n’est pas toujours la plus certaine.

    Pour être honnête, bon nombre des enseignements les plus précieux de mon travail sont venus des moments où nous avons fait exactement cela — où nous avons cessé de nous demander « qu’est-ce qui s’est passé ? » pour commencer à nous demander « et si ? » Lorsque nous avons suivi le système vers l’avant plutôt que vers l’arrière. Lorsque nous avons traité l’incertitude non pas comme quelque chose à minimiser, mais comme quelque chose avec lequel il faut composer.

    C’est là que l’évaluation redevient utile.

    Car dans un monde qui n’est plus stable – et qui ne le sera plus –, la question n’est pas de savoir si nous pouvons parfaitement comprendre le passé.

    Il s’agit de savoir si nous pouvons agir, intelligemment et à temps, face à ce qui va suivre.

    Lire sur une autre page