Utiliser la théorie du changement comme un puissant instrument pour l'évaluation

Selon Leeuw et Donaldson (2015), plusieurs théories de l'évaluation ont vu le jour au fil des années et ont transformé la discipline de l'évaluation d'une manière ou d'une autre. Il est essentiel d'avoir une approche d'évaluation définie pour comprendre entièrement les subtilités du monde de l'évaluation. L'une des manières permettant de comprendre des problèmes sociaux complexes consiste à utiliser une approche d'évaluation fondée sur la théorie. INTRAC (2017c) déclare qu'«une évaluation fondée sur la théorie est généralement basée sur une théorie du changement (TDC) ou un modèle logique (ML) explicite qui explique la théorie d'une intervention de développement ou d'un ensemble d'interventions». Lorsque j'ai commencé à affiner mes compétences d'évaluation, je me suis intéressée en particulier à l'utilisation de la théorie du changement, notamment lorsque j'adopte l'approche fondée sur la théorie comme base de connaissances pour comprendre l'evaluand. Elle fournit des informations précieuses sur l'evaluand tout au long du cycle d'évaluation. Ce blog a donc pour objectif de sensibiliser à l'utilisation de la TDC comme puissant instrument permettant d'aider les évaluateurs à analyser l'evaluand et à élaborer un compte-rendu explicatif sur la manière dont un programme, un projet ou une politique fonctionne et les hypothèses ou conditions de sa réussite ou de son échec en vue de son amélioration.

Toutefois, l'approche fondée sur la théorie ne peut pas évaluer seule de manière exhaustive la bonne marche d'une intervention donnée et dans quel contexte. Sur la base de l'expérience, et comme l'ont affirmé les précurseurs de l'approche d'évaluation réaliste, «Les programmes sont des théories incarnées» (Pawson et Tilley, 2004, p.3). Par conséquent, d'autres approches d'évaluation doivent compléter l'approche fondée sur la théorie afin de tirer des conclusions plausibles à partir des résultats d'évaluation. Tilley (2000) affirme que les théories d'intervention ont de multiples facettes et sont influencées par de nombreux choix qui orientent leur conception et leur mise en œuvre dans différents contextes. Mais les théories ne sont jamais suffisamment explicites au point de révéler les mécanismes qui sous-tendent leurs postulats afin d'examiner la relation entre les différents éléments du programme et de vérifier les hypothèses sur comment, pour qui et dans quelles circonstances les programmes ont fonctionné ou pas: il y a donc encore du travail à faire. Il est essentiel de se plonger dans la validation de la TDC pour mesurer à la fois la théorie du programme et la théorie de la mise en œuvre afin d'établir les conditions et les hypothèses dans lesquelles elles influencent les participants du programme à répondre à l'intervention et à susciter des changements sociaux complexes.

Anderson (2005) a affirmé que la TDC est un instrument approprié qui aide à créer des solutions à des problèmes sociaux complexes. Une TDC permet de détailler la manière dont le changement est supposé se produire, évalue les hypothèses dans lesquelles ce changement peut se produire, décrit les cheminements à travers lesquels les résultats du programme peuvent être atteints sur le court, moyen et long terme et documente les changements lorsqu'ils se produisent. Une TDC contribue également à établir les liens de causalité et les hypothèses pour mieux comprendre les défis qui peuvent entraver la réalisation des changements attendus et créer une compréhension commune entre toutes les parties prenantes sur les interventions du programme et leurs objectifs. Concevoir une TDC de manière participative permet d'instaurer une compréhension commune, encourage l'appropriation et stimule la motivation des participants du programme à contribuer aux impacts de long terme (Harries, Hodgson et Noble, 2014). Selon AECF (2022), «Une théorie du changement peut faire référence aux croyances et hypothèses quant à la manière dont un changement souhaité se produira ou dont un objectif sera réalisé.» (AECF 2022, p.2). Au fil du temps, la TDC s'est révélée un instrument crucial pour l'élaboration de programmes, à la base de la planification stratégique, du suivi et de l'évaluation des programmes sociaux et environnementaux (Belcher, Bonaiuti et Thiele, 2024). De nouvelles idées et innovations voient sans cesse le jour et permettent aux praticiens de l'évaluation d'appréhender l'ampleur et la profondeur des programmes sociaux complexes

Enseignements tirés:

 Les participants parties prenantes de l'évaluation: 

1. La sélection des parties prenantes est très importante: il est essentiel de comprendre leurs expériences, croyances, attitudes, convictions, opinions sur le programme pour savoir dans quelle mesure le programme a fonctionné ou pas. Elles sont une réelle source de connaissances pour la conception d'une TDC complète.
2. Les rôles des parties prenantes: Il est essentiel de définir les rôles des parties prenantes de l'évaluation aux fins de la planification de cette dernière. Cela permet d'établir le profil des parties prenantes afin de mieux comprendre dans quelle mesure elles ont contribué au programme, d'évaluer à quoi attribuer les changements observés et d'émettre un jugement éclairé sur la performance du programme. Cela clarifie également les conditions et les hypothèses des interventions du programme pour guider les changements sociaux tels que prévus.
3. Apprendre et réfléchir avec les parties prenantes permet aussi de présenter les résultats de l'évaluation de programmes sociaux et environnementaux complexes. À la fin de l'évaluation, il est conseillé de valider les résultats de l'évaluation avec des parties prenantes pour favoriser la participation, l'appropriation et la reproduction des interventions en cas de succès ou de réfuter les hypothèses dans lesquelles le changement escompté n'a pas eu lieu afin de revoir la conception du programme.

• J'ai récemment évalué un programme qui ne disposait ni d'une TDC ni d'un ML. Grâce à la contribution des principales parties prenantes, en particulier des membres exécutifs et des différents responsables des comités, j'ai pu toutefois retracer l'intervention, apprécier la théorie du programme et déduire la théorie de mise en œuvre afin de représenter graphiquement l'intervention avec les hypothèses et les facteurs explicites qui ont influencé la manière dont le changement a été opéré. À la fin de l'évaluation, le groupe a pu disposer d'un premier rapport d'évaluation avec une TDC et un ML. La TDC et la LM ont toutes deux été validées avec et par les bénéficiaires du projet lors de l'atelier de validation des parties prenantes. La direction du programme est donc mieux placée pour prendre des mesures correctives dans les domaines dans lesquels le programme a eu de faibles performances et pour revoir la conception du programme en vue d'une amélioration.

  

Méthodes de collecte des données et théorie du changement

1. Groupes de discussion (FGD): Cette méthode est très utile dans les cas où le programme ne dispose pas d'une théorie du changement. Elle constitue une base solide pour concevoir la TDC. Elle contribue également à la compréhension du Pourquoi, «théorie du programme», en élaborant et validant le Comment, «théorie de la mise en œuvre», dans la mesure où ces éléments clarifient la TDC et explicitent le ML avec une description claire de l'articulation du programme entre les intrants, les produits, les effets et l'impact.
2. Revue documentaire (RD): Cette méthode de collecte des données est essentielle pour décortiquer la liste des activités menées et les relier aux Produits-Effets-Impact afin de comprendre la manière dont changement a été opéré. La TDC et le ML explicitent tous deux la logique qui sous-tend le programme et peuvent être des instruments essentiels pour le suivi et l'évaluation du programme.

• Les groupes de discussion et la revue documentaire sont un excellent moyen de collecter des données qualitatives en vue d'une analyse plus approfondie. Ils offrent également la possibilité d'approfondir les processus de planification, de suivi et de mise en œuvre de l'intervention afin de valider la théorie qui a guidé l'intervention. Une évaluation des résultats d'un programme complexe en Côte d'Ivoire a montré que le fait de disposer d'une TDC lors du début du programme a permis de développer une note explicative des mécanismes à l'origine du changement observé, de fournir les ressources ou intrants nécessaires aux participants du programme et de documenter les processus en reliant les activités aux produits puis aux effets. Il est essentiel d'entendre les voix sur le terrain par rapport à la planification du projet pour la réussite du projet.

Références

AECF. (2022). Developing a Theory of Change: Practical guide. [Élaborer une théorie du changement: guide pratique] [Disponible en ligne]: aecf-theoryofchange-guidance-2022.pdf

Anderson, A.A. (2005). The Community Builders’ Approach to theory of Change: A practical guide to theory development. [L'approche des constructeurs communautaires de la théorie du changement: guide pratique pour l'élaboration de la théorie] The Aspen Institute Roundtable on Community Change. [Disponible en ligne]: TOCI-final3.indd

Belcher, B.M, Bonaiuti, E. et Thiele, B. (2024). Applying Theory of Change in research program planning: Lessons from CGIAR [L'application de la théorie du changement à la planification de programme de recherche: Leçons du CGIAR]. Environmental Science and Policy. Vol. 160. 103850, [Disponible en ligne]: https://doi.org/10.1016/j.envsci.2024.103850 

Harries, E., Hodgson, L. & Noble J. (2014). Creating Your Theory of Change: Introduction to Theory of Change. [Créer votre théorie du changement: Introduction à la théorie du changement] [Disponible en ligne]: Center for Theory of Change - Theory of Change Community 

INTRAC for Civil Society. (2017). Different types of Evaluations. [Différents types d'évaluations] [Disponible en ligne]: https://www.intrac.org/ 

Pawson, R. et Tilley, N. (2004). Realistic Evaluation [Évaluation réaliste]. London. Sage Publications.

Tilley, N. (2000). Realistic Evaluation: An overview. [Évaluation réaliste: vue d'ensemble] Nottingham Trent University. [Disponible en ligne]:

https://www.researchgate.net/publication/252160435_Realistic_Evaluation_An_Overview