Aller au contenu principal
John Hoven

United States of America

John Hoven Member since 30/09/2020

independent
Website
Process tracing (a leading method of qualitative causal inference) is designed to investigate cause-and-effect in one-of-a-kind situations where unknown unknowns are important factors. My personal focus is applying this to design, implement, and evaluate development and peacebuilding projects.

My contributions

  • Discussion

    How are mixed methods used in programme evaluation?

    • John Hoven

      United States of America

      John Hoven

      independent

      Posté le 25/09/2023

      Les méthodes qualitatives sont souvent descriptives. Quelqu'un a-t-il utilisé l'inférence causale qualitative ?

      L'objectif de l'inférence causale qualitative est de prouver la relation de cause à effet, soit en regardant vers le passé, soit en regardant vers l'avenir. J'ai l'impression que cette approche s'appuie fortement sur des entretiens non scénarisés, où les problèmes non découverts sont révélés par des questions complémentaires. (Que voulez-vous dire ? Pouvez-vous donner un exemple ?)

      Read on a separate page
  • Discussion

    Reporting and supporting evaluation use and influence

    • John Hoven

      United States of America

      John Hoven

      independent

      Posté le 15/09/2021

      Selon Olivier Cossee, "les évaluateurs doivent proposer des solutions raisonnables aux problèmes qu'ils soulèvent... la partie difficile est de proposer quelque chose de mieux, de manière constructive."

      Une solution raisonnable est, au moins implicitement, une théorie du changement. Elle doit être explicite : un objectif provisoire, une première étape vers cet objectif et des étapes intermédiaires. La partie la plus difficile est cette première étape. Faire ce premier pas devrait répondre à la question "Cela vaut-il la peine d'être envisagé ?".

      John Hoven

      Read on a separate page
  • Discussion

    Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    • John Hoven

      United States of America

      John Hoven

      independent

      Posté le 09/02/2021

      Chers tous,

      Permettez-moi de conclure ce sujet de discussion par quelques réflexions sur : Qu'avons-nous appris ? Que devrions-nous apprendre ensuite ?

      Deux choses que nous avons apprises :

      1. Les projets à grande échelle peuvent être adaptés aux désirs et aux capacités locales. C'est ce que fait le CGIAR, pour s'assurer que les agriculteurs adoptent leur recherche agricole.

      2. Une TdC évolutive peut être réalisée avec très peu d'argent ou de compétences. (Voir pièce jointe.) Cela permet aux populations locales d'être des partenaires à part entière dans un projet de développement au niveau du village. 

      Trois choses à apprendre ensuite :

      1. Les donateurs peuvent proposer des contrats qui ne précisent pas les actions, les résultats ou les indicateurs de succès. (Voir Grandori et al. et Reuer.) Cela permettrait de lever un obstacle majeur à l'apprentissage local. Les entreprises le font lorsqu'elles passent des contrats pour l'innovation, car les actions et les résultats souhaités ne sont pas connus au moment de la signature du contrat.

      2. Les TdC imbriquées vous permettent de zoomer pour voir plus de détails, comme les cartes Internet. Les TdC en gros plan présentent un village, un marché de produits ou un groupe social spécifique. Elles évoluent rapidement au cours du démarrage d'un projet (toutes les semaines ou deux, et non pas tous les six mois ou un an). Effectuez un zoom arrière pour voir une TdC moins détaillée (les acteurs sont des catégories plutôt que des groupes nommés). Cette TdC catégorielle peut devenir une TdC de première approximation pour un nouveau projet (par exemple, figure 2, page 5 dans l'évaluation du développement communautaire par le FIDA).

      3. Une TdC évolutive est révisée lorsque des éléments probants réfutent fortement une étape de la chaîne de cause à effet, ou elle est confirmée lorsque des éléments probants valident fortement l'étape. Ces preuves permettent de rendre compte de la situation comme l'exigent les donateurs.

      Merci à tous pour vos contributions. N'hésitez pas à me contacter pour me faire part de vos réflexions supplémentaires.

      John Hoven

      jhoven@gmail.com

      Read on a separate page
    • John Hoven

      United States of America

      John Hoven

      independent

      Posté le 01/02/2021

      Il semble que tant au niveau individuel qu'organisationnel, il y ait des tentatives pour s'assurer que la TdC n'est pas "coulée dans le béton" comme l'a mentionné Jackie Yptong, et qu'il existe quelques bons exemples d'utilisation de la TdC pour l'apprentissage comme dans le GCRAI. 

      Je vous remercie tous pour vos contributions et pour avoir décrit comment vous ou votre organisation utilisez les TdC.

      J'aimerais aller un peu plus loin et vous demander si vous connaissez des acteurs / donateurs qui seraient prêts à lancer des projets au niveau local sans aucune hypothèse et à développer des TdC au fur et à mesure qu'ils comprennent ce qui est nécessaire sur le terrain ? 

      Dans ce cas, le projet ne commencerait pas avec des résultats prédéfinis, mais seulement avec un résultat général / large, les chemins causaux pour l'atteindre n'étant pas encore définis. 

      Ci-dessous, mes réactions à Erdoo et Janvier et les questions de suivi pour leur considération.

      Selon Erdoo Karen Jay-Yina, les programmes de recherche agricole du CGIAR apprennent à utiliser plus efficacement les théories du changement. Leurs TdCs se concentrent sur "les mécanismes de changement par lesquels le nouveau produit agricole est adopté par un agriculteur. Les agriculteurs peuvent-ils utiliser les nouvelles technologies ? En ont-ils même envie ? Les TdC doivent identifier les mécanismes de changement sur la base de preuves et d'hypothèses vérifiables. Les agriculteurs concernés doivent être impliqués dès le début de la recherche". (ISPC 2012 pp. 14, 23, 7, 25) Erdoo déclare : "Lorsque les TdC sous-jacents et les preuves sont réexaminés, saisis et suivis de manière cohérente, alors le traçage des processus ou l'analyse de la contribution de certaines voies causales est facilité".

      Mes questions de suivi pour Erdoo :

      Le CGIAR utilise-t-il le traçage des processus pour faire des prévisions fondées sur des preuves ? Avez-vous rencontré d'autres membres de la communauté du développement et de la consolidation de la paix qui utilisent les TdC comme outil d'apprentissage ?

      Janvier Mwitrehe cite deux examens de l'utilisation des TdC par l'USAID. En Tanzanie, "USAID/Tanzanie n'a pas anticipé le besoin de revoir la théorie fondamentale du changement. Cependant, après sa deuxième année, il est devenu évident que la théorie initiale du changement et la réalité de la mise en œuvre n'étaient pas alignées. Certaines des activités n'étaient pas réalisables, en raison de changements dans le contexte local. La Théorie du changement originale était une contrainte contraignante à la mise en œuvre réussie de l'activité". Une révision de la TdC en 2019 en tant qu'outil de gestion adaptative confirme l'utilisation par l'USAID de la TdC comme contrainte contractuelle contraignante : "Le but principal d'un examen de la TdC est d'assurer l'alignement de la TdC avec les objectifs que vous essayez d'atteindre. Les facteurs qui pourraient inciter à un examen spécial d'une théorie du changement comprennent l'incapacité à influencer le résultat du niveau suivant comme prévu, des voies de causalité inconnues jusqu'alors et des changements significatifs dans les conditions politiques ou environnementales du contexte local".

      Je pense que ces deux exemples montrent que pour l'USAID, une TdC est une contrainte contractuelle contraignante plutôt qu'un outil d'apprentissage. Ma nouvelle question de suivi est la suivante : Janvier, avez-vous connaissance d'une discussion au sein de l'USAID sur la nécessité de s'adapter à un contexte local, plutôt que de simplement s'adapter aux changements du contexte ?

      John Hoven

      Read on a separate page
    • John Hoven

      United States of America

      John Hoven

      independent

      Posté le 25/01/2021

      Ce que j'aime dans ce forum, c'est qu'il fait ressortir un si large éventail de perspectives. Permettez-moi de résumer brièvement, et de suggérer une voie à suivre pour chaque perspective.

      Il s'agit d'utiliser une Theorie du Changement évolutive et fondée sur des preuves pour concevoir un projet localisé.

      Jean Providence Nzabonimpa a donné des raisons convaincantes d'adopter ce concept : "Il y a des facteurs importants inconnus au stade de la conception des interventions de développement... Garder la TdC intacte tout au long de la vie d'un projet suppose que la plupart de ses hypothèses sous-jacentes et de sa chaîne logique soient connues à l'avance et restent constantes. C'est rarement le cas... Supposons que X produits mènent à Y résultats. Plus tard, on découvre que les facteurs A et B contribuent également, et de manière plus significative, à Y... Un projet qui découvre de nouvelles preuves devrait les intégrer dans le parcours d'apprentissage".

      Question de suivi pour Jean Providence : Pouvez-vous décrire un projet spécifique qui illustre votre point de vue ? Connaissez-vous quelqu'un qui pourrait utiliser une TdC évolutive et basée sur des preuves pour concevoir un projet localisé ?

      Serdar Bayryyev met en avant les projets de "développement communautaire", qui se concentrent sur le capital social et l'autonomisation. Une étude de cas de ces projets a utilisé une théorie du changement basée sur l'hypothèse qu'un processus de mise en œuvre participatif soutient les processus de développement centrés sur les personnes.

      Question complémentaire pour Serdar : Avez-vous déjà vu un projet de développement communautaire qui utilisait une TdC évolutive et basée sur des preuves pour concevoir un projet localisé ? Connaissez-vous quelqu'un qui pourrait essayer ce projet ?

      Janvier Mwitirehe dit que "nous opérons dans un environnement qui évolue rapidement et dont il faut tenir compte". Cela peut se faire grâce au cadre de "collaboration, apprentissage et adaptation" (CLA) de l'USAID, qui dit que "les hypothèses critiques au centre d'une TdC doivent être périodiquement testées - ce qui est une caractéristique centrale de la planification basée sur des hypothèses".

      Question de suivi pour Janvier : Supposons qu'un environnement de projet soit mal compris, mais qu'il n'évolue pas rapidement au cours des six premiers mois où le personnel du projet interagit avec la population locale. Le cadre CLA aidera-t-il le personnel du projet à concevoir une TdC basée sur des preuves locales plutôt que sur des hypothèses ? L'USAID est-elle réceptive à l'utilisation d'une TdC évolutive et basée sur des preuves pour concevoir un projet localisé ?

      Carlos Tarazona, responsable principal de l'évaluation à la FAO, déclare que "au Bureau de l'évaluation de la FAO, nous avons utilisé la théorie du changement (TdC) ... à des fins d'évaluation uniquement".

      Question de suivi pour Carlos : Avez-vous vu une TdC évolutive et basée sur des preuves utilisée pour une évaluation en temps réel ? Si quelqu'un voulait utiliser une TdC évolutive et basée sur des preuves pour concevoir un projet localisé, pourrait-il obtenir des conseils utiles d'un expert en évaluation en temps réel ?

      John Hoven

      Read on a separate page