Ram Khanal Member since 14/10/2018

My contributions

• Discussion

  Do Big Projects Deliver Effective Solutions in a Complex World?

  29 Mar 2025
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 26/04/2025

    Thank you all for the rich and diverse insights that contributed to the discussion on the effectiveness of large-scale development projects. The collective reflections underscore that while project size can influence outcomes, it is not the sole determinant of success. Key factors such as contextual relevance, governance structures, community engagement, and adaptive capacity play pivotal roles.

    The following are the major points from this discussion.

    Structural limitations of big projects
    Several participants highlighted inherent challenges common to large projects. For example, Lila critiques overambitious theories of change and limited local engagement, emphasizing the disconnect between intentions (e.g., food security) and unrealistic activities (e.g., one-day training). In his detailed analysis, Prof. Tinsley points to high transaction costs caused by multilayered management, where administrative overheads dilute resources intended for beneficiaries. 

    Serdar notes the lack of genuine community participation, with consultations often confined to the inception phase—undermining co-design. Divya brings in an equity lens, warning of elite capture and misaligned funding, where power dynamics can silence local voices. Shriniwas raises concerns over potential governance failures, such as poor coordination in overly complex project designs that prioritize donor visibility over lasting impact.

    2. Large Interventions can also succeed under specific conditions
    Some contributors shared examples of large projects succeeding when well-integrated, purpose-driven, and contextually grounded. Pramel cites India’s high-density, locally focused investments as successful cases. Similarly, Serdar commends Afghanistan’s FAO-led irrigation program for blending infrastructure development with capacity building and environmental benefits. Eddah notes that large projects tend to perform well in infrastructure and humanitarian contexts but face limitations in sectors like health and agriculture, where smaller, targeted initiatives often prove more effective.

    3. For the success of the intervention, consideration of context, sustainability, and knowledge continuity is key
    Several scholars stressed the importance of contextual alignment, cultural fit, flexible monitoring, and local capacity development to ensure the successful interventions. For example, Zhiqi highlights the role of cultural embeddedness and behavioral resonance by contrasting the success of microfinance in Bangladesh (community-driven) with its failure in China (top-down). Ojha advocates for participatory monitoring to reflect local dynamics and cautions against rigid, globally imposed frameworks.

    Others pointed out systemic gaps that hinder effectiveness. Anna Maria argues that a skilled and grounded team can often outweigh the benefits of scale, as small projects can deliver outsized impact. Charles warns of knowledge discontinuity in large projects due to reliance on short-term consultants, which weakens institutional memory. Hailu emphasizes the need for iterative learning to navigate complex environments, regardless of project size. Imtiaz highlights the key factors affecting the project's success, such as good management approaches and an understanding of the project's complexities.

    The consensus is that scale alone does not determine success or failure.
    However, large projects tend to face recurring structural challenges. The discussion highlights that scale can be leveraged more effectively through co-design (with strong local integration), contextualised interventions rooted in local realities, and investment in local systems that prioritize capacity building and downward accountability. Ultimately, project effectiveness depends on purposeful design, equitable governance, and adaptive learning, not merely the size of the budget. To move beyond the binary of ‘big’ vs ‘small,’ we must instead ask how and for whom the project is implemented.

    A comprehensive summary of this discussion will be made available shortly. It will be accessible in English, Spanish, and French. Please check back soon for updates.

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 16/04/2025

    Cher Dr Ojha,

    Merci d’avoir partagé une réflexion aussi riche et ancrée dans votre longue expérience dans ce domaine. Vos observations résonnent profondément avec ce que j’ai moi-même constaté dans de nombreuses initiatives à grande échelle. La tendance à adopter des cadres globaux avec une adaptation contextuelle minimale compromet en effet l’efficacité et l’appropriation locale. Lorsque les projets sont trop rigides et centralisés, ils perdent l’opportunité de répondre aux dynamiques locales, aux besoins des communautés et aux contextes changeants — éléments essentiels pour atteindre des résultats inclusifs et durables.

    J’apprécie particulièrement votre insistance sur le renforcement des systèmes de suivi et d’évaluation. Se fier uniquement à des indicateurs standardisés et imposés de manière descendante masque souvent les véritables raisons derrière le succès ou l’échec d’un projet. Selon mon expérience, les approches participatives et mixtes — en particulier celles qui permettent la co-création d’indicateurs avec les parties prenantes — contribuent non seulement à produire des données plus pertinentes, mais aussi à instaurer la confiance et à renforcer l’appropriation. Par exemple, dans un récent projet d’adaptation climatique, l’intégration du récit communautaire et de la cartographie participative dans le suivi et l’évaluation a permis de révéler des dynamiques de pouvoir et des impacts localisés qui auraient échappé à une approche strictement quantitative.

    Merci d’avoir soulevé ces points essentiels — votre expérience apporte une réelle valeur ajoutée à cette conversation en cours.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 15/04/2025

    Cher Hailu,

    Merci pour vos réflexions éclairées. Je partage pleinement votre point de vue selon lequel la complexité, l’incertitude et l’évolution des conditions externes rendent la gestion des mégaprojets particulièrement difficile. D’après mon expérience, l’intégration de la flexibilité et de l’apprentissage itératif dans la conception et la mise en œuvre peut considérablement renforcer la résilience et l’efficacité. Ces principes s’appliquent en effet à toutes les initiatives à long terme, quel que soit le niveau de budget.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 13/04/2025

    Chère Eddah,

    Merci pour votre contribution perspicace. J’apprécie sincèrement la clarté avec laquelle vous avez distingué l’efficacité contextuelle des projets de grande et de petite envergure, appuyée par des exemples sectoriels pertinents. Votre réflexion renforce un enseignement clé de notre discussion en cours : l’efficacité d’un projet — qu’il soit de grande ou de petite taille — doit être alignée avec son objectif, son contexte et son mode de mise en œuvre.

    En effet, les interventions à grande échelle se sont révélées particulièrement efficaces dans les domaines de l’infrastructure et de la réponse d’urgence, en raison de la nécessité d’actions rapides, coordonnées et à forte intensité de ressources. Toutefois, comme vous l’avez justement souligné, dans des secteurs tels que la santé, l’agriculture et le développement social, les projets de petite taille, ancrés localement, tendent à offrir une meilleure durabilité, pertinence et appropriation communautaire.

    Cela met en lumière un point essentiel : la question n’est pas de savoir si les grands ou les petits projets sont meilleurs, mais plutôt de déterminer ce qui convient le mieux à l’objectif et au contexte donnés. Trouver un équilibre entre l’échelle et l’adaptabilité locale, et compléter les projets de grande envergure par des initiatives locales, pourrait offrir une voie plus holistique vers un changement durable.

    Dans l’attente de poursuivre l’échange et d’en apprendre davantage grâce à votre riche expérience.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 13/04/2025

    Cher Serdar,

    Merci pour vos réflexions riches et bien formulées. Votre exemple, en particulier celui du programme d’irrigation de la FAO en Afghanistan, illustre comment des initiatives de grande envergure, dotées de ressources suffisantes, peuvent générer des résultats systémiques — allant du développement des infrastructures au renforcement des capacités, en passant par des bénéfices environnementaux — et offrent ainsi des enseignements précieux pour la communauté.

    Dans le même temps, comme vous l’avez également souligné, les projets à grande échelle peuvent rencontrer des difficultés. Selon mon expérience, une portée géographique et thématique étendue, combinée à des couches bureaucratiques, tend souvent à affaiblir l'engagement communautaire réel. Dans de nombreux cas, les consultations se limitent à la phase de démarrage du projet, laissant peu de place à la co-conception ou aux retours précoces sur la conception même du projet.

    La principale leçon à retenir est la nécessité de trouver un équilibre entre l’échelle et la participation — en reconnaissant à la fois les opportunités et les limites inhérentes aux grands projets, afin d’assurer leur efficacité à long terme et leur appropriation locale.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 10/04/2025

    Cher Pramel,

    Merci d’avoir partagé vos réflexions éclairantes dans le contexte indien.

    Il est encourageant de voir comment une forte densité d’investissement, combinée à une conception intégrée et spécifique, peut générer un impact concret sur le terrain. Votre exemple met en lumière une leçon essentielle pour les interventions à grande échelle : la concentration, la pertinence locale et la pensée systémique sont des éléments clés pour atteindre à la fois l’efficacité et la durabilité.

    Il est particulièrement précieux pour la communauté de pratique d’apprendre de telles expériences concrètes. Si possible, il serait utile d’en savoir davantage de votre part — en particulier toute réflexion comparative sur la manière dont la taille des projets influence l’adaptabilité, l’appropriation locale et les coûts de transaction selon les contextes.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 09/04/2025

    Cher Professeur Tinsley,

    C’est un plaisir de reprendre contact après tant d’années (réf. : AIT/AASP/1998), et je vous remercie pour votre observation pertinente.

    En effet, en Asie du Sud — en particulier au Népal — j’ai pu constater que les projets de grande envergure impliquent souvent plusieurs niveaux de gestion, incluant des experts internationaux, ce qui engendre des coûts de transaction élevés aux niveaux mondial, national et local. Bien que les bailleurs de fonds considèrent généralement les grands projets comme plus rentables sur le plan administratif, la valeur réelle atteignant les bénéficiaires peut s’en trouver considérablement réduite.

    Compte tenu de votre vaste expérience, je serais très intéressé de savoir si vous avez connaissance d’études analysant la proportion des fonds utilisés par les prestataires de services par rapport à ceux réellement perçus par les bénéficiaires finaux.

    Bien cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 08/04/2025

    Chère Lila,

    Je vous remercie pour votre réflexion perspicace. Vous avez mis en lumière des enjeux majeurs dans la programmation du développement, notamment des théories du changement (ToC) trop ambitieuses, qui manquent de parcours réalistes vers l’impact. Lier des résultats complexes, tels que la sécurité alimentaire, à des activités limitées — comme une formation d'une journée — illustre l’écart entre l’intention et la mise en œuvre. À mon sens, cela découle souvent d’une théorie de l’action faible ou inexistante, alors qu’elle devrait expliquer comment les activités se traduisent en résultats concrets dans des contextes spécifiques.

    Votre remarque sur la faible implication des communautés locales dans la conception et la mise en œuvre des programmes est tout aussi pertinente. Sans une participation significative, les interventions risquent de ne pas répondre aux besoins réels et de ne pas favoriser une appropriation locale — essentielle pour la durabilité. J’ai également apprécié votre référence à la fable sanskrite, qui illustre bien les dynamiques entre bailleurs de fonds, opérateurs et évaluateurs.

    Étant donné votre riche expérience en Afrique et en Asie, je serais très intéressé d’avoir votre point de vue sur la manière dont ces défis se manifestent selon les contextes, et si des initiatives communautaires à plus petite échelle ont su surmonter certaines des limites structurelles des projets de grande envergure. Dans l’attente de vos éclairages.

    Cordialement,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 31/03/2025

    Les grands projets sont conçus pour avoir un impact à grande échelle, mais offrent-ils toujours un bon rapport qualité-prix ? Selon votre expérience, réussissent-ils à transformer efficacement les fonds en changements significatifs et durables dans les domaines de la sécurité alimentaire, de l'agriculture et du développement rural ? Ou bien rencontrent-ils des difficultés liées à des inefficacités, des structures rigides et une appropriation locale limitée ? Commençons par réfléchir à la légitimité de ces investissements de grande envergure. Que révèle votre travail d’évaluation ? Votre expérience compte.

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 22/04/2025

    Dear Divya,

    Thank you for this thoughtful and critical reflection. Your points about the gap between intentions and investments and power dynamics are especially compelling. From your feedback, it is noted that large projects often come with ambitious goals—equity, inclusion, systems transformation—but fail to adequately fund the required capacities and mechanisms that would make these intentions achievable. This mismatch undermines delivery, particularly at the local level where change needs to be most visible and impactful.

    The issue of governance and elite capture is also crucial. Without intentional efforts to promote transparency, shared leadership, and downward accountability, powerful actors often dominate processes and resources—further marginalizing vulnerable groups. 

    Your insights highlight that for large projects to succeed, it’s not only about how much we invest, but how and where we invest—with intentionality, equity, and accountability at the core. 

     

    Warm regards,

    ---------------------------------------------------------------------------------------------------------------------------

    Dear Kudzai,

    Thank you for your feedback. I agree your view that project size is determined by various factors such as implementation duration, funding size and other factors. Ward regards, 

    ----------------------------------------------------------------------------------------------------------------

     

    Dear Divya,

    Thank you for this thoughtful and critical reflection. Your points about the gap between intentions and investments and power dynamics are especially compelling. From your feedback, it is noted that large projects often come with ambitious goals—equity, inclusion, systems transformation—but fail to adequately fund the required capacities and mechanisms that would make these intentions achievable. This mismatch undermines delivery, particularly at the local level where change needs to be most visible and impactful.

    The issue of governance and elite capture is also crucial. Without intentional efforts to promote transparency, shared leadership, and downward accountability, powerful actors often dominate processes and resources—further marginalizing vulnerable groups. 

    Your insights highlight that for large projects to succeed, it’s not only about how much we invest, but how and where we invest—with intentionality, equity, and accountability at the core.

    Warm regards,

    -------------------------------------------------------------------------------------------------------------------------

     

    Dear Shriniwas,

    Thank you for your candid and insightful reflections. Your experiences echo many of the recurring challenges many of us seen in large-scale projects—especially the issues around complexity, coordination, and cost-efficiency. I agree that when project design becomes overly ambitious with too many components, it dilutes focus and delivery. The pressure to “showcase” rather than deeply reflect and learn is indeed more visible in large projects, often driven by donor visibility expectations. Your point on political interests derailing project momentum is particularly critical in most of the developing countries. 

    Your emphasis on the changing funding landscape is timely. As aid becomes increasingly constrained, integrating cost-effectiveness into impact evaluations is no longer optional—it’s essential. This not only enhances accountability but ensures we’re making the most of limited resources. Smaller, focused projects often demonstrate better value for money by being context-responsive, and less burdened by bureaucracy.

     

    Regards,

     Ram Chandra Khanal Advisor – Community of Evaluators (CoE), Nepal

    Read on a separate page
• Discussion

  Artificial intelligence in the context of evaluation

  15 Feb 2024
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 13/03/2024

    I have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.

    Read on a separate page
• Discussion

  How are we progressing in SDG evaluation?

  17 Jan 2024
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 21/01/2024

    Chère Emilia,

    Merci d'avoir soulevé cette importante question.

    1.     J'ai eu l'occasion de participer à l'évaluation de certains aspects des ODD au Népal. Je trouve que l'évaluation d'objectifs ou de cibles spécifiques dans le cadre des ODD est un processus normal et que nous pouvons tirer des enseignements des approches d'évaluation existantes. L'évaluation de la durabilité à un niveau plus élevé, en tenant compte de la dimension spatio-temporelle de certaines interventions pendant ou à la fin de l'intervention, peut toutefois s'avérer une tâche difficile. Avec mon expérience limitée, j'ai rencontré certains défis lors de l'évaluation des interventions liées aux ODD. Je pense qu'il était bon de considérer la portée des interventions à un niveau plus élevé et de prendre en compte l'ensemble de l'écosystème des interventions sélectionnées (puisque les ODD sont intersectoriels, collaboratifs et bien d'autres termes utopiques), ce concept théoriquement attrayant a cependant posé quelques difficultés notables dans l'évaluation. Certaines d'entre elles sont des interventions à portée étroite ou basées sur des projets (à court terme, peu étendues, trop axées sur la fourniture d'activités, isolées, systèmes MEAL faibles et bien d'autres) ; les approches traditionnelles et l'état d'esprit de la commande et de la gestion de l'évaluation (comme le manque d'approche de la pensée systémique et les vues anticipatives que l'intervention peut mener à l'avenir) ; et l'évaluation opérationnelle de la durabilité (comme la conception faible de l'intervention, le manque de données critiques, le manque d'attribution et le temps limité alloué pour évaluer la condition de la durabilité).En outre, il existe des lacunes importantes dans les politiques d'évaluation, des défaillances institutionnelles et des lacunes critiques dans les capacités d'évaluation de la durabilité aux niveaux national et infranational. En outre, je ne vois pas beaucoup d'intérêt/enthousiasme pour effectuer une évaluation ex post des programmes, même de la part des grands donateurs et des partenaires de développement.

    2.      L'évaluation des ODD est encore un concept émergent pour de nombreuses organisations, y compris les agences de l'ONU. Les ODD étant encore nouveaux au niveau infranational, la demande de ce dernier est pour l'instant faible. 
     

    Salutations à tous, 

    Ram Chandra Khanal 

    Read on a separate page
• Discussion

  Proving the value of agroecology for farmers and food systems: what methods and evidence do we have?

  14 Nov 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 16/11/2023

    Cher Ravi ji,

    Merci d'avoir soulevé ce point important. J'aimerais apporter mes deux centimes d'euros sur la base de mon expérience limitée dans ce domaine.

    1. L'agroécologie est un concept multidimensionnel à différents niveaux ou échelles, de sorte qu'il peut être difficile de saisir la multifonctionnalité de l'agroécologie pour évaluer les performances en développant un cadre commun. Compte tenu des externalités, des interactions et des fonctions connues/inconnues/inconnues, l'évaluation des performances à l'aide de techniques quantitatives au niveau du ménage ou de l'exploitation ne sera pas adéquate. Outils participatifs tels que les tableaux de bord communautaires, en utilisant les observations et la satisfaction des gens peuvent être utiles. 
    2. Les aspects environnementaux, économiques et sociaux/institutionnels sont importants pour évaluer les performances, mais aussi la probabilité que les résultats se maintiennent. Les indicateurs de performance peuvent varier en fonction du contexte local, mais j'ai utilisé certains indicateurs tels que la présence de pollinisateurs, le niveau d'attaque des ravageurs, la diversité dilatoire et la sécurité alimentaire, l'utilisation de cultures traditionnelles/indigènes, la diversité des plantes/cultures utilisées à des fins alimentaires et médicinales, la contribution au revenu agricole, le niveau de tolérance au stress (tels que les risques climatiques), etc.   
       Salutations distinguées,

    Ram Chandra Khanal

    Read on a separate page
• Discussion

  Can visual tools help evaluators communicate and engage better?

  26 Jun 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 05/07/2023

    Chers tous,

    De nombreux collègues ont mentionné l'utilité des outils visuels pour une meilleure communication.

    Je partage l'utilité de cette approche. J'ai remarqué que les outils visuels - le langage avec une clarté universelle - aident à communiquer (pendant et après l'évaluation) facilement car les outils abordent les barrières linguistiques avec de multiples niveaux culturels et d'alphabétisation parmi les groupes. C'est d'autant plus utile lorsqu'il s'agit d'impliquer les bénéficiaires du développement. D'après mon expérience, les gens deviennent plus coopératifs, comprennent facilement le contexte et l'objectif et contribuent à une prise de conscience rapide, à une meilleure réponse et à un apprentissage croisé.

    Mais ces évaluations, dans de nombreux cas, deviennent un processus mécanique avec un rapport longuement rédigé (avec un anglais soi-disant avancé qui n'est généralement pas compris par les nombreuses parties prenantes) qui sert l'objectif de la responsabilité mais pas de l'apprentissage. Dans le cadre de l'évaluation participative, j'ai une certaine expérience de l'utilisation d'outils visuels tels que les cartes des ressources sociales, les diagrammes de Venn, les cartes historiques et de mobilité et le tableau de bord de la communauté à des fins différentes. Les outils peuvent être développés en fonction des besoins et du contexte, mais une utilisation optimale des outils peut donner de meilleurs résultats.  

    Je vous prie d'agréer, Madame, Monsieur, l'expression de mes salutations distinguées,

    Ram  

    Read on a separate page
• Discussion

  How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions

  10 May 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 16/06/2023

    Merci, Svetlana, de partager le document et de nous avoir demandé notre avis. Je n'ai qu'une connaissance limitée des systèmes du GCRAI, mais je vous fais part de mes observations basées sur mon travail antérieur sur les programmes de recherche et de développement agricoles dans le contexte asiatique.

    L'évaluation de la recherche et du développement de l'agriculture et des interventions de gestion des ressources naturelles associées n'est pas simple. C'est pourquoi je salue le travail de l'équipe qui a réussi à présenter les thèmes importants sous une forme concise et exploitable. Il y a cependant quelques observations qui pourraient être utiles pour réfléchir/réfléchir afin de rendre le document plus inclusif et d'en faire un outil de prise de décision pour les parties prenantes.

    J'essaie de me limiter à une seule question : "Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?

    Les lignes directrices pourraient se concentrer davantage sur les perspectives et l'émergence du système : 

    Le document a mis en évidence l'évolution du contexte de l'évaluation au sein du GCRAI. Il a soulevé des questions importantes liées à l'avenir de la sécurité alimentaire avec une mission de fournir la science et l'innovation pour transformer les systèmes alimentaires, terrestres et hydriques dans une crise climatique et mentionne également des changements transformateurs. Il est encore possible d'intégrer ces éléments importants dans l'administration actuelle de l'évaluation.

    Il se peut que la ligne directrice doive aller au-delà de l'évaluation technique pour s'orienter vers une évaluation inclusive ou axée sur les bénéficiaires.

    La ligne directrice mentionne certains publics et utilisateurs (tels que les bailleurs de fonds et les agences de mise en œuvre), mais elle n'insiste guère sur les communautés, qui pourraient également être une partie prenante importante de la recherche et de l'innovation. Il existe de nombreuses activités de recherche et de développement réussies (telles que la sélection participative des plantes, la sélection participative, la priorisation et la sélection participative des technologies) dans lesquelles les communautés/agriculteurs sont des parties prenantes importantes. Il semble que leur rôle soit un peu absent de cette ligne directrice.

    Les voies d'impact des interventions de recherche et de développement sont longues et imprévisibles; les critères ou questions d'évaluation devraient donc tenir compte de ces aspects.

    Une fois que les résultats de la recherche sont générés (dans certains cas, la recherche ne génère pas les résultats attendus), le processus de diffusion de la technologie peut prendre plus de temps en raison d'un retard de développement substantiel et du processus d'adoption, et ce processus peut affecter la réalisation de l'impact/des avantages de la technologie au cours de la période d'intervention. Cela peut également influencer les aspects de durabilité. L'intégration de ces aspects pourrait constituer un défi dans le processus d'évaluation de la recherche.

    Read on a separate page
• Discussion

  A lack of learning in the monitoring and evaluation of agriculture projects

  15 Mar 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 19/03/2023

    Cher Daniel et autres membres d'Evalforward,

    L'évaluation a été principalement développée et utilisée de manière mécanique et a surtout servi à cocher des cases (redevabilité des donateurs) plutôt qu'à apprendre et à s'améliorer. Aujourd'hui, nous savons que les indicateurs et le "cadre logique" sont plus ou moins redondants dans les situations complexes dans lesquelles la plupart des projets agricoles sont menés.

    Permettez-moi de vous faire part de mon expérience récente. Je fais partie d'une équipe chargée d'évaluer la contribution de l'aide budgétaire avec une petite assistance technique (intervention de 3 ans) d'un donateur au gouvernement pour mettre en œuvre une stratégie nationale de développement de l'agriculture dans l'un des pays d'Asie du Sud. En tant qu'évaluateur, j'ai relevé les points suivants au cours du processus d'évaluation :

    a) L'"aide budgétaire" est fournie au trésor public et n'est pas affectée au secteur agricole. Dans ce cas, il y a une forte possibilité de fongibilité. Nous ne savons pas si le secteur a reçu le fonds et s'il a la possibilité d'effectuer des travaux supplémentaires. Et comment évaluer la contribution.

    b) Le contrat de financement contenait des objectifs ambitieux et non pertinents : Le programme comporte six objectifs assortis d'échéances annuelles à respecter pour obtenir le financement. Ces objectifs sont non seulement ambitieux pour les trois années d'intervention, mais ils sortent également du champ d'action du ministère de l'agriculture. Par exemple, la diminution du pourcentage de retard de croissance et l'augmentation du pourcentage de propriété foncière des femmes au niveau national. Il ne s'agit pas d'une intervention directe du ministère de l'agriculture et de nombreux autres acteurs contribuent de manière responsable à la réalisation de ces objectifs sur une longue période. Les mécanismes de coordination et de collaboration entre les ministères et les agences gouvernementales sont également inadéquats pour obtenir des informations/progrès. En outre, il n'existe aucun système de gestion et d'évaluation permettant de collecter des données au niveau infranational.

    c) La structure de gouvernance est également passée d'une structure unitaire à une structure fédérale. Les trois niveaux de gouvernement fonctionnent chacun de leur côté, sans coordination ni mécanismes de rapport adéquats. Les institutions et les politiques sont en cours de développement alors qu'il existe un grave déficit de capacités. Dans ce cas, il a été difficile pour le ministère de collecter des données et de compiler des rapports.

    Dans ce contexte, le cadre logique n'a pas encore été révisé et les évaluateurs sont invités à évaluer la contribution du Fonds sur ces indicateurs/objectifs. Les agences de mise en œuvre et les donateurs tentent toujours d'attribuer l'impact du fonds, ce qui revient à "extraire l'eau d'une pierre". Peut-être qu'un effort est encore nécessaire pour rendre l'approche M&E plus contextuelle et plus utile.  
    Je suis d'accord : "c'est reparti" et "nous répétons", malheureusement.  

    Ram Chandra Khanal, PhD
    Évaluateur indépendant, Katmandou, Népal

     

     

    Read on a separate page
• Discussion

  The pervasive power of western evaluation culture: how and in what ways do you wrestle with ensuring evaluation is culturally appropriate and beneficial to those who legitimise development aid?

  19 Sep 2022
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 07/10/2022

    Chers tous,

    Merci de partager votre expérience éclairante. J'ai une petite contribution basée sur mon expérience.

    La valeur de la culture dans l'évaluation est un discours moins débattu et pratiqué parmi les chercheurs en développement, les professionnels, les universitaires et les bailleurs de fonds. Pour diverses raisons, les questions culturelles sont moins représentées dans la conception de l'évaluation et les phases ultérieures. Lors de la conception d'une évaluation, la plupart des méthodes/outils d'enquête et d'observation ne tiennent pas compte du contexte - espace et temps - et se concentrent principalement sur les résultats et les indicateurs associés. Cela est d'autant plus important lorsqu'il s'agit de questions de développement social. L'approche récente consistant à utiliser la théorie du changement couvre, en principe, un spectre plus large du contexte, mais la compréhension des personnes et de leurs pratiques (=culture) n'a pas été une partie importante de l'analyse. Par exemple, au sein d'un groupe de personnes (prenons l'exemple des "hill Bramin" au Népal), les femmes ne disent généralement pas le nom de leur mari, ne serrent pas la main (elles ont une manière différente de saluer lorsqu'elles rencontrent des gens) et ne peuvent pas parler franchement avec un homme venant de l'extérieur. En outre, les rôles familiaux des hommes et des femmes sont également déterminés par les systèmes sociaux/la culture auxquels ils sont habitués depuis des générations, ce qui peut être étrange pour les personnes venant de l'Ouest. Certaines communautés vénèrent leur dieu avant d'initier des activités liées au projet ou d'accomplir les tâches du projet. Il existe des cas où les interventions de développement sont conçues sans tenir compte des aspects culturels (comme la démolition de temples ou de lieux sacrés ou religieux de certaines communautés pour construire une route qui affecte directement leur culture). Ce sont là quelques exemples. Dans ce cas, un évaluateur ne comprenant pas le contexte local et la culture - il/elle pourrait comprendre de différentes manières et les résultats globaux de l'évaluation pourraient être différents. Je pense qu'avoir un expert local (qui connaît la culture) et une conversation respectueuse avec les communautés sont deux stratégies que j'ai utilisées dans mes évaluations.

    Passez un bon week-end.

    Meilleures salutations, 

    Ram

     

    Read on a separate page
• Discussion

  Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

  28 Jan 2022
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 29/01/2022

    Chère Malika,

    Je ne pourrais pas être plus d'accord avec les points que vous avez soulevés. L'indépendance et une couverture suffisante des données/informations sont essentielles pour une évaluation crédible. Mais le revers de la médaille est que les évaluateurs ne disposent généralement pas de suffisamment de temps/de jours et d'informations complètes (malgré les demandes) pour entrer en contact avec les parties prenantes, les bénéficiaires, les groupes comparables et les personnes potentiellement affectées négativement (cela manque sérieusement dans la plupart des évaluations) pendant l'évaluation. Ainsi, les processus d'évaluation ne sont pas responsables devant les personnes pour lesquelles les interventions sont prévues. 

    Meilleures salutations,

    -----------------------------------------

    Ram Chandra Khanal

     

    Read on a separate page
• Discussion

  Making data collection meaningful and useful to farmers: what is your experience?

  28 Apr 2021
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 03/05/2021

    Cher David,

    Merci d'avoir porté ces questions importantes à l'attention de cette communauté de pratique. Sur la base de mon expérience de travail dans les pays en voie de développement, j'ai la contribution suivante pour votre référence.

    Avec mes meilleures salutations,

    1. Trouver un équilibre entre la profondeur et la longueur de l'évaluation : les exercices de suivi et d'évaluation basés sur des entretiens et des enquêtes sur les exploitations agricoles peuvent représenter une charge importante pour les répondants, par exemple en détournant du temps qui serait autrement alloué à d'autres activités. La fatigue des répondants due à la longueur des entretiens/enquêtes peut également entraîner une baisse de la qualité des données collectées, et donc de la fiabilité des résultats. D'autre part, une évaluation plus courte peut aboutir à un niveau de profondeur insuffisant pour concevoir des interventions efficaces.

    - Comment réduire la charge des petits exploitants agricoles lors des évaluations de suivi et d'évaluation ?

    Je préfère faire/je fais :

    • Faire des questionnaires courts orientés vers les objectifs.
    • La plupart du temps, des questions fermées, mais aussi la possibilité de partager leurs points de vue et leurs perspectives.
    • Interviewer dans leur propre cadre et au moment qui leur convient le mieux
    • Leur faire sentir qu'ils bénéficient aussi de cet exercice
    • Créer une forte relation (compétences interpersonnelles) - (ne pas faire de la mécanique mais aussi parler de leurs problèmes personnels)
    • Offrir un cadeau (cela peut être à leurs enfants).

    - Quelles sont les meilleures façons d'inciter les agriculteurs à participer à l'enquête (par exemple, des incitations non monétaires, la participation à l'adaptation de l'enquête, à la présentation des résultats) ?

    Je préfère faire / je fais :

    • Lorsque j'étais responsable de programme/projet, j'avais l'habitude de fournir aux agriculteurs une compensation financière (je suis convaincu que nous devons payer le fournisseur d'informations car nous, les collecteurs d'informations, gagnons une bonne somme d'argent pour des fonctions similaires).
    • Compenser leur temps avec de bonnes collations/rafraîchissements.
    • Leur offrir un cadeau en guise de "gage d'amour".
    • Reconnaître leur soutien

    2. Rendre les résultats des évaluations de S&E utiles aux agriculteurs : compte tenu de la charge que représentent les exercices de S&E pour les agriculteurs, il est essentiel de veiller à ce que les résultats soient significatifs et accessibles pour eux. C'est en fait un objectif explicite de l'outil de S&E que nous développons. L'évaluation cherche à fournir une indication des forces et des faiblesses de la durabilité qui peut être utilisée, par exemple, par les agents de vulgarisation pour aider les agriculteurs à identifier les pratiques ciblées qui peuvent augmenter la durabilité globale de la production.

    - Sur la base de votre expérience, quels pourraient être les moyens les plus efficaces de communiquer les résultats de l'évaluation de la durabilité aux agriculteurs (par exemple, visites sur le terrain et apprentissage par les pairs, atelier d'information technique) ? Quel type de matériel de communication (par exemple, mémoires, dépliants, autres) est le plus approprié pour soutenir les événements de partage des connaissances ?

    • Clarifier les objectifs - en quoi l'évaluation de la durabilité est-elle importante pour les agriculteurs et leurs groupes ?
    • Organiser une réunion de partage et obtenir leur avis sur les résultats.
    • Utiliser pleinement les ressources locales (personnes, groupes locaux ou partenaires de confiance) pour partager les résultats.
    • Utiliser des illustrations, des aides visuelles et le langage local. 
    • Moins d'utilisation de mots techniques et de termes complexes

    - Avez-vous de l'expérience dans la comparaison des résultats entre agriculteurs de manière participative ? Quelle méthode avez-vous utilisée pour ce faire ? A-t-elle été efficace ?

    Si possible :

    • Faire des groupes de partage en fonction des groupes d'intérêt (comme les femmes agricultrices, les jeunes agriculteurs, les groupes d'agriculteurs en fonction de leur production ou de leur participation à différentes chaînes de valeur).
    • Utiliser des illustrations / des exemples / des aides visuelles / des démonstrations simples (par exemple, un gros lopin de maïs par rapport à un petit lopin) adaptées au contexte local (par exemple, si vous dites 50%, dans de nombreux cas, ils ne comprennent pas, si vous donnez un exemple tel que 100 unités et 150 unités (50% supplémentaires), ils seront peut-être en mesure de comprendre).

    Comment les résultats peuvent-ils être utilisés pour l'éducation non formelle des agriculteurs (par exemple, pour sensibiliser et/ou renforcer les capacités sur les moyens d'accroître la durabilité des exploitations) ?

    • Développer un module de formation participatif centré sur l'agriculteur, en tenant compte des besoins des agriculteurs.
    • Fournir une opportunité de partage aux agriculteurs (approche d'agriculteur à agriculteur).
    • Utilisation d'illustrations / exemples / aides visuelles / démonstration simple

    -----------------------------------------

    Ram Chandra Khanal (PhD)

    Évaluateur et gestionnaire de programme : Changement climatique/GRN/Agriculture

     

    Read on a separate page
• Discussion

  The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

  02 Mar 2020
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 07/03/2020

    Chère Emma,

    Merci d’avoir posé cette importante question. La plupart du temps, le Suivi et Evaluation est considéré comme une fonction de redevabilitè des donateurs et les organismes de mise en œuvre suivent également la même approche. Dans ce cas, la participation des agriculteurs n’est pas considérée comme une condition préalable, mais parfois considérée comme si les agriculteurs ne posedent pas de «connaissances» sur ces questions techniques et seules les personnes techniques peuvent fournir ce service au nom des bénéficiaires (puisque les personnes techniques comprennent également le contexte local / agriculteurs contexte et les besoins).

    Le Suivi et Evaluation participatif a émergé pour rectifier ce défi où les agriculteurs seraient impliqués dans toutes les étapes du S&E - de la planification à l’évaluation finale. Il y a cependant des expériences mélangeèes dans les situations réelles. J’ai remarqué trois types de processus de S&E tout en travaillant pour diverses organisations de développement. Dans le premier groupe, le processus du Suivi et Evaluation participatif respecte dûment sa prémisse de base du principe participatif et implique les agriculteurs dans tout ou dans la majeure partie du cycle du projet (engagement profond). Dans le second, le projet utilise une approche plus opportuniste. Les agriculteurs sont invités juste avant ou après le lancement du projet (la plupart du temps au cours de la phase de création du projet) et la stratégie/plan de S&E est partagèe vec eux et les agriculteurs sont censés être impliqués dans le processus de S&E. D’après mon expérience, c’est l’approche la plus courante appliquée dans les projets agricoles dans la gestion du S&E (engagement de niveau moyen). Dans la troisième catégorie, les technocrates préparent le S&E et le partagent avec les agriculteurs pour leur faire part de leurs commentaires sur leur stratégie / plan de S&E déjà préparé (faible engagement). 

    Il existe de nombreux outils/méthodes participatifs de S&E qui dépendent du contexte et des questions techniques. Par exemple, pour la planification du projet, la « cartographie sociale et des ressources » serait très utile alors que pour un projet sur les marchés agricoles, le « Diagramme de Venn » pourrait fournir une bonne compréhension. De même, pour l’analyse des projets de sécurité alimentaire, le « calendrier saisonnier » fournirait des renseignements très utiles. J’ai également utilisé la « carte de pointage communautaire » pour évaluer le rendement (efficacité et efficacité) du projet. Il existe de nombreux outils disponibles, mais il est essentiel de comprendre le principe de base du processus participatif et il faut avoir une relation forte avec les agriculteurs pour utiliser les outils.

    Cordialement, 

    Ram Chandra Khanal

    Read on a separate page
• Discussion

  Youth in agriculture: what lessons can we draw from evaluations?

  31 Oct 2019
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 08/11/2019

    Hi Dorothy,

    I do not have an opportunity to have a systematic study on the issue your raised but based on my work experience, I have the following points to make.

    Subsistence farming with low productivity (both labour and land) is common in agriculture in most of the developing countries. Hence, most of the young population are leaving agriculture farming and are joining international labour force in Nepal. It is considered that agriculture farming is the profession of uneducated people who cannot make livelihoods from other sources. Agriculture universities are preparing ‘good graduates’ for international universities abroad and most of them remain do not come back. The policy-practice gap is huge and support provided by the government in the name of agriculture are also captured by elites and political influencers. This has created a perverse incentive to the young who want to start their own agri enterprises. But there are also some silver lines as well. Some young people who went abroad for employment come back with skills to use new technologies and management ability to run agri enterprises, especially in the urban and peri-urban areas. It may require a big shift in thinking and support from the government side and involve young entrepreneurs who can bring new innovation that helps to transform from subsistence farming to a profitable enterprise that can ensure their livelihoods. 

    Best regards,

    ---------------------------------------

    Ram Chandra Khanal, PhD

    Ex-President - Community of Evaluators - Nepal, BoDs - Nepal Krishi (agri) and board member SEF

    Kathmandu, Nepal

     

    Read on a separate page
• Discussion

  What can we do to improve the quality of development projects?

  15 Jul 2019
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Posté le 19/07/2019

    Hi all,

    Thanks for initiating a dialogue.

    From my experience, one important aspect is to know whether the project is really relevant to beneficiaries both in short and longer term and how the intervention is going to contribute the specific development objectives. Readiness of the beneficiaries to collaborate is another critical factor.
    It is also important to have a comprehensive theory change as the intervention is influenced by other internal/external factors that are responsible for creating enabling or disabling environment. Sometime – we generate our logic and reasons (we basically create an island in most of the time) but that may not held true and our interventions do not yield results. So, in many cases, relevancy and weak design have been the main reason for a success and failure of an intervention. I am sure there also other issues while implementing the project.

    Best regards,
    ---------------------------------------

    Ram Chandra Khanal, *PhD*

    *President - Community of Evaluators - Nepal and BoDs - Nepal Krishi (agri)*

    Kathmandu, Nepal
     

    Read on a separate page