Ram Khanal Member since 14/10/2018

My contributions

• Discussion

  Do Big Projects Deliver Effective Solutions in a Complex World?

  29 Mar 2025
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 26/04/2025

    Thank you all for the rich and diverse insights that contributed to the discussion on the effectiveness of large-scale development projects. The collective reflections underscore that while project size can influence outcomes, it is not the sole determinant of success. Key factors such as contextual relevance, governance structures, community engagement, and adaptive capacity play pivotal roles.

    The following are the major points from this discussion.

    Structural limitations of big projects
    Several participants highlighted inherent challenges common to large projects. For example, Lila critiques overambitious theories of change and limited local engagement, emphasizing the disconnect between intentions (e.g., food security) and unrealistic activities (e.g., one-day training). In his detailed analysis, Prof. Tinsley points to high transaction costs caused by multilayered management, where administrative overheads dilute resources intended for beneficiaries. 

    Serdar notes the lack of genuine community participation, with consultations often confined to the inception phase—undermining co-design. Divya brings in an equity lens, warning of elite capture and misaligned funding, where power dynamics can silence local voices. Shriniwas raises concerns over potential governance failures, such as poor coordination in overly complex project designs that prioritize donor visibility over lasting impact.

    2. Large Interventions can also succeed under specific conditions
    Some contributors shared examples of large projects succeeding when well-integrated, purpose-driven, and contextually grounded. Pramel cites India’s high-density, locally focused investments as successful cases. Similarly, Serdar commends Afghanistan’s FAO-led irrigation program for blending infrastructure development with capacity building and environmental benefits. Eddah notes that large projects tend to perform well in infrastructure and humanitarian contexts but face limitations in sectors like health and agriculture, where smaller, targeted initiatives often prove more effective.

    3. For the success of the intervention, consideration of context, sustainability, and knowledge continuity is key
    Several scholars stressed the importance of contextual alignment, cultural fit, flexible monitoring, and local capacity development to ensure the successful interventions. For example, Zhiqi highlights the role of cultural embeddedness and behavioral resonance by contrasting the success of microfinance in Bangladesh (community-driven) with its failure in China (top-down). Ojha advocates for participatory monitoring to reflect local dynamics and cautions against rigid, globally imposed frameworks.

    Others pointed out systemic gaps that hinder effectiveness. Anna Maria argues that a skilled and grounded team can often outweigh the benefits of scale, as small projects can deliver outsized impact. Charles warns of knowledge discontinuity in large projects due to reliance on short-term consultants, which weakens institutional memory. Hailu emphasizes the need for iterative learning to navigate complex environments, regardless of project size. Imtiaz highlights the key factors affecting the project's success, such as good management approaches and an understanding of the project's complexities.

    The consensus is that scale alone does not determine success or failure.
    However, large projects tend to face recurring structural challenges. The discussion highlights that scale can be leveraged more effectively through co-design (with strong local integration), contextualised interventions rooted in local realities, and investment in local systems that prioritize capacity building and downward accountability. Ultimately, project effectiveness depends on purposeful design, equitable governance, and adaptive learning, not merely the size of the budget. To move beyond the binary of ‘big’ vs ‘small,’ we must instead ask how and for whom the project is implemented.

    A comprehensive summary of this discussion will be made available shortly. It will be accessible in English, Spanish, and French. Please check back soon for updates.

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 16/04/2025

    Estimado Dr. Ojha:

    Muchas gracias por compartir una reflexión tan rica y fundamentada en su amplia experiencia en este campo. Sus observaciones resuenan profundamente con lo que he observado en muchas iniciativas a gran escala. La tendencia a adoptar marcos globales con una mínima adaptación al contexto local socava, sin duda, la eficacia y la apropiación. Cuando los proyectos son demasiado rígidos y dirigidos de manera centralizada, pierden la oportunidad de responder a las dinámicas locales, a las necesidades de las comunidades y a los contextos cambiantes—elementos clave para lograr resultados inclusivos y sostenibles.

    Aprecio particularmente su énfasis en el fortalecimiento de los sistemas de monitoreo y evaluación. Confiar únicamente en indicadores estandarizados y definidos de manera vertical a menudo oculta las verdaderas causas del éxito o del fracaso de un proyecto. En mi experiencia, los enfoques participativos y mixtos—especialmente aquellos que permiten la co-creación de indicadores con los actores involucrados—no solo generan datos más relevantes, sino que también fomentan la confianza y el sentido de pertenencia. Por ejemplo, en un reciente proyecto de adaptación climática, la integración del relato comunitario y del mapeo participativo en el monitoreo y evaluación permitió identificar dinámicas de poder e impactos localizados que una metodología puramente cuantitativa no habría detectado.

    Gracias por plantear estos temas tan relevantes—su experiencia aporta un gran valor a esta conversación en curso.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 15/04/2025

    Estimado Hailu:

    Gracias por sus reflexiones tan acertadas. Coincido plenamente en que la complejidad, la incertidumbre y las condiciones externas cambiantes hacen que la gestión de megaproyectos sea especialmente desafiante. En mi experiencia, incorporar flexibilidad y aprendizaje iterativo en el diseño y la implementación puede mejorar significativamente la resiliencia y la efectividad. Estos principios son aplicables a todas las iniciativas a largo plazo, independientemente del tamaño del presupuesto.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 13/04/2025

    Estimada Eddah:

    Gracias por su valiosa contribución. Aprecio profundamente la claridad con la que ha distinguido la eficacia contextual de los proyectos grandes y pequeños, respaldada por ejemplos sectoriales relevantes. Su reflexión refuerza una lección clave que ha surgido en nuestra discusión: la efectividad de un proyecto —sea grande o pequeño— debe estar alineada con su propósito, contexto y enfoque de implementación.

    En efecto, las intervenciones a gran escala han demostrado ser altamente efectivas en áreas como infraestructura y respuesta a emergencias, donde se requieren acciones rápidas, coordinadas y con gran intensidad de recursos. Sin embargo, como bien lo ha señalado, en sectores como la salud, la agricultura y el desarrollo social, los proyectos pequeños y anclados a nivel local suelen ser más sostenibles, pertinentes y apropiados por las comunidades.

    Esto resalta una conclusión importante: la cuestión no es si los proyectos grandes o pequeños son mejores, sino qué tipo de intervención se adapta mejor al objetivo y al contexto específico. Equilibrar la escala con la adaptabilidad local, y complementar los proyectos de gran envergadura con iniciativas locales, puede representar un camino más holístico hacia un cambio duradero.

    Quedo atento a seguir aprendiendo de su valiosa experiencia.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 13/04/2025

    Estimado Serdar:

    Gracias por sus reflexiones tan valiosas y bien articuladas. Su ejemplo, especialmente el del programa de irrigación de la FAO en Afganistán, ilustra cómo iniciativas a gran escala y bien financiadas pueden generar resultados sistémicos —desde el desarrollo de infraestructuras hasta el fortalecimiento de capacidades y beneficios medioambientales—, aportando lecciones importantes para la comunidad.

    Al mismo tiempo, como usted también ha señalado, los proyectos de gran escala pueden enfrentar desafíos. En mi experiencia, el alcance geográfico y temático amplio, junto con múltiples capas burocráticas, suele diluir el compromiso comunitario significativo. En muchos casos, las consultas se limitan a la fase inicial del proyecto, dejando poco espacio para la co-creación o la retroalimentación temprana sobre su diseño.

    La principal conclusión es la necesidad de equilibrar la escala con la participación, reconociendo tanto las oportunidades como las limitaciones inherentes a los proyectos grandes, con el fin de garantizar su eficacia a largo plazo y su apropiación local.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 10/04/2025

    Estimado Pramel:

    Gracias por compartir sus valiosas reflexiones desde el contexto de la India.

    Es alentador ver cómo una alta densidad de inversión, junto con un diseño integrado y específico, puede generar un impacto significativo sobre el terreno. Su ejemplo refuerza una lección importante para las intervenciones a gran escala: que el enfoque, la relevancia local y el pensamiento sistémico son fundamentales para lograr tanto la eficacia como la sostenibilidad.

    La comunidad de práctica se beneficia enormemente al aprender de experiencias tan prácticas. Si es posible, sería muy útil conocer más de su parte — especialmente alguna reflexión comparativa sobre cómo el tamaño de los proyectos influye en la adaptabilidad, la apropiación local y los costos de transacción en diferentes contextos.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 09/04/2025

    Estimado Profesor Tinsley:

    Es un placer volver a estar en contacto después de tantos años (ref.: AIT/AASP/1998), y le agradezco sinceramente su valiosa observación.

    Efectivamente, en Asia del Sur — especialmente en Nepal — he observado que los proyectos de gran escala suelen implicar múltiples niveles de gestión, incluidos expertos internacionales, lo que puede aumentar significativamente los costos de transacción en los niveles global, nacional y local. Aunque los donantes tienden a considerar que los proyectos grandes son más eficientes en términos administrativos, el valor real que llega a los beneficiarios puede verse considerablemente reducido.

    Dada su amplia experiencia, me interesaría mucho saber si conoce estudios que analicen la proporción de fondos utilizados por los proveedores de servicios en comparación con los que realmente llegan a los beneficiarios previstos.

    Atentamente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 08/04/2025

    Estimada Lila,

    Gracias por su reflexión tan perspicaz. Usted ha señalado cuestiones clave en la programación para el desarrollo: teorías del cambio (ToC) excesivamente ambiciosas que carecen de rutas realistas hacia el impacto. Vincular resultados complejos, como la seguridad alimentaria, con actividades limitadas —por ejemplo, una capacitación de un solo día— pone de manifiesto la brecha entre la intención y la implementación. Considero que esto suele deberse a la ausencia o debilidad de una teoría de acción, la cual debería detallar cómo las actividades se traducen en resultados dentro de contextos específicos.

    Su observación sobre la escasa participación de las comunidades locales en el diseño y ejecución de los programas también es muy relevante. Sin una participación significativa, las intervenciones corren el riesgo de no responder a las necesidades reales y de no generar apropiación local —aspectos fundamentales para la sostenibilidad. Asimismo, aprecio el uso de la fábula sánscrita, que ilustra bien las dinámicas entre donantes, implementadores y evaluadores.

    Dada su amplia experiencia en África y Asia, me interesaría mucho conocer su opinión sobre cómo estos desafíos se manifiestan en diferentes contextos, y si iniciativas más pequeñas, lideradas por las comunidades, han logrado superar algunas de las limitaciones estructurales de los proyectos a gran escala. Quedo a la espera de sus valiosas ideas.

    Cordialmente,

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 31/03/2025

    Los grandes proyectos están diseñados para generar un impacto a gran escala, pero ¿realmente ofrecen valor por el dinero invertido? En su experiencia, ¿logran transformar eficazmente los fondos en cambios significativos y duraderos en materia de seguridad alimentaria, agricultura y desarrollo rural? ¿O enfrentan dificultades relacionadas con la ineficiencia, estructuras rígidas y una limitada apropiación local? Comencemos reflexionando sobre si estas grandes inversiones están realmente justificadas. ¿Qué ha revelado su trabajo de evaluación? Su experiencia es valiosa.

    Read on a separate page
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 22/04/2025

    Dear Divya,

    Thank you for this thoughtful and critical reflection. Your points about the gap between intentions and investments and power dynamics are especially compelling. From your feedback, it is noted that large projects often come with ambitious goals—equity, inclusion, systems transformation—but fail to adequately fund the required capacities and mechanisms that would make these intentions achievable. This mismatch undermines delivery, particularly at the local level where change needs to be most visible and impactful.

    The issue of governance and elite capture is also crucial. Without intentional efforts to promote transparency, shared leadership, and downward accountability, powerful actors often dominate processes and resources—further marginalizing vulnerable groups. 

    Your insights highlight that for large projects to succeed, it’s not only about how much we invest, but how and where we invest—with intentionality, equity, and accountability at the core. 

     

    Warm regards,

    ---------------------------------------------------------------------------------------------------------------------------

    Dear Kudzai,

    Thank you for your feedback. I agree your view that project size is determined by various factors such as implementation duration, funding size and other factors. Ward regards, 

    ----------------------------------------------------------------------------------------------------------------

     

    Dear Divya,

    Thank you for this thoughtful and critical reflection. Your points about the gap between intentions and investments and power dynamics are especially compelling. From your feedback, it is noted that large projects often come with ambitious goals—equity, inclusion, systems transformation—but fail to adequately fund the required capacities and mechanisms that would make these intentions achievable. This mismatch undermines delivery, particularly at the local level where change needs to be most visible and impactful.

    The issue of governance and elite capture is also crucial. Without intentional efforts to promote transparency, shared leadership, and downward accountability, powerful actors often dominate processes and resources—further marginalizing vulnerable groups. 

    Your insights highlight that for large projects to succeed, it’s not only about how much we invest, but how and where we invest—with intentionality, equity, and accountability at the core.

    Warm regards,

    -------------------------------------------------------------------------------------------------------------------------

     

    Dear Shriniwas,

    Thank you for your candid and insightful reflections. Your experiences echo many of the recurring challenges many of us seen in large-scale projects—especially the issues around complexity, coordination, and cost-efficiency. I agree that when project design becomes overly ambitious with too many components, it dilutes focus and delivery. The pressure to “showcase” rather than deeply reflect and learn is indeed more visible in large projects, often driven by donor visibility expectations. Your point on political interests derailing project momentum is particularly critical in most of the developing countries. 

    Your emphasis on the changing funding landscape is timely. As aid becomes increasingly constrained, integrating cost-effectiveness into impact evaluations is no longer optional—it’s essential. This not only enhances accountability but ensures we’re making the most of limited resources. Smaller, focused projects often demonstrate better value for money by being context-responsive, and less burdened by bureaucracy.

     

    Regards,

     Ram Chandra Khanal Advisor – Community of Evaluators (CoE), Nepal

    Read on a separate page
• Discussion

  Artificial intelligence in the context of evaluation

  15 Feb 2024
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 13/03/2024

    I have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.

    Read on a separate page
• Discussion

  How are we progressing in SDG evaluation?

  17 Jan 2024
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 21/01/2024

    Estimada Emilia,

    Gracias por plantear esta importante cuestión.

    1.      He tenido la oportunidad de participar en la evaluación de algunos aspectos de los ODS en Nepal. Creo que evaluar objetivos o metas específicos dentro de los ODS es un proceso normal y que podemos aprender de los enfoques de evaluación existentes. Sin embargo, evaluar la sostenibilidad en un orden superior, teniendo en cuenta la dimensión espacio-temporal de ciertas intervenciones durante o al final de la intervención, puede ser una tarea difícil. Con mi limitada experiencia, he encontrado algunos retos al evaluar intervenciones relacionadas con los ODS. Creo que era bueno ver el alcance de las intervenciones a un nivel superior y considerar todo el ecosistema de las intervenciones seleccionadas (ya que los ODS son intersectoriales, colaborativos y muchos más términos utópicos); sin embargo, este concepto teóricamente atractivo planteó algunas dificultades en la evaluación. Algunas de ellas son las intervenciones de alcance limitado o basadas en proyectos (a corto plazo, poco extendidas, demasiado centradas en la realización de actividades, aisladas, sistemas MEAL débiles y muchas más); los enfoques y la mentalidad tradicionales de encargar y gestionar la evaluación (como la falta de un enfoque de pensamiento sistémico y de visiones anticipatorias de que la intervención puede conducir en el futuro); y la operacionalización de la evaluación de la sostenibilidad (como el diseño deficiente de la intervención, la falta de datos críticos, la falta de atribución y el tiempo limitado asignado para evaluar la condición para la sostenibilidad). Además, existen lagunas sustantivas en las políticas de evaluación, fallos institucionales y carencias críticas de capacidad para evaluar la sostenibilidad a escala nacional y subnacional. Además, no veo mucho interés/entusiasmo por llevar a cabo evaluaciones ex post de los programas, ni siquiera por parte de los grandes donantes y socios de desarrollo.

    2.      Llevar a cabo la evaluación de los ODS sigue siendo una idea emergente para muchas organizaciones, incluidas las agencias de la ONU. Dado que los ODS son todavía nuevos a nivel subnacional, la demanda de este nivel es hasta ahora escasa.

    Un cordial saludo,

    Ram Chandra Khanal

    Read on a separate page
• Discussion

  Proving the value of agroecology for farmers and food systems: what methods and evidence do we have?

  14 Nov 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 16/11/2023

    Estimado Ravi ji,

    Gracias por plantear esta importante cuestión. Mi aportación se basa en mi limitada experiencia en este ámbito.

    1. La agroecología es un concepto multidimensional a diferentes niveles o escalas, por lo que captar la multifuncionalidad de la agroecología para evaluar el rendimiento mediante el desarrollo de un marco común puede ser un reto. Dadas sus externalidades/interacciones y funciones conocidas-desconocidas/desconocidas-desconocidas, la evaluación del rendimiento mediante el uso de técnicas cuantitativas a nivel de hogar o de explotación no será adecuada. Pueden ser útiles herramientas participativas como las tarjetas de puntuación comunitarias, que utilizan las observaciones y el grado de satisfacción de la población. 
    2. Los aspectos medioambientales, económicos y sociales/institucionales son importantes para ver el rendimiento, pero también su probabilidad de continuidad de los resultados. Los indicadores de rendimiento pueden variar en función del contexto local, pero yo he utilizado algunos como la presencia de polinizadores, el nivel de ataque de plagas, la diversidad dilatoria y la seguridad alimentaria, el uso de cultivos tradicionales/indígenas, la diversidad de plantas/cultivos utilizados con fines alimentarios y medicinales, la contribución a los ingresos agrícolas, el nivel de tolerancia al estrés (como los riesgos climáticos), etc.   

    Saludos cordiales,

    Ram Chandra Khanal

    Read on a separate page
• Discussion

  Can visual tools help evaluators communicate and engage better?

  26 Jun 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 05/07/2023

    Estimados todos,

    Muchos colegas han mencionado la utilidad de las herramientas visuales para mejorar la comunicación.

    Me hago eco de la utilidad de este enfoque. He observado que las herramientas visuales -el lenguaje con claridad universal- ayudan a comunicar (durante la evaluación y después de ella) con facilidad, ya que las herramientas abordan las barreras lingüísticas con múltiples niveles culturales y de alfabetización entre los grupos. Esto es más útil a la hora de implicar a los beneficiarios del desarrollo. Según mi experiencia, la gente se vuelve más cooperativa, entiende el contexto y el objetivo con facilidad y ayuda a crear una concienciación rápida, una mejor respuesta y un aprendizaje cruzado.

    Pero, en muchos casos, estas evaluaciones se convierten en un proceso mecánico con un largo informe escrito (con el llamado inglés avanzado que generalmente no entienden muchas de las partes interesadas) que sirve para rendir cuentas pero no para aprender. En la evaluación participativa, tengo cierta experiencia en el uso de herramientas visuales como mapas de recursos sociales, diagramas de Venn, mapas de movilidad/históricos y tarjetas de puntuación de la comunidad para diferentes fines. Las herramientas pueden desarrollarse en función de las necesidades/contexto, pero un uso óptimo de las mismas puede proporcionar mejores resultados.  

    Saludos cordiales,

    Ram  

    Read on a separate page
• Discussion

  How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions

  10 May 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 16/06/2023

    Gracias, Svetlana, por compartir el documento y solicitar nuestra aportación. Mi conocimiento de los sistemas del GCIAI es limitado, pero comparto mis observaciones basadas en mi trabajo previo en programas de investigación y desarrollo agrícola en el contexto asiático.

    La evaluación de la investigación y el desarrollo de la agricultura y de las intervenciones asociadas de gestión de los recursos naturales no es sencilla. De ahí que elogie la labor del equipo a la hora de presentar temas importantes de forma concisa y práctica. No obstante, hay algunas observaciones que podrían ser útiles para reflexionar o repensar con el fin de hacerlo más inclusivo y convertirlo en una herramienta de toma de decisiones para las partes interesadas.

    Intento limitarme a una pregunta: "¿Cree que las directrices responden a los retos de evaluar la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?".

    La directriz puede centrarse más en las perspectivas y la emergencia del sistema: 

    El documento ha puesto de relieve el contexto cambiante de la evaluación en el GCIAI. Ha planteado cuestiones importantes relacionadas con el futuro de la seguridad alimentaria con la misión de aportar ciencia e innovación para transformar los sistemas alimentarios, de tierras y de agua en una crisis climática y también menciona los cambios transformadores. Todavía hay margen para integrar estos importantes componentes en la propia administración de la evaluación.

    Es posible que la directriz tenga que ir más allá de la evaluación orientada a lo técnico para centrarse en lo inclusivo o en los beneficiarios.

    La directriz menciona algunos públicos y usuarios (como los organismos de financiación y ejecución), pero hace poco hincapié en las comunidades, que también podrían ser una parte interesada importante de la investigación y la innovación. Hay muchas actividades de investigación y desarrollo exitosas (como el fitomejoramiento participativo, la selección participativa, la priorización y selección participativa de tecnologías) en las que las comunidades y los agricultores son partes interesadas importantes. Parece que su papel está un poco ausente en esta directriz.

    Las vías de impacto de las intervenciones de investigación y desarrollo son largas e impredecibles, por lo que los criterios o preguntas de evaluación deberían abarcar estos aspectos.

    Una vez los resultados de la investigación son generados, (también habrá casos en los que la investigación no genere los resultados esperados), el proceso de difusión de la tecnología puede llevar más tiempo debido a un retraso sustancial en el desarrollo y al proceso de adopción, y este proceso puede afectar a la realización del impacto/beneficios de la tecnología dentro del periodo de intervención. Esto también puede influir en los aspectos de sostenibilidad. La integración de estos aspectos podría suponer un reto en el proceso de evaluación de la investigación.

    Read on a separate page
• Discussion

  A lack of learning in the monitoring and evaluation of agriculture projects

  15 Mar 2023
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 19/03/2023

    Estimado Daniel y otros miembros de Evalforward,

    La evaluación se ha desarrollado y utilizado principalmente de forma mecánica y ha servido sobre todo para marcar objetivos (rendición de cuentas a los donantes) más que para aprender y mejorar. Ahora sabemos que los indicadores y el llamado "marco lógico" resultan más o menos redundantes en las complejas situaciones en las que se desarrollan la mayoría de los proyectos agrícolas.

    Permítanme compartir mi experiencia reciente. Formo parte de un equipo encargado de evaluar la contribución del apoyo presupuestario con una pequeña Asistencia Técnica (intervención de 3 años) de un donante al gobierno para aplicar una estrategia nacional de desarrollo agrícola en uno de los países del sur de Asia. Como evaluador, he observado las siguientes cuestiones durante el proceso de evaluación:

    a) El "apoyo presupuestario" se proporciona al tesoro público y no se destina al sector agrícola. En este caso, existe una elevada posibilidad de fungibilidad. No sabemos si el sector que recibió el fondo tiene la oportunidad de tener un trabajo incremental. Y cómo evaluar la contribución.

    b) El contrato de financiación contenía objetivos ambiciosos y no pertinentes: El programa tiene seis objetivos con hitos anuales que deben cumplirse para obtener el fondo. Estos objetivos no sólo son ambiciosos para los 3 años de intervención, sino que también están fuera del alcance del Ministerio de Agricultura. Por ejemplo, la disminución del porcentaje de retraso del crecimiento y el aumento del porcentaje de propiedad de la tierra por parte de las mujeres a nivel nacional. No se trata de una intervención directa del ministerio de agricultura y hay muchos otros responsables principales que contribuyen a lograrlo en un largo periodo. Tampoco existen mecanismos adecuados de coordinación y colaboración entre los ministerios y los organismos gubernamentales para obtener información/progresos. Además, no existen sistemas de gestión y evaluación para recopilar datos a nivel subnacional.

    c) La estructura de gobierno también ha pasado de ser unitaria a federal. Los tres niveles de gobierno funcionan cada uno por su cuenta sin disponer de mecanismos adecuados de coordinación e información. Las instituciones y las políticas están en proceso de desarrollo, pero existe un grave déficit de capacidad. En este caso, al ministerio le ha resultado difícil recopilar datos y elaborar informes.

    En este contexto, el marco lógico sigue ahí sin revisarse y se pide a los evaluadores que valoren la contribución del fondo en esos indicadores/objetivos. Tanto los organismos de ejecución como los donantes siguen intentando atribuir el impacto del fondo, lo que es como "sacar agua de un pozo". Tal vez todavía quede mucho por hacer para que el enfoque de gestión y evaluación sea más contextual y útil.  
    Estamos de acuerdo: "tropezamos de nuevo con la misma piedra" y "repetimos", por desgracia.  

    Ram Chandra Khanal, Doctor
    Evaluador independiente, Katmandú, Nepal

    Read on a separate page
• Discussion

  The pervasive power of western evaluation culture: how and in what ways do you wrestle with ensuring evaluation is culturally appropriate and beneficial to those who legitimise development aid?

  19 Sep 2022
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 07/10/2022

    Estimados todos,
     
    Gracias por compartir esta experiencia tan ilustrativa. Tengo una pequeña aportación basada en mi experiencia.
     
    El valor de la cultura en la evaluación es un tema menos discutido y practicado entre los investigadores, profesionales, académicos y financiadores del desarrollo. Debido a diversas razones, las cuestiones culturales están menos representadas en el diseño de la evaluación y en las fases posteriores. Al diseñar una evaluación, la mayoría de los métodos/herramientas de investigación y observación no tienen en cuenta el contexto -espacio y tiempo- y se centran principalmente en los resultados y sus indicadores asociados. Esto es más importante cuando se trata de cuestiones de socio-desarrollo. El reciente enfoque de utilizar la Teoría del Cambio, en principio, cubre el espectro más amplio del contexto, pero la comprensión de las personas y sus prácticas (=cultura) no han sido una parte importante del análisis. Por ejemplo, en un grupo de personas (tomemos el ejemplo de los "Bramin de las colinas" en Nepal) las mujeres no suelen decir el nombre de su marido, no se dan la mano (tienen una forma diferente de saludar cuando se encuentran con la gente) y puede que no hablen con un hombre con franqueza desde fuera. Además, los roles familiares de hombres y mujeres también están determinados por los sistemas sociales/la cultura a la que están acostumbrados durante generaciones, lo que puede resultar extraño para los occidentales. Algunas comunidades rinden culto a su dios antes de iniciar las actividades relacionadas con el proyecto o de completar las tareas del mismo. Hay casos en los que las intervenciones de desarrollo se diseñan sin tener en cuenta los aspectos culturales (como la demolición de templos o lugares sagrados o religiosos de ciertas comunidades para construir una carretera que afecta directamente a su cultura). Estos son algunos ejemplos. En este caso, un evaluador que no comprenda el contexto y la cultura locales podría entenderlo de forma diferente y los resultados generales de la evaluación podrían ser distintos. Creo que contar con un experto local (que conozca la cultura) y una conversación respetuosa con las comunidades son dos estrategias que he utilizado en mis evaluaciones.

    Que tengan un buen fin de semana.

    Saludos cordiales, 

    Ram

     

    Read on a separate page
• Discussion

  Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

  28 Jan 2022
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 29/01/2022

    Estimada Malika,

    No podría estar más de acuerdo con los puntos que ha planteado. La independencia y una cobertura suficiente de datos/información son fundamentales para una evaluación creíble. Pero la otra cara de la moneda es que, por lo general, los evaluadores no disponen de tiempo/días suficientes ni de información completa (a pesar de las solicitudes) para ponerse en contacto con las partes interesadas, los beneficiarios, los grupos comparables y las personas potencialmente afectadas negativamente (esto es algo que falta gravemente en la mayoría de las evaluaciones) durante la evaluación. Esto hace que los procesos de evaluación no rindan cuentas a las personas para las que se planifican las intervenciones.  

    Saludos cordiales,

    -----------------------------------------
    Ram Chandra Khanal

     

     

    Read on a separate page
• Discussion

  Making data collection meaningful and useful to farmers: what is your experience?

  28 Apr 2021
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 03/05/2021

    Estimado David,

    Gracias por traer estos importantes temas a esta comunidad de Práctica. Basándome en mi experiencia de trabajo en los países en desarrollo, tengo la siguiente aportación para su referencia.

    Con mis mejores deseos,

     

    1. Lograr un equilibrio entre la profundidad y la duración de las evaluaciones. Los ejercicios de seguimiento y evaluación basados en entrevistas y encuestas en las explotaciones agrícolas pueden suponer una carga de trabajo importante para los encuestados. Por ejemplo, ocupando un tiempo que dedicarían a otras actividades. El cansancio de los encuestados debido a la duración de las entrevistas/encuestas también puede reducir la calidad de los datos recopilados y, por tanto, la fiabilidad de los resultados. Por otra parte, una evaluación más breve puede no ser lo suficientemente profunda como para diseñar intervenciones eficaces.

    ¿Cómo se puede reducir la carga de trabajo de los pequeños productores durante los procesos de SyE?

    Prefiero hacer/estoy haciendo:

    • Hacer cuestionarios cortos orientados a objetivos
    • La mayoría de las veces con preguntas cerradas, pero también con la posibilidad de compartir sus puntos de vista y perspectivas
    • Entrevistarles en su propio entorno y en el momento que prefieran
    • Hacerles sentir que también se benefician de este ejercicio
    • Crear una buena relación (habilidades interpersonales) - (no mecánica, sino también hablar de sus problemas personales)
    • Proporcionar algún regalo (puede ser a sus hijos)

    ¿Cuáles son las mejores formas de incentivar a los agricultores para que participen en las encuestas (p. ej. incentivos no monetarios, participación en la elaboración de las encuestas y/o en la presentación de los resultados)?

    Prefiero hacer / estoy haciendo:

    • Cuando era director del programa/proyecto, solía ofrecer a los agricultores alguna compensación económica (creo firmemente que debemos pagar al proveedor de información, ya que los recolectores de información ganamos una buena suma de dinero por funciones similares)
    • Compensar su tiempo con un buen refrigerio
    • Ofrecerles un regalo como "muestra de amor".
    • Reconocer su apoyo

    2.Hacer que los resultados de los procesos de SyE sean útiles para los agricultores. Dada la carga de trabajo que las actividades de SyE supone para los campesinos, garantizar que los resultados sean significativos y accesibles para ellos resulta fundamental. De hecho, éste es un objetivo explícito de la herramienta de SyE que estamos desarrollando. La evaluación pretende dar una idea de los puntos fuertes y débiles de la sostenibilidad, de forma que puedan ser utilizados —por los agentes de extensión, por ejemplo— para ayudar a los agricultores a identificar prácticas específicas que puedan aumentar la sostenibilidad general de la producción.

    Basándose en su experiencia, ¿cuáles podrían ser las formas más eficaces de comunicar los resultados de la evaluación de la sostenibilidad a los agricultores (p. ej. visitas sobre el terreno y aprendizaje entre homólogos, taller de información técnica)? ¿Qué tipo de material de comunicación (p. ej. notas, folletos, otros) es el más adecuado para apoyar eventos de intercambio de conocimientos?

    • Aclarar los objetivos - cómo la evaluación de la sostenibilidad es importante para los agricultores y sus grupos/
    • Organizar una reunión de intercambio y obtener su opinión sobre el resultado
    • Aprovechar al máximo los recursos locales, los grupos locales o los socios de confianza a la hora de compartir los resultados.
    • Utilizar ilustraciones/ayudas visuales/lenguaje local 
    • Utilizar menos palabras técnicas y términos complejos
    • ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?

    ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?

    Cuando sea posible:

    • Hacer grupos de reparto según los grupos de interés (como mujeres agricultoras, jóvenes agricultores, grupos de agricultores según su producción o participación en diferentes cadenas de valor)
    • Utilizar ilustraciones / ejemplos / ayudas visuales / demostraciones sencillas (como el cubo de maíz grande frente al cubo pequeño) relevantes para el contexto local (por ejemplo, si se dice 50%, en muchos casos no lo entienden, si se da un ejemplo como 100 unidades y 150 unidades (50% adicional), pueden estar en condiciones de entenderlo).

    ¿Cómo se pueden utilizar los resultados para la educación informal de los agricultores (p. ej. para sensibilizar y/o fomentar la capacidad sobre diferentes maneras de aumentar la sostenibilidad de las explotaciones agrícolas)?

    • Desarrollar un módulo de formación participativo centrado en el agricultor teniendo en cuenta sus necesidades
    • Ofrecer a los agricultores la oportunidad de compartir (enfoque de agricultor a agricultor)
    • Utilizar ilustraciones / ejemplos / ayudas visuales / demostraciones sencillas

     

    Ram Chandra Khanal (PhD)

    Evaluador y gestor de programas: Cambio climático/Gestión de recursos naturales/Agricultura

    Read on a separate page
• Discussion

  The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

  02 Mar 2020
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 07/03/2020

    Estimada Emma,

    Gracias por poner esta importante pregunta. La mayoría de las veces, el Seguimiento y la Evaluación se considera una función de rendición de cuentas de los donantes y los organismos de implementación también siguen el mismo enfoque. En este caso, la participación de los agricultores no se considera un requisito previo, pero a veces se considera como si los agricultores no piden "conocimientos" sobre estas cuestiones técnicas y sólo las personas técnicas pueden prestar este servicio en nombre de los beneficiarios (ya que las personas técnicas también entienden el contexto local/el contexto y las necesidades de los agricultores).

    El Seguiminento y Evaluación Participativa ha surgido para corregir este desafío en el que los agricultores estarían involucrados en todas las etapas del Seguimiento y Evaluación, desde la planificación hasta la evaluación final. Sin embargo, hay experiencias mixtas en situaciones de la vida real. He notado tres tipos de procesos de SyE mientras trabajaba para varias organizaciones de desarrollo. En el primer grupo, el proceso participativo de seguimiento y evaluación respeta debidamente su premisa básica del principio participativo e involucra a los agricultores en todo o en la mayor parte del ciclo del proyecto (compromiso profundo). En el segundo, el proyecto utiliza un enfoque más oportunista. Se invita a los agricultores justo antes o después de la puesta en marcha del proyecto (principalmente durante la fase de creación del proyecto) y se comparte la estrategia/plan de SyE con ellos y se espera que los agricultores participen en el proceso de SyE. En mi experiencia, este es el enfoque más común aplicado en proyectos agrícolas en la gestión del SyE (compromiso de nivel medio). En la tercera categoría, los tecnócratas preparan el SyE y lo comparten con los agricultores para proporcionar comentarios sobre su estrategia/plan de SyE ya preparado (bajo compromiso). 

    Hay muchas herramientas/métodos participativos de SyE que dependen del contexto y de las cuestiones técnicas. Por ejemplo, para la planificación de proyectos, el "mapeo social y de recursos" sería muy útil, mientras que para un proyecto de mercado agrícola, el "Diagrama de Venn" podría proporcionar una buena comprensión. Del mismo modo, para el análisis de los proyectos de seguridad alimentaria, el "calendario estacional" proporcionaría información muy útil. También utilicé el "cuadro de mandos de la comunidad" para evaluar el rendimiento (eficiencia y eficacia) del proyecto. Hay muchas herramientas disponibles, pero entender el principio básico del proceso participativo es esencial y una fuerte relación con los agricultores es esencial para utilizar las herramientas.

    Ram Chandra Khanal

    Read on a separate page
• Discussion

  Youth in agriculture: what lessons can we draw from evaluations?

  31 Oct 2019
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 08/11/2019

    Hi Dorothy,

    I do not have an opportunity to have a systematic study on the issue your raised but based on my work experience, I have the following points to make.

    Subsistence farming with low productivity (both labour and land) is common in agriculture in most of the developing countries. Hence, most of the young population are leaving agriculture farming and are joining international labour force in Nepal. It is considered that agriculture farming is the profession of uneducated people who cannot make livelihoods from other sources. Agriculture universities are preparing ‘good graduates’ for international universities abroad and most of them remain do not come back. The policy-practice gap is huge and support provided by the government in the name of agriculture are also captured by elites and political influencers. This has created a perverse incentive to the young who want to start their own agri enterprises. But there are also some silver lines as well. Some young people who went abroad for employment come back with skills to use new technologies and management ability to run agri enterprises, especially in the urban and peri-urban areas. It may require a big shift in thinking and support from the government side and involve young entrepreneurs who can bring new innovation that helps to transform from subsistence farming to a profitable enterprise that can ensure their livelihoods. 

    Best regards,

    ---------------------------------------

    Ram Chandra Khanal, PhD

    Ex-President - Community of Evaluators - Nepal, BoDs - Nepal Krishi (agri) and board member SEF

    Kathmandu, Nepal

     

    Read on a separate page
• Discussion

  What can we do to improve the quality of development projects?

  15 Jul 2019
  • 

    Nepal

    Ram Khanal

    Advisor

    Community of Evaluator (COE) Nepal

    Publicado el 19/07/2019

    Hi all,

    Thanks for initiating a dialogue.

    From my experience, one important aspect is to know whether the project is really relevant to beneficiaries both in short and longer term and how the intervention is going to contribute the specific development objectives. Readiness of the beneficiaries to collaborate is another critical factor.
    It is also important to have a comprehensive theory change as the intervention is influenced by other internal/external factors that are responsible for creating enabling or disabling environment. Sometime – we generate our logic and reasons (we basically create an island in most of the time) but that may not held true and our interventions do not yield results. So, in many cases, relevancy and weak design have been the main reason for a success and failure of an intervention. I am sure there also other issues while implementing the project.

    Best regards,
    ---------------------------------------

    Ram Chandra Khanal, *PhD*

    *President - Community of Evaluators - Nepal and BoDs - Nepal Krishi (agri)*

    Kathmandu, Nepal
     

    Read on a separate page