Natalia Kosheleva Member since 21/01/2019

My contributions

• Discussion

  Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

  17 Mar 2020
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Publicado el 18/03/2020

    Estimado Mustapha, gracias por plantear este importante tema.

    En mi opinión, el seguimiento y la evaluación son complementarios y ambos son necesarios para evaluar y corregir el desempeño de las intervenciones de desarrollo. La razón por la que pueden parecer mutuamente excluyentes es que en la mayoría de los casos el seguimiento  está plenamente integrado en la gestión de la intervención con especialistas que realizan seguimiento como parte del equipo de intervención, mientras que la evaluación a menudo se posiciona como externa y las políticas de evaluación adoptadas por muchos de los principales actores en el campo del desarrollo incluyen serias salvaguardias para garantizar la independencia del equipo de evaluación.

    Según mi conocimiento, en muchos países menos desarrollados hay un número creciente de departamentos de S&E en los organismos ejecutivos nacionales, lo que puede interpretarse como una señal de que el seguimiento y la evaluación se consideran complementarios. Según se informa, estos departamentos de S&E se centran más en el seguimiento que en la evaluación y la evaluación que realizan a menudo se limita a comparar el grado de logro de las metas para un conjunto de indicadores preseleccionados.

    Estoy de acuerdo en que el seguimiento no está recibiendo mucha atención dentro de la comunidad de evaluación, pero se posiciona como una parte integral de la Gestión Basada en Resultados (RBM) y es parte de los debates dentro de la comunidad de gestión por resultados.

    También creo que tanto el seguimiento como la evaluación podrían beneficiarse si hablamos más de la complementariedad de las dos prácticas. Por ejemplo, en mi experiencia las teorías de cambio, un instrumento que surgió de la práctica de evaluación, son más útiles cuando se desarrollan durante la fase de planificación de la intervención y sirven de base para el desarrollo de su sistema de seguimiento. Y las evaluaciones podrían ser más útiles en términos de generación de lecciones de la práctica de intervención si los Términos de referencia de evaluación y las preguntas de evaluación se informaban de cuestiones que los equipos de intervención tienen al examinar sus datos de monitoreo.

    Cuando se trata de la aplicación de los Objetivos de desarrollo sostenible, dada la complejidad de las cuestiones que los países y los asociados para el desarrollo tienen que abordar para lograr los Objetivos de desarrollo sostenible y, por lo tanto, la necesidad de utilizar enfoques innovadores y la adaptación constante de las intervenciones, creo que deberíamos estar hablando sobre una mayor integración entre el seguimiento y la evaluación para que el equipo de intervención pueda encargar una evaluación cuando sus datos de seguimiento indiquen que la intervención puede estar desviándose y utilizar los resultados de esta evaluación para ver si alguna adaptación es necesario.

    Natalia Kosheleva

    Consultor de evaluación

    Read on a separate page
• Discussion

  The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

  02 Mar 2020
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Publicado el 10/03/2020

    Me gustaría compartir mi experiencia con la aplicación de la técnica participativa de "mapas de cambio" en el marco del a evaluación del proyecto de empoderamiento económico que trabajó con mujeres agricultoras en Kirguistán, Asia Central. El proyecto proporcionó a las mujeres agricultoras capacitación sobre el cultivo de hortalizas y su preservación y las apoyó para establecer grupos de autoayuda y asociaciones de aldeas para agrupar recursos, por ejemplo, para la adquisición de semillas de calidad y ganado. En algunas aldeas, el proyecto también introdujo instrumentos del Sistema de Aprendizaje de Acción de Género (GALS). Al final de las primeras fases del proyecto se llevó a cabo una evaluación que debía informar a la preparación de la segunda fase.  

    "Mapas de cambio" es una técnica participativa en la que a pequeños grupos de participantes del proyecto se les ofrecen mapas en blanco (por ejemplo, hojas de rotafolios) divididos en varias secciones, una por cada área donde el proyecto fue o se podría esperar que creara un cambio, y se le pida que los llene en base a sus experiencias reales en el proyecto. En mi caso, las áreas de cambio potenciales se identificaron en consulta con el equipo del proyecto. Para la segunda fase, el equipo quiso alinear el proyecto con el índice de empoderamiento de las mujeres en la agricultura (WEAI), por lo que acordamos centrar la discusión sobre los cambios inducidos por el proyecto dentro de los dominios WEAI. Como resultado, nuestros mapas de cambios incluyeron los siguientes sectores:   

    • ¿Ve algún cambio en la forma en que se toman las decisiones sobre la producción agrícola?   

    • ¿Ve algún cambio en el acceso y el poder de decisión sobre los recursos productivos?  

     • ¿Ve algún cambio en el control sobre el uso de los ingresos?  

     • ¿Ve algún cambio en el liderazgo en la comunidad?  

     • ¿Ve algún cambio en el uso del tiempo?  

     • ¿Ve algún otro cambio?  

    Durante la reunión en las aldeas tuvimos hasta 45 mujeres involucradas en el proyecto. Romperlos en un grupo pequeño fue fácil: cada mujer era miembro de un pequeño grupo de autoayuda, y cada grupo de autoayuda desarrolló un mapa separado. Luego le dimos a las mujeres tres frijoles cada uno y le pedimos que identificara los cambios prioritarios entre los identificados en su grupo. A continuación, cada grupo compartió su perspectiva sobre los cambios clave que surgieron del proyecto con otros grupos. Y al final pedimos a las mujeres que evaluaran el "mérito" del proyecto para ellas en una escala de 10.   

    Las lecciones que aprendimos de la aplicación de este enfoque incluyen:  

    • La técnica "Mapas de cambio" permitió convertir la recopilación de datos en una discusión semiestructurada entre mujeres agricultoras apoyadas por lo que cambió en sus vidas como resultado del proyecto y su valor y mérito. Esto me ayudó a distanciar la evaluación de las visitas de "control" a las que las mujeres estaban acostumbradas y permitir una conversación más abierta sobre sus experiencias de proyecto.   

    • Los dominios WEAI no coincidían exactamente con la forma en que las agricultoras percibían sus experiencias diarias, pero abordan este desafío reinterpretando los sectores de cambio del mapa. Pero en el futuro habría utilizado sectores de cambio basados en lo que el proyecto estaba haciendo más bien algunas construcciones teóricas externas.  

    • Los mapas de cambios llenos y las discusiones a su alrededor proporcionaron al equipo de evaluación el material de alcance para su análisis. Por ejemplo, basándome en el contenido de los mapas, pude identificar tipos más matizados de cambios inducidos por el proyecto y cuán comunes eran estos cambios. Uno de los hallazgos interesantes fue que involucrar a las mujeres en prácticas agrícolas productivas llevó a que las mujeres no tuvieran tiempo libre. Esto fue visto como un cambio positivo por las mujeres agricultoras y sus familias, pero fue una sorpresa negativa para el equipo del proyecto 

    Natalia Kosheleva

    Evaluation consultant

    Read on a separate page
• Blog

  Is this really an output?

  05 Apr 2019
  I raised this issue with the Community: members shared similar challenges and provided examples of how they addressed various interpretations of terminology used to describe different levels of results. Three important – and interlinked - themes emerged from the exchange: 1. use and quality of evaluation handbooks; 2. capacities of the project staff in charge of planning, monitoring and evaluation; 3. communication and terminology used to describe project results. Evaluation handbooks are created to be able to group in one place all the necessary information on what and how those involved in...

  Leer más
• Discussion

  Is this really an output? Addressing terminology differences between evaluators and project managers

  05 Mar 2019
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Publicado el 27/05/2019

    Dear All,

    First, let me thank EvalForward for providing a platform for this discussion, and all colleagues who contributed.

    I see three important – and interlinked - themes emerging from our conversation:

    1. capacity of the project staff in charge of planning, monitoring and evaluation;
    2. quality (rigidity) of evaluation handbooks;
    3. terminology used to describe project results.

    I think that the story of a very expensive bridge in a distant area intended to link a moderately inhabited island with the main land, shared by Lal Manavado, has a lot in common with examples of the use of evaluation handbooks presented by other colleagues. In case of the bridge, the intent was that islanders working on the mainland would not have to use ferry and would use the bridge to go to work. But instead people used the bridge to move their goods and chattels and settle down in the main land closer to their places of work, while keeping their old homes as summer houses. The intent behind the evaluation handbooks is to give project people who are managing evaluations all information about what and how they should be doing in the course of the evaluation process in one place. The handbooks are written by evaluation professional who spent years building their evaluation capacity through study and practice. But then we give these handbooks to people who often have very little evaluation capacity and still expect them to be able to use them intelligently. So project people do what works better to them – they copy and paste from ToR examples and then refuse to discuss any possible changes in the ToRs with hired evaluators.

    Instead of a handbook, it would be better to give the project people who have to commission an evaluation an opportunity to spend several days with an evaluator. And ideally the project team should be able work for several days with an M&E professional at the planning stage to ensure that the project collects meaningful monitoring data and is “evaluable” when time comes for evaluation.

    This lesson emerges from the story shared by Mustapha Malki, which is quite telling. He was “locked up for 3 days with the entire project team” to support the development of monitoring system for their project. Initially team members were “unable to clearly differentiate between the deliverable (the tarmac road) and the effects this deliverable could engender on its beneficiaries' living and income conditions”. But “slowly, my intervention and assistance made it possible for the project staff to start differentiating between a deliverable and its effect”, shares Mustafa.

    I’m also grateful to Mustapha Malki for his remarks about the importance of communication. Partnering with communication specialists is a great idea, but it is not always feasible. But our ability to communicate with stakeholders in the course of the evaluation process is crucial for evaluation utility and eventually for our professional success as evaluators – both individually and as a profession.

    I strongly believe that evaluators need to invest in building their communication skills. And the easiest thing that we can do is to avoid the use of professional terminology as much as possible when talking to “outsiders”. Terminology facilitates the discussion among people of the same trade but excludes non-professionals. Sure, it takes less effort to say “an output” than “a result that stems directly from the project activities and is under full control of the project”, but a longer description makes more sense to non-evaluators, especially because in a common language the word “output” does not have a very distinct meaning. In addition, the longer description becomes handy when the outputs in the LogFrame of the project you are evaluating look more like changes in beneficiaries’ lives and you still have to call them outputs – because the project people have been calling them this way for the last three or more years.

    Read on a separate page