Natalia Kosheleva Member since 21/01/2019

My contributions

• Discussion

  Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

  17 Mar 2020
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Posté le 18/03/2020

    Cher Mustapha, merci d’avoir soulevé ce sujet important.

    À mon avis, le suivi et l’évaluation sont complémentaires et les deux sont nécessaires pour évaluer et corriger la performance des interventions de développement. La raison pour laquelle ils peuvent sembler s’excluer mutuellement est que, dans la plupart des cas, la surveillance est pleinement intégrée dans la gestion de l’intervention, les spécialistes faisant du suivi faisant partie de l’équipe d’intervention alors que l’évaluation est souvent positionnée comme externe et les politiques d’évaluation adoptées par de nombreux acteurs dans le domaine du développement comprennent de sérieuses garanties pour assurer l’indépendance de l’équipe d’évaluation.

    À ma connaissance dans de nombreux pays moins développés, il y a un nombre croissant de départements de fusions et acquisitions dans les organismes exécutifs nationaux, ce qui peut être interprété comme un signe que la surveillance et l’évaluation sont considérées comme complémentaires. À l’heure actuelle, ces départements se concentreraient davantage sur le suivi que sur l’évaluation et l’évaluation qu’ils font se limiterait souvent à comparer l’étendue de la réalisation des objectifs pour un ensemble d’indicateurs présélectionnés.

    Je conviens que le suivi ne reçoit pas beaucoup d’attention au sein de la communauté de l’évaluation, mais elle est positionnée comme faisant partie intégrante de la gestion axée sur les résultats (RBM) et fait partie des discussions au sein de la communauté RBM.

    Je pense également que le suivi et l’évaluation pourraient en bénéficier si nous parlions davantage de complémentarité des deux pratiques. Par exemple, dans mon expérience, les théories du changement, un instrument qui a émergé de la pratique de l’évaluation, sont plus utiles lorsqu’elles sont développées au cours de la phase de planification de l’intervention et servent de base à l’élaboration de son système de suivi. Et les évaluations pourraient être plus utiles en ce qui concerne la génération de leçons tirées de la pratique de l’intervention si les termes de référence d’évaluation et les questions d’évaluation étaient informés par des questions que les équipes d’intervention ont lorsqu’elles examinent leurs données de suivi.

    En ce qui concerne la mise en œuvre des ODD, compte tenu de la complexité des questions que les pays et les partenaires au développement doivent aborder pour atteindre les ODD et, par conséquent, la nécessité d’utiliser des approches novatrices et une adaptation constante des interventions, je pense que nous devrions parler d’une plus grande intégration entre le suivi et l’évaluation afin que l’équipe d’intervention puisse commander une évaluation lorsque ses données de surveillance indiquent que l’intervention peut être hors de la bonne voie et utiliser les résultats de cette évaluation pour voir si une adaptation est nécessaire.

    Natalia Kosheleva

    Consultant en évaluation

     

     

    Read on a separate page
• Discussion

  The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

  02 Mar 2020
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Posté le 10/03/2020

    Je voudrais partager mon expérience dans l’application de la technique participative de « cartes de changement » dans le cadre de l’évaluation du projet d’autonomisation économique qui a travaillé avec des agricultrices au Kirghizistan, en Asie centrale. Le projet a permis aux agricultrices de se former sur la culture et la preservation des légumes et les a aidés à mettre sur pied des groupes d’entraide et des associations villageoises pour mettre en commun leurs ressources, par exemple pour l’achat de semences et de bovins de qualité. Dans certains villages, le projet a également introduit des instruments du Système d’apprentissage de l’action de genre (GALS). L’évaluation a été effectuée à la fin de la première phase du projet et devait influencer la préparation de la deuxième phase.  
      
    « Cartes de changement » est une technique participative où de petits groupes de participants au projet se voient offrir des cartes vierges (p. ex. feuilles de flipchart) divisées en plusieurs sections, une par zone où le projet a été ou pourrait s’attendre à créer des changements, et on leur demande de les remplir. sur la base de leurs expériences de projet réelles. Dans mon cas, les zones de changement potentielles ont été identifiées en consultation avec l’équipe du projet. Pour la deuxième phase, l’équipe a voulu aligner le projet sur l’indice d’autonomisation des femmes dans l’agriculture (WEAI) et nous avons donc convenu de concentrer la discussion sur les changements induits par le projet dans les domaines du WEAI. Par conséquent, nos cartes de changement comprenaient les secteurs suivants :  
      
    •    Voyez-vous des changements dans la façon dont les décisions concernant la production agricole sont prises?  
    •    Voyez-vous des changements dans l’accès et le pouvoir décisionnel sur les ressources productives?  
    •    Voyez-vous des changements dans le contrôle de l’utilisation du revenu?  
    •    Voyez-vous des changements dans le leadership dans la communauté?  
    •    Voyez-vous des changements dans l’utilisation du temps?  
    •    Voyez-vous d’autres changements?  
      
    Au cours de la réunion dans les villages, nous avons eu jusqu’à 45 femmes impliquées dans le projet. Il était facile de les briser en petits groupes : chaque femme faisait partie d’un petit groupe d’entradre, et chaque groupe d’entradre a élaboré une carte distincte. Ensuite, nous avons donné aux femmes trois haricots chacun et demandé d’identifier les changements prioritaires parmi les personnes identifiées dans leur groupe. Ensuite, chaque groupe a partagé son point de vue sur les changements clés qui ont émergé du projet avec d’autres groupes. Et en fin de compte, nous avons demandé aux femmes d’évaluer le «mérite» du projet pour eux sur une échelle de 10.   
     
    Voici les leçons que nous avons tirées de l’application de cette approche :  
      
    •    La technique de la « carte du changement » a permis de transformer la collecte de données en une discussion semi-structurée entre agricultrices appuyée par ce qui a changé dans leur vie à la suite du projet et de sa valeur et de son mérite. Cela m’a aidé à distancer l’évaluation des visites de « contrôle » pour les femmes et à permettre une conversation plus ouverte sur leurs expériences de projet.  
      
    •    Les domaines WEAI ne correspondaient pas exactement à la façon dont les agricultrices percevaient leurs expériences quotidiennes, mais elles répondent à ce défi en réinterprétant les secteurs de changement de la carte. Mais à l’avenir, j’aurais utilisé des secteurs de changement basés sur ce que le projet faisait plutôt quelques constructions théoriques externes.  
     
    •    Les cartes de changement et les discussions qui les entourent ont fourni à l’équipe d’évaluation du matériel de portée pour l’analyse. Par exemple, d’après le contenu des cartes, j’ai pu identifier des types de changements plus nuancés induits par le projet et la fréquence de ces changements. L’une des constatations intéressantes a été que l’engagement des femmes dans des pratiques agricoles productives a conduit les femmes à ne pas avoir de temps libre. Cela a été considéré comme un changement positif par les agricultrices et leurs familles, mais est venu comme une surprise négative pour l’équipe du projet. 

    Natalia Kosheleva

    Evaluation consultant

    Read on a separate page
• Blog

  Is this really an output?

  05 Apr 2019
  I raised this issue with the Community: members shared similar challenges and provided examples of how they addressed various interpretations of terminology used to describe different levels of results. Three important – and interlinked - themes emerged from the exchange: 1. use and quality of evaluation handbooks; 2. capacities of the project staff in charge of planning, monitoring and evaluation; 3. communication and terminology used to describe project results. Evaluation handbooks are created to be able to group in one place all the necessary information on what and how those involved in...

  Lire plus
• Discussion

  Is this really an output? Addressing terminology differences between evaluators and project managers

  05 Mar 2019
  • 

    Russian Federation

    Natalia Kosheleva

    Evaluation Consultant

    Process Consulting Company

    Posté le 27/05/2019

    Dear All,

    First, let me thank EvalForward for providing a platform for this discussion, and all colleagues who contributed.

    I see three important – and interlinked - themes emerging from our conversation:

    1. capacity of the project staff in charge of planning, monitoring and evaluation;
    2. quality (rigidity) of evaluation handbooks;
    3. terminology used to describe project results.

    I think that the story of a very expensive bridge in a distant area intended to link a moderately inhabited island with the main land, shared by Lal Manavado, has a lot in common with examples of the use of evaluation handbooks presented by other colleagues. In case of the bridge, the intent was that islanders working on the mainland would not have to use ferry and would use the bridge to go to work. But instead people used the bridge to move their goods and chattels and settle down in the main land closer to their places of work, while keeping their old homes as summer houses. The intent behind the evaluation handbooks is to give project people who are managing evaluations all information about what and how they should be doing in the course of the evaluation process in one place. The handbooks are written by evaluation professional who spent years building their evaluation capacity through study and practice. But then we give these handbooks to people who often have very little evaluation capacity and still expect them to be able to use them intelligently. So project people do what works better to them – they copy and paste from ToR examples and then refuse to discuss any possible changes in the ToRs with hired evaluators.

    Instead of a handbook, it would be better to give the project people who have to commission an evaluation an opportunity to spend several days with an evaluator. And ideally the project team should be able work for several days with an M&E professional at the planning stage to ensure that the project collects meaningful monitoring data and is “evaluable” when time comes for evaluation.

    This lesson emerges from the story shared by Mustapha Malki, which is quite telling. He was “locked up for 3 days with the entire project team” to support the development of monitoring system for their project. Initially team members were “unable to clearly differentiate between the deliverable (the tarmac road) and the effects this deliverable could engender on its beneficiaries' living and income conditions”. But “slowly, my intervention and assistance made it possible for the project staff to start differentiating between a deliverable and its effect”, shares Mustafa.

    I’m also grateful to Mustapha Malki for his remarks about the importance of communication. Partnering with communication specialists is a great idea, but it is not always feasible. But our ability to communicate with stakeholders in the course of the evaluation process is crucial for evaluation utility and eventually for our professional success as evaluators – both individually and as a profession.

    I strongly believe that evaluators need to invest in building their communication skills. And the easiest thing that we can do is to avoid the use of professional terminology as much as possible when talking to “outsiders”. Terminology facilitates the discussion among people of the same trade but excludes non-professionals. Sure, it takes less effort to say “an output” than “a result that stems directly from the project activities and is under full control of the project”, but a longer description makes more sense to non-evaluators, especially because in a common language the word “output” does not have a very distinct meaning. In addition, the longer description becomes handy when the outputs in the LogFrame of the project you are evaluating look more like changes in beneficiaries’ lives and you still have to call them outputs – because the project people have been calling them this way for the last three or more years.

    Read on a separate page