Carlos Tarazona Member since 25/06/2019

My contributions

• Discussion

  Maximizing the impact of South-South and Triangular Cooperation in a changing aid architecture through evaluation.

  24 Apr 2025
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 06/05/2025

    Chers collègues,

    Merci pour vos contributions. Il est encourageant de constater que plusieurs membres de la communauté ont de l’expérience en matière de coopération Sud-Sud et triangulaire, et qu’ils ont identifié le besoin de documenter les résultats intangibles et de promouvoir des approches rigoureuses pour évaluer son efficacité. J’invite les autres membres à partager leurs points de vue et à réfléchir à la manière dont ces méthodes et pratiques peuvent être intégrées dans nos évaluations au-delà du cadre de la coopération Sud-Sud et triangulaire.

    Bien à vous,
    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 27/04/2025

    Lancement du Débat : Évaluer la Coopération Sud-Sud et Triangulaire dans un Monde en Mutation

    Alors que l'architecture mondiale du développement continue d’évoluer, la Coopération Sud-Sud et Triangulaire (CSST) devient un levier central pour la réalisation des Objectifs de Développement Durable. Ces partenariats, fondés sur le respect mutuel, la solidarité et l’apprentissage partagé entre les pays du Sud Global — souvent soutenus par un troisième partenaire — ne se limitent pas à compléter l’aide traditionnelle : ils constituent un puissant moteur de changement localement impulsé. Pourtant, comment évaluer efficacement ces initiatives complexes et dynamiques tout en tenant compte du contexte, des sensibilités politiques et de la rigueur méthodologique ?

    Pour initier ce dialogue, nous invitons les évaluateurs et les praticiens du développement à réfléchir à leurs expériences en matière de CSST. Explorons ensemble :

    🔹 Quelles approches ou quels outils d’évaluation avez-vous trouvés efficaces pour évaluer les initiatives de CSST ?
    🔹 Quels défis avez-vous rencontrés — d’ordre méthodologique, politique ou opérationnel ?
    🔹 Comment pouvons-nous, en tant qu’évaluateurs, renforcer la visibilité, l’apprentissage et l’impact de la CSST dans cette architecture de l’aide en mutation ?

    Réimaginons l’évaluation comme un moteur de coopération significative et de bénéfices partagés.

    📢 Participez à la conversation : partagez vos histoires, vos outils, vos défis ou simplement votre curiosité. Vos contributions aideront à façonner des pratiques d’évaluation plus pertinentes et adaptées au contexte pour la CSST.

    Carlos Tarazona, Chargé Supérieur de l'Évaluation, Organisation des Nations Unies pour l'Alimentation et l'Agriculture (FAO).

    Read on a separate page
• Blog

  Better together: Reflections for EvalForward from Rome-based agencies on the 15th EES Conference

  28 Oct 2024
  Le mois dernier, les praticiens et les utilisateurs de l'évaluation se sont réunis à Rimini pour la 15e conférence biennale de la Société européenne d'évaluation (EES) sous le thème “Mieux ensemble 2024 : pensée et action collaboratives pour une meilleure évaluation”. Des collègues des agences basées à Rome, qui dirigent EvalForward, ont réfléchi aux principaux points à retenir de la conférence concernant le renforcement de nos pratiques d'évaluation afin de mieux éclairer l'apprentissage et la prise de décision. ©EES24 À retenir 1 : « La connaissance n'a de pouvoir que lorsqu'elle est...

  Lire plus
• Discussion

  Evaluability Assessments: An invitation to reflect and discuss

  24 Jul 2024
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 01/08/2024

    Bonjour Amy,

    Merci d'avoir lancé ce fructueux débat. J'aimerais partager mon expérience en matière d'évaluation de l'évaluabilité des programmes de la FAO. Ces évaluations ont généralement pour but de déterminer si le travail de la FAO dans un domaine donné est prêt à être évalué et/ou d'informer la prise de décision sur les plans d'évaluation de la FAO.

    Par exemple, l'évaluation de l'évaluabilité du programme de réduction de la pauvreté rurale de la FAO (disponible à l'adresse https://openknowledge.fao.org/server/api/core/bitstreams/161ba76c-daea-...) a permis d'identifier les composantes du programme de la FAO qu'il était possible et utile d'évaluer en termes de résultats. Avec cet objectif en tête, l'évaluation de l'évaluabilité a examiné la clarté de la logique du programme et le degré d'achèvement des activités planifiées et l'utilisation des ressources, et a abouti à des propositions sur la portée, l'approche, la conception méthodologique et le plan de travail de l'évaluation.

    Plus récemment, nous utilisons les évaluations de l'évaluabilité pour éclairer nos décisions sur les évaluations à mener, ainsi que pour définir leur portée, leurs objectifs et leur approche. Cette évolution est conforme à notre stratégie à moyen terme qui vise à garantir que le bureau de l'évaluation produise des évaluations de haute qualité qui répondent aux besoins des parties prenantes de la FAO (https://www.fao.org/evaluation/highlights/detail/fao-evaluation-strateg...).   
     

    Cordialement, 

    Carlos

     

    Read on a separate page
• Discussion

  Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

  14 Jan 2021
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 18/01/2021

    Cher John,

    Merci d'avoir lancé cette discussion intéressante ! L'approche que vous décrivez est très similaire à la manière dont la cartographie des résultats (OM) est utilisée à des fins de planification et de suivi. Au Bureau de l'évaluation de la FAO, nous avons utilisé la théorie du changement (TdC) et la cartographie des résultats uniquement à des fins d'évaluation. 

    Je pense que vous pouvez trouver quelques exemples sur l'évolution de la TdC et l'application de la cartographie des résultats dans le monde réel sur le site web Better Evaluation : https://www.betterevaluation.org/en/plan/approach/outcome_mapping

    Salutations distinguées, 

    Carlos

    Read on a separate page
• Discussion

  How do we adapt our evaluation approach to the impact of the Covid-19 pandemic?

  26 Mar 2020
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 27/03/2020

    Cher Nick,

    Merci de votre post très intéressant, et de partager votre expérience dans la lutte avec cet énorme défi. Je tiens à partager quelques réflexions, du point de vue de mon rôle d’évaluateur et de commissaire d’évaluations.

    À court terme, je me pose la question de la valeur que les acteurs peuvent accorder aux évaluations effectuées à distance et, à moyen terme, de la menace que cela représente pour l’évaluation en tant que profession.

    Quelle est la valeur ajoutée d’une évaluation qui se fait à distance? Dans quelques évaluations en cours avec de grandes composantes sur le terrain, nous sommes confrontés à des problèmes dont nous ne devrions pas sous-estimer la conséquence car ils pourraient réduire la crédibilité de l’ensemble de l’exercice (incapacité d’observer les changements de première main, la dépendance à l’évalué pour choisir qui participe et qui pas, les limites à la triangulation avec les bénéficiaires et les partenaires locaux, etc.) et mettre nos équipes en danger d’être contestées au cas où elles arriveraient à des conclusions négatives ou erronées, sinon inexactes.

    Ensuite, l’évaluation en tant que profession : si nous faisons les choses à distance et sans triangulation crédible et participation ascendante, qu’est-ce qui nous différencie de ceux qui font des analyses ou même l’audit du rendement? Si nous préconisons des évaluations à distance, et que les collègues/partenaires se rendent compte que ceux-ci peuvent être faits à moindre coût et de manière non rigureuse, nous pourrions avoir des problèmes à l’avenir :  i) vendre l’évaluation comme un outil distinctif et vraiment d’apprentissage, et ii) obtenir des dispositions / budgets d’évaluation adéquates.

    En lien avec cela, l’impératif moral pour les évaluateurs de ne pas faire de mal. Compte tenu de toutes les inconnues que cette pandémie apporte, il est notre devoir de ne pas mettre plus de gens en danger, ni d’évaluateurs locaux ni de bénéficiaires. Essayer de reporter les évaluations si possible, du moins jusqu’à ce qu’il devienne plus clair ce que nous pourrions faire en toute sécurité sur le terrain et ce que nous ne pouvons pas, ce sera une chose juste et éthique à faire.

    Sinceres salutations

    Carlos

     

    Read on a separate page
• Blog

  How useful are theories of change in development programmes and projects?

  24 Feb 2020
  De nos jours, de nombreux donateurs, organisations Internationales, agences gouvernementales et ONG promouvent leur utilisation comme moyen de s'assurer que leurs activités quotidiennes sont alignées sur leurs objectifs ultimes. J'ai abordé ce sujet avec la communauté et demandé aux membres de partager leur expérience sur l’utilisation des TdC et leur point de vue sur la principale valeur ajoutée. Plusieurs membres ont participé et proposé des idées pour assurer une utilisation adéquate des TdC, telles que les suivantes: Les TdC ajoutent de la valeur lorsqu'ils sont co-générées de manière...

  Lire plus
• Discussion

  How useful are theories of change in development programmes and projects?

  29 Jan 2020
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 19/02/2020

    Thank you Jackie and Richard, and all the previous commenters! It has been an interesting discussion, with so many different points of view and insights. We will soon be wrapping this up and summarize the learning in an Evalforward's blog. Keep an eye on it!

    Best to all,

     

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 07/02/2020

    Chers collègues,

    Je voulais soulever un aspect qui est apparemment devenu une procédure standard lors de la réalisation des TdC - de nombreux collègues ont déclaré qu'ils utilisent largement cet outil pour la conception / mise en œuvre / évaluation de programmes. Cependant, la littérature suggère que «les théories du changement peuvent commencer par un programme, mais sont meilleures quand on commence par un objectif, avant de décider quelles approches programmatiques sont nécessaires». (voir la présentation de l'AEA partagée dans un post précédent)

    Ainsi, le point de départ de la TdC devrait idéalement être des objectifs de développement / humanitaires dans un thème particulier (pauvreté / réduction de la faim, adaptation au changement climatique, développement rural, autonomisation des femmes, sauver des vies) qui ont été identifiés par les principales parties prenantes (généralement le gouvernement, car il nous représente tous, ou les acteurs humanitaires en son absence) pour une zone géographique donnée (pays, état / région, province, district), et non l'objectif spécifique du programme (ou projet).

    À titre d'exemple, dans une récente évaluation des contributions de la FAO au développement du secteur alimentaire et agricole au Mexique (http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c/1202316 ), nous avons utilisé les théories du changement du gouvernement mexicain pour cartographier et puis évaluer les contributions de la FAO. Le gouvernement mexicain (membre de l'OCDE) devait en effet légalement élaborer des théories du changement à différents niveaux thématiques et géographiques (national / étatique) dans le cadre de sa planification à long terme (plans nationaux de développement) et à moyen terme (stratégies et programmes) processus, souvent avec des conseils CONEVAL (https://www.coneval.org.mx/Paginas/principal.aspx ). Cela, conjugué au fait que la FAO avait planifié son programme de travail selon les théories du changement du Mexique, a permis à l'évaluation d'évaluer les contributions de la FAO par rapport à ces cadres.

    Je me demandais si d'autres collègues avaient expérimenté des TdC de développement ayant des objectifs de développement / humanitaires convenus / possédés localement comme point de départ (et non l'objectif spécifique de l'agence de financement à l'esprit), et s'ils pensaient que c'était une voie réalisable dans leur propre pays / agences.

    Meilleures salutations,

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 07/02/2020

    Cher Elamin,

    Merci pour ta question. Il y a quelques années, l'American Evaluation Association a eu une discussion sur ce sujet (ToC vs Logic Models). Vous trouverez ci-dessous un lien vers la présentation faite par Helene Clark (The Center of Theory of Change) au cours de cette session https://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/TOCs…

    Meilleures salutations,

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 31/01/2020

    Chers collègues,

    Merci pour vos contributions très intéressantes. Si quelqu'un pouvait apporter des exemples spécifiques d'application de la TdC, dans les pays en développement ou développés, et souligner combien cela était utile pour le programme évalué, ce serait formidable

    Read on a separate page
• Blog

  Using synthesis and meta-analysis in development evaluation

  17 Oct 2019
  Prospective users of such information, however, have become less capable to take full account of this development, in part due to lack of time and capacities to absorb all the information. Decision-makers in particular demand and expect from researchers and evaluators to provide them with products to facilitate the uptake of such knowledge. Evaluation synthesis can fill this gap by building on findings from different sources to get a better understanding of the effectiveness of a program or policy. A synthesis is the integration of existing knowledge and findings relevant to a topic, and has...

  Lire plus
• Discussion

  Using synthesis and meta-analysis to make the most of evaluative evidence: what is your experience?

  23 Sep 2019
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 02/10/2019

    Dear Malika,

    Thanks for sharing your experience with document analysis. It is indeed a great way to have early insights into the effectiveness of a programme or policy, although -depending on the amount of materials for review- it could also be a very demanding task.

    You raised a very good point regarding the issue of accessibility to documents. With the advent of the internet it is assumed that information is becoming globally available, while digitalization is making reports and research more and more accessible through online means. 

    What is the perspective in the global south? Are government (evaluation) reports and research from academia easier to access? Are they available in a format and language that make them suitable for synthesis and meta-analysis?

    Best regards,

     

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 26/09/2019

    Dear All,

    A colleague has shared with me a link to a series of synthesis reports of impact assessments on various agricultural topics done by the CGIAR:

    https://ispc.cgiar.org/publications/all?keywords=&year=All&type=1571&workstream=1568

    Hope you find it useful too!

    Best regards,

     

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 25/09/2019

    Dear Olivier and Lal,

    Thank you very much for your contributions.

    Regarding a definition of synthesis (or synthetic approach), for the purpose of this discussion, we can define it as the process of reviewing, assessing and synthesising existing literature or data to produce a series of outputs (products and services).

    A first step in this process is to review the quality of the literature or data that will be aggregated to ensure that is comparable and meet the research protocol requirements. Afterwards, the synthesis is conducted often by academic disciplinary experts, but can also be done by inter- or transdisciplinary working groups or evaluators drawing on knowledge from across academia and beyond, the latter to ensure a comprehensive analysis and avoid the pitfals raised by Lal.

    There are many guidelines out there on how to conduct synthesis reviews, especially in the areas of health and education. Perhaps the ones better know and applied in the field of agriculture and rural development are those developed by 3IE and Campbell Collaboration, accessible at this link: https://www.3ieimpact.org/our-expertise/synthesis

    Best regards,

     

    Carlos

    Read on a separate page
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 17/10/2019

    Dear Members,

    Thanks to those who contributed to the discussion on the use of synthesis and meta-analysis in development evaluation. The exchange supported my preparation for the What Works Global Summit 2019 (wwgs2019.org), where synthesis and meta-analyses are discussed as tools for designing, implementing and assessing programmes and policies. A synthesis is the integration of existing knowledge and findings relevant to a topic, and has as its main objective to increase the applicability of evaluation findings and develop new knowledge through the integration process. It is promoted as an approach that addresses the challenge of "information overload", delivering products that distil relevant evidence for decision-making.

    Here are the main issues shared by participants: 

    • Synthesis work needs to be focused and pragmatic in order to attain its goal.
    • Evaluation documents needs to be easily available, and the researchers need to interact with key stakeholders throughout the preparation process.
    • Meta-analyses of evaluations allows the identification of structural themes that affect performance, which is of interest to donors and programme managers.
    • A more holistic approach is required to enhance the engagement and outreach of the learning, i.e. by organizing dedicated workshops to discuss the findings of the evaluation synthesis.
    • Meta-analysis can provide very valuable insights on the performance of a programme or approach, and guide primary data collection. It can however be very time-consuming and thus not always feasible to undertake within the timeframe of an evaluation.
    • Meta-analysis can be an important tool for decision-makers but is not well known among evaluators. More training on its usage could help broadening awareness and application of the approach.

    Taking on this last point, EvalForward will organize a webinar soon for members interested in learning more on synthesis and meta-analysis. Stay tuned!

    Carlos

    Read on a separate page
• Blog

  How can we improve the quality of development projects?

  25 Jul 2019
  When evaluating projects, we identify issues that affect their effectiveness and note that these often originate from flaws at design and/or implementation stages. In early July, I raised this topic with the Community and asked which good practices members would recommend to governments, donors, international organizations and non-governmental organizations to improve project effectiveness. Several members shared suggestions and ideas for ensuring high-quality projects, such as the following: Quality projects should clearly contribute to a bigger developmental impact of the country. Projects...

  Lire plus
• Discussion

  What can we do to improve the quality of development projects?

  15 Jul 2019
  • 

    Italy

    Carlos Tarazona

    Senior Evaluation Officer

    FAO

    Posté le 25/07/2019

    Dear members,

    Thanks to all of you for contributing to this discussion. 

    Here is a summary of the suggestions and ideas shared:

    • Quality projects should clearly contribute to a bigger developmental impact of the country.
    • Projects should have clear objectives, milestones and monitoring of deliverables.
    • Commitment and ownership by the government is key; this goes beyond the signing of the financial agreement and includes the actual commitment of human and financial resources.
    • Participation of beneficiaries since the design stage can help in ensuring that the project address a problem that is relevant to them. 
    • Projects should be relevant to the beneficiaries: “to the point that they are conscious of their right to hold project management units and concerned ministries to account”.
    • Having qualified management teams, who will ensure that projects are implemented with efficiency, quality, meritocracy, inclusiveness and sustainability in mind.
    • Donors and steering committees have a critical role in guiding project implementation, provided that members are knowledgeable about the project and have time to add value to it, and able to critically review implementation and provide directive for improvement.
    • There is a limited use of past lessons to inform new project design. Programmes should develop and validate key lessons, innovations and good practices experienced and these should inform new design/appraisal missions and future interventions.
    • There is reluctance to stop poorly conceived projects, even when it is clear that these will not achieve their objectives.
    • Projects should have a sustainability plan and exit strategy, including hand over of interventions to existing institutions or structures that are prepared to take over the management and operationalization of project outcomes. 

    I look forward to further exchanges with the Community!

    Carlos

    Read on a separate page