Aller au contenu principal
Serdar Bayryyev

Italy

Serdar Bayryyev Member since 25/10/2018

FAO

Senior Evaluation Officer

My contributions

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 01/05/2025

      Thank you for sharing this comprehensive overview of the challenges and opportunities in SSTC evaluation. South-South Cooperation (SSC) embodies a dynamic, ongoing collaborative partnership among diverse stakeholders working towards shared goals, especially within the framework of the Sustainable Development Goals (SDGs). The United Nations Department of Economic and Social Affairs (UNDESA) describes multi-stakeholder partnerships for the SDGs as “An ongoing collaborative relationship among organisations from different stakeholder types aligning their interests around a common vision, combining their complementary resources and competencies and sharing risk, to maximise value creation towards the Sustainable Development Goals and deliver benefit to each of the partners.” 

      My recent evaluations of partnerships between FAO, civil society organizations, and the private sector have also provided valuable insights highlighting the critical need for truly transformative partnerships and collaborative efforts that foster innovation, mutual benefit, and shared ownership among all stakeholders and beneficiaries. Strengthening such partnerships is essential to advancing sustainable development and achieving the SDGs effectively. (These evaluation reports can be accessed here: https://openknowledge.fao.org/handle/20.500.14283/cb1636en; https://openknowledge.fao.org/handle/20.500.14283/ca6678en)

      Building on my experience with these impactful evaluations, I believe that one of the most promising strategies to enhance the evaluation of South-South and Triangular Cooperation lies in embracing multi-stakeholder partnerships and participatory engagement and collaboration that aligns with the core principles of the 2030 agenda, including mutual benefits, solidarity and local ownership.

      My perspective is to view evaluation not just as a measurement tool but as a catalyst for reinforcing partnership dynamics. This means involving all relevant stakeholders actively in co-designing evaluation frameworks and criteria, which can help ensure that assessments reflect locally prioritized outcomes and contextual realities. When national partners lead or co-lead evaluations, it fosters ownership, enhances relevance, and builds local evaluation capacity—addressing some of the capacity gaps and data challenges identified.

      Recognizing SSTC as a form of transformative partnership, evaluations should assess not only immediate results but also the evolution of trust, solidarity, and mutual respect over time. Such an approach underscores the importance of long-term relationship-building as an integral part of sustainable development impact. By embedding participatory, narrative, and contextually grounded evaluation practices, and fostering nationally-led capacities, we can better capture the true value of SSTC initiatives. This, in turn, will strengthen accountability, inform more effective partnership strategies, and ultimately contribute to the SDGs in a manner that is locally owned and globally impactful.

      Best regards,

      Serdar Bayryyev 

      Senior Evaluation Officer at the Food and Agriculture Organization (FAO).

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 07/04/2025

      L'efficacité des projets à grande échelle en termes de rentabilité, en particulier dans les domaines de la sécurité alimentaire, de l'agriculture et du développement rural, représente un défi aux multiples facettes. La définition de ce qu'est un «grand» projet peut varier considérablement selon le contexte et les circonstances. Par exemple, dans certaines régions, les projets d'un budget supérieur à 5 millions d'USD peuvent être considérés comme des «grands projets», alors que dans des environnements plus difficiles, des investissements inférieurs à 10 millions d'USD peuvent être considérés inadaptés pour générer un changement à fort impact. Dans le cadre de mon travail d'évaluation, j'ai été confronté à différentes réussites et difficultés qui peuvent être intéressantes pour cette discussion.

      1. Opportunités en termes de portée

      L'échelle d'un projet influence considérablement sa capacité à atteindre les bénéficiaires. Les grands projets mobilisent des ressources importantes, provenant de sources nationales et internationales, qui permettent des interventions complètes à grande échelle en mesure de générer des transformations significatives au sein des économies rurales et des systèmes alimentaires.


      2. Capacité à réaliser des avantages multiples. 

      Les projets à grande échelle peuvent produire de multiples avantages, dans la mesure où ces interventions visent souvent à relever simultanément différents défis de développement. Le Programme d'amélioration des systèmes d'irrigation en Afghanistan, mis en œuvre par la FAO, en est un bon exemple. Cette initiative visait à moderniser les infrastructures d'irrigation du pays, en mauvais état pour plus de 70% d'entre elles et nécessitant une remise en état importante. L'évaluation de ce programme a montré que cette intervention a non seulement amélioré la productivité agricole et renforcé la sécurité alimentaire mais a également encouragé le renforcement des capacités locales et promu la participation des communautés dans les pratiques de gestion durable de l'eau. Les différents avantages apportés par le programme comprenaient:

      • l'augmentation de la production et de la productivité agricoles;
      • les opportunités de diversification des moyens d'existence;
      • l'amélioration de le sécurité alimentaire;
      • la distribution plus équitable de l'eau;
      • le renforcement des capacités des agriculteurs et des institutions locales;
      • l'implication et l'appropriation communautaires;
      • les avantages environnementaux.

      3. Engagements de long terme

      Les grands projets nécessitent généralement des engagements de plus long terme, tant en termes financiers que techniques. Des ressources adaptées et une aide technique soutenue sont essentielles pour convertir les investissements initiaux en effets de long terme. Un partenariat entre une organisation gouvernementale et une ONG internationale pour le développement d'une initiative agricole durable pourrait par exemple s'étaler sur plusieurs années, permettant aux parties prenantes d'instaurer un rapport de confiance et d'affiner les pratiques de manière collaborative. Cet investissement dans la durée est essentiel pour favoriser des collaborations plus profondes entre les acteurs de développement.


      4. Transfert d'innovation et de technologie

      Les initiatives à grande échelle peuvent faciliter l'introduction et la diffusion efficaces des pratiques et technologies agricoles innovantes, en prévoyant une durée et des ressources appropriés pour le pilotage et la mise à l'échelle. Un grand projet pourrait par exemple introduire des techniques agricoles de précision à travers des ateliers et des démonstrations, en offrant aux agriculteurs locaux de nouvelles méthodes et de nouveaux outils qui améliorent la productivité et réduisent l'impact environnemental. Cela est particulièrement crucial dans les régions aux ressources limitées, où l'aide technique spécialisée peut améliorer considérablement les pratiques agricoles.

      5. Développement des infrastructures

      De nombreux projets de développement agricole et rural réussis se sont concentrés sur la construction des infrastructures essentielles, telles que les routes, les systèmes d'irrigation, les équipements de stockage. Ces infrastructures servent d'éléments fondamentaux pour améliorer l'accès au marché et renforcer la sécurité alimentaire. Un projet qui construit de nouvelles routes en milieu rural peut par exemple considérablement améliorer l'accès des agriculteurs aux marchés, leur permettant ainsi de vendre leur production à de meilleurs prix et de réduire les pertes post-récolte.

      6. Inefficacités et bureaucratie 

      Toutefois, l'un des principaux défis auxquels sont confrontés les grands projets concerne les inefficacités dérivant des processus bureaucratiques. Des exigences préparatoires strictes et un contrôle accru pour les grands contrats d'approvisionnement peuvent entraîner des retards, des dépassements de coûts et un décalage entre les objectifs du projet et les besoins locaux. La bureaucratie excessive d'une initiative agricole à grande échelle peut par exemple entraver la fourniture des intrants nécessaires, provoquant des retards dans la mise en œuvre et une frustration accrue parmi les parties prenantes locales.

      7. Alignement sur les besoins locaux et appropriation 

      Un autre défi fréquent auquel se trouvent confrontés les grands projets tient à la difficulté d'encourager une appropriation locale authentique. Les décisions sont souvent prises à des niveaux institutionnels supérieurs, ce qui conduit à une implication inadaptée des parties prenantes locales dans les phases de programmation et d'exécution. Ce décalage peut conduire les projets à mettre en œuvre des solutions qui s'écartent des contextes ou des priorités des communautés. Un projet d'irrigation à grande échelle conçu sans consultation locale pourrait par exemple se concentrer sur les cultures commerciales qui ne correspondent pas aux besoins locaux de subsistance, compromettant la durabilité du projet quand le financement prend fin.

      8. La mesure de l'impact

      L'évaluation des impacts de long terme comporte ses propres défis. Les produits immédiats, tels que la distribution d'outils agricoles ou la construction de différentes infrastructures et installations sont relativement faciles à mesurer. Cependant, l'évaluation des changements durables en matière de sécurité alimentaire ou de moyens d'existence en milieu rural demande souvent des délais plus longs et un ensemble nuancé d'indicateurs. La mise en œuvre d'évaluations de l'impact solides comprenant des évaluations des données de référence et la mise en place de cadres de suivi peut améliorer l'évaluation de l'impact. Un projet visant à améliorer la sécurité alimentaire tirerait parti par exemple d'évaluations pluriannuelles mesurant les changements dans les pratiques alimentaires, la résilience agricole et la stabilité des revenus.

      Bien que les projets à grande échelle soient en mesure de renforcer considérablement la sécurité alimentaire, l'agriculture et le développement durable, ils sont souvent confrontés à des défis majeurs. L'évaluation méticuleuse de leur conception, de leurs stratégies d'exécution et de l'implication des communautés est cruciale pour établir s'ils ont été rentables et s'ils génèrent des avantages durables. L'efficacité de ces initiatives repose en fin de compte sur leur engagement pour l'apprentissage, leur flexibilité et les partenariats réels avec les communautés locales. Un suivi continu et une gestion adaptative de projet, soutenus par un travail d'évaluation de qualité, peuvent contribuer à optimiser les effets positifs des projets à grande échelle et à s'assurer qu'ils répondent aux besoins des bénéficiaires visés.

      Serdar Bayryyev

      Fonctionnaire d'évaluation senior

      FAO
       

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 05/02/2025

      Chère Mireille,

      Merci d’avoir soulevé ce sujet important et d’avoir appelé à une discussion plus approfondie dans ce forum. Pour faciliter cet échange, je souhaite partager quelques réflexions sur les deux questions que vous avez posées.

      Question 1. Quels sont les défis rencontrés dans l’évaluation des politiques et réglementations, telles que les cadres réglementaires comme l'EUDR, en particulier dans le contexte du cacao et d’autres produits alimentaires soumis à ces nouvelles réglementations ?

      L’évaluation des politiques et réglementations, telles que le Règlement de l’Union européenne sur la déforestation (EUDR), présente plusieurs défis, notamment dans le contexte du cacao et d’autres produits alimentaires.

      La complexité des chaînes d’approvisionnement et leur nature mondialisée rendent difficile la traçabilité de l’origine des produits et la vérification de leur conformité aux réglementations. Cette complexité complique l’analyse d’évaluation, en particulier pour des produits comme le cacao, qui peuvent provenir de plusieurs régions aux niveaux de conformité et aux cadres de gouvernance variables.

      Un autre défi réside dans l’engagement d’un groupe très diversifié d’acteurs (tels que les petits exploitants agricoles, les entreprises, les consommateurs, etc.) ayant des intérêts et des capacités variés. Assurer la participation effective de toutes les parties prenantes dans le processus d’évaluation peut être complexe et impacter la qualité des données collectées ainsi que la pertinence des conclusions tirées.

      Le manque de données accessibles et fiables peut également entraver l’évaluation des politiques, car ces données ne sont pas toujours disponibles de manière uniforme à travers les régions ou les secteurs. Définir des indicateurs clairs et mesurables permettant de saisir à la fois les impacts directs et indirects des réglementations est un défi. Pour évaluer ces impacts, il est essentiel de s’appuyer sur des données à long terme afin d’analyser la durabilité et l’efficacité des cadres réglementaires, mais ces données sont souvent inexistantes.

      Question 2. Quels indicateurs et méthodologies permettent de mesurer efficacement à la fois les résultats à court terme et les impacts à long terme ?

      Pour capturer efficacement les résultats à court terme et les impacts à long terme dans l’évaluation des politiques, il est essentiel de combiner divers indicateurs et méthodologies. Une approche mixte, associant l’analyse de données quantitatives et des évaluations qualitatives, peut faciliter l’examen des effets des politiques.

      Les indicateurs quantitatifs peuvent être obtenus à partir de bases de données nationales et porter sur les taux de déforestation, les émissions de carbone, la productivité agricole et les indicateurs économiques (par exemple, l’évolution des revenus des petits producteurs). Ces indicateurs doivent être vérifiés et complétés par des méthodes qualitatives, notamment des enquêtes et des entretiens avec les parties prenantes concernées et les fournisseurs de données. L’analyse d’études de cas spécifiques sur la mise en œuvre des politiques peut permettre une meilleure compréhension des contextes, des défis et des réussites qui alimentent les évaluations globales.

      Dans l’attente de nouvelles idées et réflexions.

      Bien cordialement,

      Serdar Bayryyev
      Senior Evaluation Officer, FAO

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 09/12/2024

       

      Cher Hézékiah,

      En développant mes réponses précédentes et en répondant à vos questions, il est important de noter les considérations suivantes. L'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) utilise plusieurs approches d'évaluation contextuelles pour évaluer efficacement le succès de ses initiatives. Voici quelques stratégies spécifiques utilisées par la FAO :

      Engagement des parties prenantes : La FAO implique activement les parties prenantes à différents niveaux, y compris les communautés locales, les organismes gouvernementaux et les ONG, dans le processus d'évaluation. Cette approche participative permet de recueillir des perspectives diverses, garantissant que les évaluations sont ancrées dans les réalités et les besoins des personnes directement concernées.

      Analyse contextuelle : Avant les évaluations, la FAO réalise des analyses contextuelles approfondies pour comprendre les facteurs socio-économiques, environnementaux et culturels qui influencent les pratiques agricoles et la sécurité alimentaire dans des régions spécifiques. Cela permet d'adapter les évaluations aux conditions et aux défis locaux.

      Utilisation de méthodes mixtes : La FAO utilise une combinaison de méthodes qualitatives et quantitatives dans ses évaluations. En intégrant des enquêtes, des études de cas, des discussions de groupe et des entretiens, l'organisation peut obtenir une vision globale des résultats et des impacts, en tenant compte de la complexité des contextes locaux.

      Et assurer le succès de la durabilité dans le déploiement de projets agricoles est essentiel pour un succès et un impact à long terme. Plusieurs indicateurs peuvent aider à évaluer la durabilité des efforts de déploiement dans de telles initiatives. Voici quelques indicateurs clés à considérer :

      1. Viabilité économique :
        • Ratio coût-bénéfice : Mesurer les retours économiques du projet par rapport aux coûts engagés.
        • Marge bénéficiaire : Évaluer la rentabilité des opérations à grande échelle.
        • Accès au marché et intégration de la chaîne de valeur : Évaluer la capacité des agriculteurs à accéder aux marchés et leur participation aux chaînes de valeur.
      2. Impact environnemental :
        • Santé des sols : Surveiller la fertilité des sols, les taux d'érosion et la teneur en matière organique.
        • Biodiversité : Mesurer la diversité des cultures et de la faune dans la zone d'influence du projet.
        • Utilisation de l'eau : Évaluer l'efficacité de l'utilisation de l'eau et la durabilité des ressources en eau utilisées dans les pratiques agricoles.
      3. Équité sociale :
        • Participation de la communauté : Évaluer le niveau d'engagement et de participation des parties prenantes locales à la prise de décision.
        • Accès aux ressources : Surveiller l'accès équitable à la terre, au crédit et aux intrants pour tous les agriculteurs, en particulier les groupes marginalisés.
        • Inclusion du genre : Évaluer la participation des femmes et des groupes marginalisés à l'agriculture, à la prise de décision et aux avantages du projet.
      4. Résilience et adaptabilité :
        • Pratiques de gestion des risques : Évaluer l'adoption de pratiques qui renforcent la résilience au changement climatique, aux ravageurs et aux fluctuations du marché.
        • Diversification des sources de revenus : Analyser la diversification des sources de revenus des agriculteurs impliqués dans le projet.
      5. Adoption technologique et innovation :
        • Utilisation de pratiques durables : Mesurer l'étendue de l'adoption de pratiques agricoles durables, telles que l'agriculture biologique, l'agriculture de conservation et l'agroforesterie.
        • Transfert d'innovation : Évaluer l'efficacité des mécanismes de transfert de connaissances et de technologies.
      6. Renforcement des capacités et éducation :
        • Programmes de formation et de soutien : Évaluer la disponibilité et l'efficacité des programmes de formation pour les agriculteurs.
        • Accès à l'information : Surveiller la disponibilité et l'accessibilité de la recherche agricole et des services de vulgarisation.
      7. Impact sur les communautés locales :
        • Sécurité alimentaire : Mesurer les changements dans les niveaux de sécurité alimentaire des ménages dans la zone cible.
        • Amélioration de la nutrition : Évaluer les améliorations de la diversité alimentaire et de la nutrition des populations locales.

      J'espère que cela est utile. 

      Cordialement, 

      Serdar Bayryyev, Spécialiste principal de l'évaluation, FAO

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 05/12/2024

      Cher Hezekiah,

      Nous avons évalué différents programmes et interventions de la FAO et de ses partenaires visant à améliorer la sécurité alimentaire et l'agriculture durable. Ces rapports sont disponibles sur notre site: https://www.fao.org/evaluation/en/

      Dans de nombreux cas, nos évaluations ont permis aux parties prenantes de comprendre si des actions avaient été menées pour étendre davantage le programme et si cette mise à l'échelle a fonctionné ou non. Nous avons exploité ces résultats pour formuler des recommandations concrètes sur la mise à l'échelle, en mettant en évidence les principaux facteurs de succès qui ont conduit à des stratégies d'adoption plus large, à une échelle supérieure ou dans d'autres endroits.

      Voici quelques exemples de cas:

      1. La gestion intégrée des ravageurs (IPM pour Integrated Pest Management en anglais): Une évaluation de la mise en œuvre par la FAO de l'IPM dans différentes régions a montré des améliorations significatives dans la lutte contre les ravageurs et les rendements des cultures. L'évaluation a souligné la manière dont la formation des agriculteurs locaux et l'adaptation des stratégies IPM ont produit de bons résultats. Elle a informé les parties prenantes sur les bénéfices potentiels de la mise à l'échelle des programmes IPM dans d'autres zones agricoles, en particulier dans des pays confrontés à des problématiques similaires concernant les ravageurs. Les approches participatives impliquant les communautés locales et la mise à profit des connaissances traditionnelles comptent parmi les principaux facteurs de réussite identifiés.

      2. L'initiative «Amélioration de la gouvernance mondiale pour la sécurité alimentaire»: Ce programme visait à améliorer la coopération entre les parties prenantes pour la sécurité alimentaire. Les évaluations ont révélé que l'amélioration des structures de gouvernance ont permis d'améliorer l'implication des parties prenantes et l'allocation des ressources. Les conclusions ont préconisé d'étendre la formation en gouvernance aux niveaux locaux en tant que meilleure pratique qui pourrait être adoptée dans d'autres régions. L'évaluation a souligné l'importance d'établir des canaux de communication et des cadres de collaboration clairs, qui sont essentiels pour obtenir des résultats positifs en matière de sécurité alimentaire.

      3. L'agriculture intelligente face au climat. Les évaluations des programmes d'agriculture intelligente face au climat de la FAO ont démontré la manière dont l'intégration de la résilience climatique dans les pratiques agricoles a été bénéfique aux agriculteurs dans de nombreux pays. Les évaluations ont montré que la mise à l'échelle de ces interventions a conduit à l'amélioration de la productivité et de la durabilité. Les facteurs de réussite principaux comprenaient notamment la délivrance d'une assistance technique, l'accès aux informations climatiques et la mise en place de parcelles de démonstration. Par conséquent, des recommandations ont été formulées pour étendre les initiatives d'agriculture intelligente face au climat dans d'autres zones agricoles vulnérables. 

      4. Programme de sécurité alimentaire et nutritionnel en Éthiopie: L'évaluation de ce programme à multiples facettes a montré des améliorations significatives dans la diversité des régimes alimentaires et l'accès aux aliments parmi les foyers ciblés. Elle a mis en évidence l'importance de la participation communautaire et d'un contenu spécifique au contexte local dans les modules de formation, qui a été déterminant pour la mise en œuvre réussie de l'initiative. Les recommandations ont préconisé une expansion du programme dans d'autres régions éthiopiennes et au-delà, sur la base des résultats positifs observés, en soulignant le rôle central des interventions spécifiques au contexte.

      5. Soutien aux petits exploitants agricoles: Une évaluation examinant les initiatives de la FAO visant à soutenir les petits exploitants agricoles à travers l'accès aux ressources et aux marchés a conclu que ces programmes ont eu un fort taux de succès en termes d'amélioration de la sécurité alimentaire et des niveaux des revenus. Les modèles de réussite ont été identifiés pour une mise à l'échelle potentielle dans différents contextes en Afrique et en Asie. Le rapport a souligné l'importance d'instaurer des partenariats locaux et des mécanismes de soutien continu pour assurer la durabilité et l'efficacité sur le long terme. 

      Ces évaluations illustrent, entre autres, la manière dont la FAO et ses partenaires utilisent les évaluations pour en tirer des indications concrètes qui facilitent la mise à l'échelle des programmes visant l'amélioration de la sécurité alimentaire et la promotion des pratiques agricoles durables dans le monde. Les résultats fournissent une feuille de route pour la reproduction et l'adaptation dans de nombreux contextes, contribuant en fin de compte à des actions plus larges pour atteindre les objectifs de sécurité alimentaire.


      Enseignements tirés:
      L'un des principaux enseignements a concerné l'importance des évaluations sensibles au contexte qui prennent en compte les conditions locales et les dynamiques des parties prenantes. En outre, l'implication des communautés locales dans le processus d'évaluation améliore l'appropriation et la pertinence des initiatives de mise à l'échelle. Parmi les critères pouvant être utilisés pour évaluer la réussite de la mise à l'échelle figurent les éléments suivants:

      - La preuve d'une amélioration de l'accès aux innovations ou de leur adoption.

      - Des changements positifs dans les réalisations visées (par exemple, une amélioration des moyens d'existence ou de la sécurité alimentaire).

      - La durabilité des efforts de mise à l'échelle dans le temps.


      J'attends avec impatience les discussions à venir et les apprentissages partagés sur ce thème important.

       

  • Le paysage de la gouvernance et du développement est en constante évolution, ce qui nécessite des mécanismes d’évaluation solides afin de garantir que les programmes et les politiques répondent aux défis mondiaux sans précédent. La Conférence 2024 sur les capacités nationales d'évaluation (NEC), qui s'est tenue à Pékin du 14 au 18 octobre, a servi de plate-forme essentielle pour permettre aux parties prenantes de se réunir et d'améliorer leur compréhension de l'évaluation en tant qu'outil de responsabilisation et d'information sur des réponses rapides et efficaces aux défis mondiaux. La...
    Lire plus
    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 19/08/2024

      Dear Nanthi,

      Thank you for sharing your insights on evaluating sustainable pathways to climate-resilient agriculture. The examples you presented underscore important lessons vital for tackling the intersection of agri-food systems and climate change.

      1. The Role of Evaluation in Sustainable Agriculture  

      I appreciate your emphasis on the significance of evaluation in gauging the overarching context. Instead of concentrating solely on immediate project impacts, evaluations should reflect on the broader objectives of sustainable development. It is essential to analyze the interconnections and synergies among human, socio-economic, and ecological systems, alongside potential trade-offs.

      2. Innovative Methodologies  
      The introduction of a new rubric methodology to examine the relationship between agricultural interventions and ecosystem health is a noteworthy advancement. This innovative approach provides a nuanced perspective on how agricultural practices influence natural resources, facilitating more informed decision-making. Categorizing impacts by typologies will offer greater clarity for stakeholders and enhance their understanding of the associated risks and benefits.

      3. Agile and Responsive Evaluations  
      I completely concur that the unprecedented complexity of today's development challenges necessitates more responsive and proactive evaluation methods. Given the intensifying climate-related challenges, it is crucial to shift away from traditional, lengthy evaluation cycles in favor of more rapid and real-time assessments. Evaluations should deliver timely feedback that supports adaptive management, as such flexibility is vital in the face of rapid changes in both climate and agricultural environments.

      4. Integrating Cross-Cutting Issues 
      Integrating social impact assessments—including considerations for gender equality and women's empowerment—into the evaluation process demonstrates a comprehensive approach to development. By addressing social dimensions alongside environmental factors, a more holistic evaluation can guide decision-makers toward inclusive and sustainable agricultural practices, ensuring that solutions are tailored to respect local ecosystems and meet community needs.

      Best regards,  


      Serdar Bayryyev

      Senior Evaluation Officer

      Food and Agriculture Organization 
       

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 28/11/2022

      Cher Eriasafu,

      Merci de soulever ces questions importantes et de souligner la nécessité d'intégrer la fonction d'évaluation à celles du suivi et de l'apprentissage. Toutes ces fonctions importantes sont interconnectées et, en tant que telles, font partie intégrante d'un cycle de gestion de projet efficace. L'approche la plus efficace consisterait à intégrer dès le départ l'évaluation dans le système global de gestion axé sur les résultats, plutôt que de la réaliser comme un exercice ponctuel à un moment donné du cycle du projet/programme.

      J'aimerais souligner quelques points qui pourraient stimuler une discussion plus approfondie sur les questions que vous avez posées.

      Objectif et utilité

      Avant d'établir ou de développer tout système de suivi et d'évaluation, ses principaux utilisateurs/parties prenantes et ses développeurs doivent être clairs sur le but et l'utilité du système. Par exemple, le système qui génère principalement des données pour les rapports de niveau supérieur (entreprise) est différent du système qui se concentre sur la mesure des avantages pour la communauté locale ou le suivi de l'impact au niveau du bénéficiaire.  Tout système développé doit également être pragmatique et tenir compte des capacités et des ressources disponibles, sans créer ou ajouter des niveaux de complexité ou des fonctions qui pourraient ne pas être utilisées par la suite.

      Considérations relatives aux droits de l'homme et au genre.

      Les systèmes de suivi et d'évaluation doivent adhérer aux approches basées sur les droits, en identifiant potentiellement l'effet des programmes sur les personnes qui réalisent leurs droits humains et en identifiant les meilleures pratiques potentielles pour garantir le respect des droits humains lors de la mise en œuvre des opérations et des programmes. Les processus et activités de suivi et d'évaluation devraient intégrer dûment les considérations liées au genre, en mesurant tout effet des programmes sur les femmes, les filles, les hommes et les garçons, et en évaluant les avantages et les inconvénients. Ces objectifs peuvent être atteints en intégrant des indicateurs de performance sensibles au genre dans les cadres de résultats et de ressources des projets, en identifiant les sources potentielles d'informations ventilées par sexe et en veillant à ce que les données ventilées par sexe soient collectées et utilisées pour le suivi et l'évaluation, dans la mesure du possible. 

      Prise en compte des contraintes

      Les activités de suivi et d'évaluation doivent tenir compte de l'environnement opérationnel des projets et des programmes, et en particulier des contraintes et des risques potentiels. Dans les situations d'urgence et les contextes de crise, les contraintes et les limitations sont multiples, y compris les questions d'accès sécurisé aux sites de projet et aux informateurs prévus, la disponibilité et la fiabilité des données, les biais possibles des informateurs clés dans les contextes de crise en raison de leur localisation ou de leur affiliation. Ces contraintes peuvent être résolues en faisant appel à des partenaires/experts locaux, en recourant à un suivi par une tierce partie et/ou en utilisant une technologie moderne qui permet le suivi et la collecte de données à distance (par exemple, la télédétection par satellite, les données géospatiales disponibles, la collecte de données numériques, les plateformes de données basées sur les téléphones portables, la télédétection par satellite, etc.)

      Ne pas nuire

      Dans tous les contextes, et en particulier dans les situations de crise, les principes de "Ne pas nuire" doivent être appliqués lors de la planification et de la réalisation des activités de suivi et d'évaluation, en tenant compte des sensibilités et des tensions potentielles. Les approches de suivi et d'évaluation proposées doivent être planifiées de manière à ne pas affecter les fournisseurs de données de suivi et d'évaluation, à ne pas exacerber les tensions existantes et/ou à ne pas détériorer les relations entre les informateurs et les autres acteurs/communautés locales. 

      Bien à vous,

      Serdar Bayryyev (FAO)

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 30/07/2022

      Dear Ibtissem,

      Thank you for posting a blog on this important issue. The complexity of development interventions requires that evaluation teams have various types of expertise. Yet, it is often quite difficult to secure right mix of expertise, and it is even more challenging to ensure that this expertise is effectively utilized during a short span of the evaluation process.

      Evaluation managers/leaders (hereinafter referred as Evaluation Team Leaders) need to make their thoughtful decisions on what expertise they need to obtain for the evaluation team, and what combination of expert knowledge and experience would work best for their evaluation.  In making these decisions and in leading the evaluation processes, Evaluation Leaders may indeed be guided by the five competency domains highlighted by Ibtissem  (or the Competencies for Canadian Evaluation Practice), which resonate with the 2016 UNEG Evaluation Competency Framework (http://www.unevaluation.org/document/detail/1915 ).  

      The role of the evaluation leader in managing the teams of experts, is indeed strategic and challenging, and I would like to add just a few considerations in this regard, to stimulate further discussion on this important topic:

      Establishing strong leadership

      Evaluation Team Leaders need to effectively lead the evaluation team, coordinating effective engagement of each expert in the team, validating their individual inputs and undertaking quality controls at key milestones. Continuous communication with each team member throughout the process is essential to ensure that any questions are potential risks of drawbacks are timely and effectively addressed.

      Ensuring compliance with organizational standards

      The Evaluation Team leaders need to require compliance of each team members with applicable rules and regulations, and standards of conduct established by the organization, and establish quality parameters of expected deliverables. In collaboration with each team member, Evaluation Team Leader should ensure that there is a shared understanding of what is to be evaluated and how, clarifying how organizational standards and processes are to be applied, and what is expected from each individual team member.

      Focus, focus, focus

      Biases are unavoidable, yet their influence can be minimized by focusing on evaluation objective and clearly establishing the scope of evaluation analysis. Furthermore, it should be made clear that any expert inputs and viewpoints need to be validated and supported with solid and relevant evidence.

      Building relationships

      Teambuilding skills are essential, to ensure that team members support each other and works towards achieving common objective.

      Engaging external expert panels

      If at all possible, external panels of experts may be engaged to provide feedback on key thematic areas of your evaluation analysis. Recognized experts from counterpart organizations may assist by serving as high-level expert panel members, to review findings produced.

      These are just a few examples, and I anticipate continued discussion on this topic. 

      Kindest regards,


      Serdar Bayryyev

       

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 29/03/2022

      La nécessité d'évaluer la science, la technologie et l'innovation dans un contexte de développement

      L'importance de la science, de l'innovation et de la recherche pour appuyer les efforts globaux vers un développement plus durable et respectueux du climat est croissante. Il existe un besoin urgent d'une science pertinente, d'une recherche de qualité et d'innovations révolutionnaires, car le monde est confronté à des défis et à des crises nouveaux et sans précédent. L'évaluation de la qualité de la science et de la recherche est essentielle pour déterminer l'utilité et l'efficacité des activités de science, d'innovation et de recherche.  Les résultats de l'évaluation devraient aider les décideurs à déterminer les domaines prioritaires importants à approfondir et faciliter la prise de décision concernant les allocations de ressources pour les futures activités de recherche.

      Principales contraintes

      L'évaluation de la science et de la recherche est cependant assez compliquée et fait face à de nombreux défis méthodologiques. Par exemple, l'évaluation de la pertinence et de l'importance des produits scientifiques ou de recherche repose principalement sur l'utilisation de méthodes bibliométriques. Il s'agit d'une méthode quantitative qui peut en fait produire des résultats solides fondés sur des preuves, mais son utilisation est limitée par des contraintes majeures.  Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques, ou ne sont même pas publiés, et ne peuvent donc pas tous être évalués.

      Les méthodes bibliométriques sont souvent basées sur le calcul du nombre moyen de citations, ce qui présente également la base de certains biais. Par exemple, on accorde parfois une attention exagérée à un auteur particulier, connu pour des travaux antérieurs dans un domaine spécifique ou affilié à des institutions bénéficiant d'un fort soutien politique ou financier. En termes de citations, certains auteurs peuvent également exclure délibérément certains matériaux de référence de leurs publications. Dès lors, chaque fois que l'analyse des données bibliométriques est utilisée, elle doit l'être avec prudence et doit être combinée à l'utilisation d'autres méthodes pour des raisons de validité.

      L'autre limite majeure est que, dans le monde complexe de la science et de l'innovation d'aujourd'hui, il existe diverses normes ou critères d'évaluation de la qualité de la recherche, de la science et de l'innovation dans diverses parties du monde, et dans diverses parties de la science et de l'innovation.

      L'évaluation des produits de la science et de la recherche peut également être biaisée en raison des différences d'affiliation politique, de croyances, de perceptions culturelles ou religieuses de ceux qui réalisent ces évaluations.

      Considérations clés

      Ce volet de la fonction d'évaluation étant encore en pleine évolution, il existe quelques considérations clés à prendre en compte pour entreprendre une évaluation pertinente, ou pour développer des outils et des méthodes d'évaluation appropriés.

      Évaluation de la pertinence/importance de la science et de la recherche.

      L'évaluation de la pertinence ou de l'importance des produits de la science, de l'innovation et de la recherche doit tenir compte du contexte dans lequel ces produits doivent être utilisés. Ce qui fonctionne dans un contexte peut ne pas convenir à un autre, et ce qui constitue l'innovation et la science de pointe varie considérablement en fonction de l'utilisation prévue ou des utilisateurs.

      Évaluation de l'efficacité (ou de la qualité)

      Pour évaluer l'efficacité de la recherche et de l'analyse scientifique, il est essentiel d'évaluer l'"influence" de ces activités, ou la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus.  

      Évaluer le degré de "mise en réseau", c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées, y compris celles qui pouvaient avoir une position "négative" ou opposée au thème/sujet de recherche.

      Évaluer la nature transformationnelle

      Dans le monde d'aujourd'hui, le critère le plus important pour évaluer la pertinence, l'utilisation et l'efficacité de la science, de l'innovation et des activités de recherche est peut-être de savoir si ces activités provoquent un véritable changement transformationnel ou, du moins, si elles déclenchent un discours politique important sur l'évolution vers un tel changement transformationnel.

      Les textes ci-dessus sont des suggestions à prendre en considération, qui visent à stimuler un retour d'information supplémentaire sur cette importante discussion.

      Bien à vous,

      Serdar Bayryyev

      Senior Evaluation Officer

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 19/01/2021

      Cher John,

      À mon avis, la théorie du changement, ou le cadre logique, ou toute autre méthode utilisée pour guider la conception de l'intervention de développement (projet) est essentielle. Ces méthodes doivent être basées sur une analyse complète du contexte de développement et des questions critiques à traiter pour répondre aux besoins et aux désirs des communautés locales.

      Les organisations multilatérales ont quelques exemples de projets de "développement communautaire". Par exemple, le Fonds international de développement agricole (FIDA) a récemment publié une synthèse d'évaluation de "Community-driven development in IFAD-supported projects" (FIDA, avril 2020), qui est basée sur l'examen d'études de cas de projets de développement menés par les communautés. La théorie du changement utilisée pour cette synthèse est basée sur l'hypothèse que le capital social et l'autonomisation sont au centre de l'approche du développement communautaire. Cette théorie du changement suppose que le processus de mise en œuvre participative "...devrait permettre une transformation véritablement durable des moyens de subsistance en milieu rural en renforçant les capacités des populations pauvres à utiliser un plus large éventail d'options de subsistance et en transformant les relations entre la communauté et le gouvernement pour mieux soutenir les processus de développement centrés sur les personnes". Cette théorie du changement est illustrée dans la figure 2 de la page 5 du document de synthèse accessible via le lien suivant :

      https://www.ifad.org/documents/38714182/41898849/ESR+CDD+-+final+with+c…

      Bien à vous,

      Serdar Bayryyev

      Organisation des Nations unies pour l'alimentation et l'agriculture

       

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 30/11/2020

      Cher Nabyouré Jean Stanislas OUEDRAOGO,

      Merci beaucoup d'avoir soulevé cette question stratégique, qui est au cœur des discussions tenues aujourd'hui dans le contexte des meilleures pratiques et des voies de développement pour la réalisation de l'Agenda 2030. Tous les pays, tous les acteurs du développement, les communautés et les individus devraient agir dans le cadre de partenariats collaboratifs et productifs pour progresser vers la réalisation des objectifs de développement durable.

      La prolifération des interventions en matière de développement pourrait en effet devenir un facteur négatif, si leur univers est composé de projets qui n'exploitent pas les synergies potentielles et les complémentarités apparentes, et ne sont pas fondés sur des partenariats reposant sur une analyse solide des avantages mutuels générés par l'union des forces, des capacités et des ressources en vue d'atteindre des objectifs communs.

      Nous vivons dans des communautés et des environnements qui sont affectés par une multitude de facteurs interconnectés, définis au sens large comme des facteurs sociaux, économiques, environnementaux, liés à la santé et autres facteurs de développement. En conséquence, les interventions en matière de développement doivent être élaborées en accordant toute l'attention requise à ces liens, interconnexions et compromis. Il existe des exemples de bonnes pratiques utilisées par les organisations de développement pour coordonner et consolider l'univers des interventions de développement afin de prendre pleinement en compte le contexte de développement et d'exploiter les complémentarités potentielles en abordant les questions de développement intrinsèquement interdépendantes et contestées. Certains de ces exemples sont présentés ci-dessous :

      - Le plan-cadre des Nations unies pour l'aide au développement, s'il est planifié en tenant dûment compte du contexte local et en s'appuyant sur une analyse solide des problèmes de développement, guidera les entités des Nations unies et les autres acteurs du développement dans la production d'un ensemble cohérent et bien coordonné d'aides au développement visant à atteindre les buts et objectifs nationaux de développement.

      - Le Pacte mondial des Nations unies qui a contribué à la création d'initiatives multipartites, soutenues par les Nations unies, les institutions financières internationales, les entreprises privées et les petites et moyennes entreprises, pour relever les défis du développement de manière plus coordonnée.

      - Les mécanismes de financement commun des Nations unies, qui servent de canaux pour orienter les flux de développement et d'aide humanitaire provenant de divers groupes de facteurs externes par le biais de programmes nationaux de budgétisation et de financement, ont contribué à améliorer l'efficacité, à réduire les doubles emplois et à promouvoir l'alignement entre un large éventail d'acteurs.

      Ce ne sont là que quelques exemples du passé récent. La nouvelle génération des plans cadre de coopération des Nations unies pour le développement durable (https://unsdg.un.org/fr/SDGPrimer), est en cours d'élaboration pour faire passer le paradigme de l'aide au développement de l'assistance à la coopération, et des contributions individuelles des agences de développement à une réponse collective et cohérente aux opportunités, aux lacunes et aux défis des pays.

      Les nouveaux cadres de coopération prendront en compte les priorités de développement selon les multiples perspectives des divers groupes de parties prenantes, en prenant leurs points de vue comme base pour élaborer un ensemble cohérent de mesures d'aide au développement. Ce faisant, les cadres de coopération viseront à mettre au point des interventions qui tiennent pleinement compte des effets potentiels dans les différents secteurs. S'ils sont bien conçus et mis en œuvre, ces cadres de coopération guideront la transformation des projets de développement en un ensemble cohérent et bien coordonné d'aide au développement, aligné sur les plans nationaux visant à atteindre les objectifs de développement durable.

      Juste une réflexion.

      Serdar Bayryyev

      Food and Agriculture Organization

       

       

       

       

       

       

    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 30/09/2020

      Cher Paul,

      Merci d'avoir soulevé cette question importante, à laquelle sont souvent confrontés les praticiens du développement. Si les deux fonctions, le S&E d'une part, et la gestion des connaissances d'autre part, contribuent à l'apprentissage organisationnel et à une programmation efficace en vue de générer les bénéfices escomptés pour les personnes et les communautés, ces fonctions sont très souvent gérées par différentes unités et suivent des pratiques et des cycles organisationnels différents. Pour garantir la complémentarité de ces fonctions, elles doivent être planifiées et synchronisées, de préférence au stade de la conception du projet. Par exemple, les résultats du suivi périodique effectué à intervalles trimestriels, peuvent être utilisés pour produire des produits de connaissance, tels que des bulletins d'information et des brochures d'études de cas pour sensibiliser aux résultats obtenus. Les exercices de suivi annuels pourraient servir à informer un autre type de produits de connaissance - tels que les enseignements tirés. L'utilité des évaluations peut être renforcée par une diffusion plus large (par exemple via les réseaux sociaux, la télévision, la radio), avec le soutien de professionnels de la gestion des connaissances.

      Dans un effort pour s'assurer que les équipes de S&E et de gestion des connaissances travaillent ensemble, les étapes initiales suivantes pourraient être envisagées et appliquées : 1) discuter avec la direction du programme et les bénéficiaires de leurs besoins en matière de produits de S&E et de gestion des connaissances ; 2) convenir d'un plan commun d'activités de S&E et de gestion des connaissances, en se concentrant sur les complémentarités et le séquençage ; 3) élaborer un plan pour une utilisation et une diffusion efficaces des produits de S&E et de gestion des connaissances.

      Cordialement,

      Serdar Bayryyev

      Senior Evaluation Officer (FAO)

       

  • Over 500 participants from 100 countries joined this 6th NEC Conference to exchange and learn how to advance national evaluation agendas and to discuss the use of evaluation to accelerate the implementation of the SDGs. Leaving no one behind amid the rise in inequalities in society is a mounting concern in both the developed and developing world. Captured in Sustainable Development Goal 10, addressing inequalities needs to go beyond looking at the increasing gaps between higher and lower levels of income and wealth. Inequalities, in fact, touch on a multidimensional set of social, cultural...
    Lire plus
    • Serdar Bayryyev

      Italy

      Serdar Bayryyev

      Senior Evaluation Officer

      FAO

      Posté le 28/05/2019

      Dear Hynda,

      You have raised a very important question, which affects the quality of evaluation work. Evaluations of development programmes in the broadly defined areas of rural development, agriculture and food security are inherently complex. The assessments of results in these areas are affected by a multiplicity of biophysical, economic, and social systems and factors. There are different types of constraints and challenges in evaluation work that depend mostly on the context of the programmes or policy work being evaluated.  For example, accurate and timely assessments of potential impact and development change may be affected by the remote location of project sites, social stratification of rural communities, time required to produce productivity gains, adoption capacities of local communities, and many other factors.

      Evaluators often encounter issues with availability of baseline data, or information on the prevailing conditions of the development situation at the start of the projects or programmes addressing food security and agriculture development. This issue could be addressed by reconstructing baselines, for example, using ‘recall’ technique, i.e. requesting key beneficiaries or stakeholders to recollect information about these conditions in the past.

      Security situation in the country may also have a huge impact on the access to data and methods we chose for evaluation. The choice of evaluators could also be highly limited, as not all may have necessary clearance to visit high-risk areas, or experience in working in similar situations. 

      Accessibility of project sites may also be restricted or banned. To address these constraints, local consultants with access to restricted zones may provide support in data collection, and potential alternative evaluation methods could be also considered. In recent FAO’s evaluation of the large irrigation rehabilitation programme in Afghanistan, evaluation team faced a constraint of accessing some of the programme sites. The team opted for alternative method by using the open-source data from Google to assess the potential impact of the programme on the livelihoods in those specific sites. Google Earth maps were utilized to measure the expansion of the irrigated area and the vegetative cover along different sections of the rehabilitated canals. The methodology for measuring these areas was also using preliminary information from enumerators in the field who had access to the restricted zones, and were engaged in supporting collection of necessary data and information for the evaluation (e.g. the GPS coordinates of the irrigated areas in the vicinity of the irrigation canals). Then this information was analyzed based on historic data available from Google Earth on before- and after-project conditions and the changes based on vegetative cover at different periods during a year.

      These are just a few highlights of the constraints and challenges that evaluators may encounter in their work and an example of possible ways to address those. The range of such constraints is quite broad, and we encourage all members of this community to share their experiences in addressing different types of constraints and limitations.

      Kind regards,

      Serdar Bayryyev,

      Evaluation Officer

      Food and Agriculture Organization (FAO)