I have been involved in evaluation of research quality for the past 12 year (research papers as an editor also of projects and programs
Posté le 26/05/2023
Merci, Seda, pour votre importante question. Comme les lignes directrices l'indiquent à plusieurs reprises, elles ont été élaborées sur la base de l'instrument d'évaluation RQ+ du Centre de recherches pour le développement international (CRDI) (www.idrc.ca/RQplus). Par conséquent, certaines idées et suggestions utiles émanant d'une organisation de développement font partie intégrante des lignes directrices.
La façon la plus simple de répondre à votre question est peut-être d'utiliser le tableau 7 de la page 19 - Thèmes de données qualitatives, indicateurs par dimension de la qualité de la science et critères d'évaluation (Lien aux Lignes Directrices en anglais). Ce tableau a été développé pour évaluer la recherche du CGIAR pour les projets de développement. Pour autant que je puisse en juger, la plupart des thèmes et indicateurs de la qualité d'un projet de recherche scientifique pour le développement sont tout aussi pertinents pour l'évaluation de la qualité d'un projet de développement. Dans le cadre de la conception, en tant qu'évaluateur, je voudrais savoir si la conception est cohérente et claire et si les méthodologies sont adaptées aux interventions prévues. En ce qui concerne les intrants, j'examinerais la base de compétences et la diversité de l'équipe du projet, si le financement disponible était suffisant pour achever le projet de manière satisfaisante et si le renforcement des capacités était approprié pour les activités prévues et serait suffisant pour assurer la durabilité de l'impact après l'achèvement du projet. En ce qui concerne les processus, mes principales questions porteraient sur la reconnaissance et l'intégration des partenariats, sur la bonne définition des rôles et des responsabilités et sur l'existence de risques ou de conséquences négatives dont je devrais être conscient. Enfin, en ce qui concerne les résultats, je voudrais savoir si les méthodes et les outils de communication sont adéquats, si la mise en réseau prévue comprend l'engagement des parties prenantes appropriées et nécessaires, si le projet est suffisamment conscient du fait que l'environnement favorable est propice à la réussite du projet, le cas échéant, si des liens sont établis avec les décideurs politiques et si la préparation à la mise à l'échelle fait partie de l'engagement des parties prenantes.
La section 4 des Directives (Lien aux Lignes Directrices en anglais) sur les étapes clés de l'évaluation de la qualité de la science dans la recherche pour le développement propose des méthodes qui sont également pertinentes pour les projets de développement. Il s'agit notamment de l'examen des documents, des entretiens, des discussions de groupe, de l'analyse des réseaux sociaux, de la théorie du changement et de l'utilisation de rubriques pour réduire la subjectivité lors de l'utilisation d'indicateurs qualitatifs. L'utilisation de rubriques est une pierre angulaire de l'instrument d'évaluation RQ+ du CRDI.
United Kingdom
Jillian Lenne
Consultant
Independent consultant
Posté le 14/11/2023
J'aimerais contribuer à la discussion avec le document suivant. Il a été récemment publié par Outlook on Agriculture dans un numéro spécial sur l'agroécologie :
“Measuring agroecology and its performance: An overview and critical discussion of existing tools and approaches”(en anglais)
Matthias S Geck, Mary Crossland et Christine Lamanna
Outlook on Agriculture 52:349-359
https://journals.sagepub.com/doi/full/10.1177/00307270231196309
Résumé
Les systèmes agricoles et alimentaires (SAF) sont intrinsèquement multifonctionnels, représentant un moteur majeur des crises mondiales, mais aussi un énorme potentiel pour relever simultanément de multiples défis et contribuer de manière systémique à la réalisation des objectifs de développement durable. Les indicateurs de performance actuels des SAF ne tiennent souvent pas compte de cette multifonctionnalité et se concentrent de manière disproportionnée sur la productivité et la rentabilité, excluant ainsi les "externalités", c'est-à-dire les valeurs environnementales et sociales essentielles créées par les SAF. L'agroécologie est de plus en plus reconnue comme une approche prometteuse pour la durabilité des SAF, en raison de sa nature holistique et transformatrice. Cet intérêt et cet engagement croissants pour l'agroécologie de la part de divers acteurs impliquent la nécessité d'approches harmonisées pour déterminer quand une pratique, un projet, un investissement ou une politique peut être considéré comme agroécologique, ainsi que des approches qui garantissent que les multiples valeurs économiques, environnementales et sociales créées par les SAF sont correctement prises en compte, créant ainsi des conditions équitables pour comparer l'agroécologie à d'autres solutions. Dans cette contribution au numéro spécial sur l'agroécologie, nous présentons une vue d'ensemble des outils et des cadres existants pour définir et mesurer l'agroécologie et ses performances, et nous examinons d'un œil critique leurs limites. Nous identifions plusieurs lacunes, notamment un manque d'approches permettant de mesurer l'agroécologie et ses performances à l'échelle du paysage et du système alimentaire, et l'utilisation d'indicateurs standardisés pour mesurer l'intégration de l'agroécologie, en dépit de sa spécificité contextuelle. Ces observations soulignent la nécessité d'évaluations axées sur ces échelles négligées et de recherches sur la meilleure façon de concilier le besoin d'approches comparables à l'échelle mondiale et l'évaluation de l'agroécologie d'une manière pertinente au niveau local. Enfin, nous décrivons les initiatives en cours au nom du Partenariat pour la transformation de l'agroécologie qui visent à combler ces lacunes et offrent une voie prometteuse pour travailler à l'harmonisation des approches. Tous les lecteurs sont invités à contribuer à ces efforts de collaboration, conformément au principe de participation et de cocréation des connaissances de l'agroécologie.