Posté le 19/09/2023
Chers collègues, et merci à Jean d'avoir provoqué ce débat.
Je vous prie de bien vouloir m'excuser si j'apporte une goutte de contenu académique à la discussion, en espérant que nous pourrons l'élargir un peu.
Que sont les méthodes mixtes après tout ? Je pense que le débat quanti x quali est assez réductionniste ; et honnêtement, après toutes ces décennies, je n'arrive pas à croire que nous discutions encore de la question de savoir si les essais contrôlés randomisés (RCT par l'acronyme anglais) sont l'étalon-or.
J'aimerais évoquer une approche qui a retenu mon attention et qui a été présentée par le professeur Paul Shaffer de l'université de Trent (Canada). Son approche est axée sur les méthodes mixtes pour l'évaluation de l'impact, mais je crois comprendre qu'elle peut être extrapolée à d'autres types d'études, telles que l'évaluation des résultats. Ce qui me plaît dans sa proposition, c'est qu'elle dépasse et approfondit le débat quanti + quali.
Selon lui, les catégories censées différencier les approches quanti x quali s'effondrent. Par exemple, (i) les données qualitatives sont souvent quantifiées ; (ii) les grandes études qualitatives peuvent permettre la généralisation (alors que l'échelle/généralisation serait une caractéristique des études quantitatives), et (iii) les inférences par induction et déduction sont presque toujours présentes.
À la lumière de ce qui précède, que sont les "méthodes mixtes" ?
L'expression "méthodes mixtes" signifie que l'on combine des approches qui peuvent apporter de la robustesse à votre conception, des perspectives/angles différents pour examiner le même objet. En fonction des questions auxquelles vous souhaitez répondre/de ce que vous voulez tester, les "méthodes mixtes" pour l'évaluation d'impact peuvent signifier la combinaison de deux méthodes quantitatives ou plus. Par conséquent, différentes méthodes qualitatives peuvent être utilisées pour améliorer la robustesse d'une évaluation ou d'une recherche, ce que l'on appelle également des "méthodes mixtes".
Et puis, en allant un peu plus loin, ne pourrions-nous pas considérer que le mélange des approches des "colonisateurs" avec celles des "indigènes" constitue également des "méthodes mixtes" ?
J'espère que cela contribuera à la réflexion.
Je vous remercie.
Emilia
Emilia Bretan
Evaluation Specialist
FAO Office of Evaluation (OED)
Italy
Emilia Bretan
Evaluation Manager
FAO
Posté le 15/02/2024
Chers collègues,
Merci beaucoup pour votre participation active et votre engagement dans cette discussion. Quelques mots sur les dernières contributions :
Nea-Mari, merci pour les informations et les liens sur le suivi et l'évaluation des ODD au niveau sous-national en Finlande. Des exemples inspirants pour d'autres pays et villes ! Merci Esosa d'avoir souligné le rôle essentiel de l'évaluation dans les programmes de développement fondés sur des preuves. Et Mark, oui, reconnaître les limites de nos études/évaluations est toujours une bonne pratique, merci d'avoir souligné ce point.
Cette discussion se termine pour l'instant, mais il y aura d'autres occasions d'échanger des idées et des connaissances sur le soutien aux progrès vers les ODD grâce à l'évaluation.
Je vous souhaite le meilleur et je vous invite à rester à l'écoute des prochaines mises à jour.
Emilia
Italy
Emilia Bretan
Evaluation Manager
FAO
Posté le 06/02/2024
Chers collègues,
Merci pour votre contribution à cette discussion animée.
Voici mes commentaires sur quelques points, sans chercher à épuiser la conversation (ni à la résumer entièrement) mais dans l'espoir de susciter quelques réflexions supplémentaires.
1. Notre attention devrait aller au-delà de la mesure de la contribution ou de la progression vers les ODD: il existe de nombreuses études/évaluations et indicateurs dédiés (notamment les indicateurs approchés) qui permettent également de comprendre les progrès de développement. Les ODD ne sont pas isolés et il peut exister différentes voies et manières menant à la même direction. Dorothy et John Akwetey ont abordé ce sujet en particulier, mais il est présent dans différentes contributions. Ils ont également souligné l'importance des évaluations aux niveaux national, institutionnel et infranational, au-delà des évaluations des ODD à grande échelle.
L'approche adoptée par l'étude des preuves d'évaluation partagée par Mark Engelbert, concernant principalement des évaluations de l'impact, semble évoquer ce dernier point.
Le travail mené par la coalition Global SDG Synthesis Coalition relève du même ordre d'idées. La synthèse peut être utilisée soit comme alternative à une évaluation centrée sur les ODD soit comme composante d'une étude plus large. Les synthèses suivent une approche systématique et transparente pour identifier, rassembler et apprécier la qualité des évaluations individuelles, en synthétisant ensuite les conclusions et les enseignements tirés de l'ensemble des preuves d'évaluation. L'approche comprend des cartes des manques de preuves et d'autres outils, notamment un processus rigoureux (et le cadre correspondant) permettant d'inclure ou d'exclure des études.
2. Les difficultés rencontrées dans l'évaluation des ODD par la plupart des pays et des acteurs de développement et partagées sous différents angles par Ram Khanal Lovemore Mupeta et Hadera Gebru concernent: les ressources limitées, l'insuffisance des données, le manque de techniques d'évaluation appropriées et la complexité des cibles interconnectées. À la lumière de ces défis, nous devrions envisager/rechercher d'autres approches (la synthèse en est une) plutôt que de nous lancer dans des évaluations potentiellement décourageantes, ii) commencer modestement et iii) évaluer de manière judicieuse les études qui peuvent être utiles. Impliquer des professionnels basés dans le pays (évaluateurs et chargés de mise en œuvre dans différents secteurs) dans le processus pourrait contribuer à une meilleure sensibilisation et renforcer la capacité d'évaluation.
Malheureusement, des troubles et défis politiques majeurs peuvent aboutir à un recul complet de toute tentative d'évaluation des progrès vers les ODD, comme l'a montré la situation en Éthiopie où les crises post-covid et la guerre civile ont miné les progrès de développement.
3. Le niveau infranational (en particulier local) est un autre défi reconnu partagé par beaucoup. Nea-Mari, je serais curieuse de connaître quelques exemples de ce que la Finlande a réalisé au niveau local – quels types de solutions numériques avez-vous adoptés pour le suivi et évaluation des progrès accomplis vers les ODD? Je suis également positivement surprise par l'influence des évaluations dans les élections parlementaires et dans la planification du nouveau programme gouvernemental. Quels seraient, selon vous, les éléments clés qui donnent cette force aux évaluations en Finlande?
4. Exemples de rapports: Pelagia Monou, Fabandian Fofana, puis-je vous demander si les évaluations auxquelles vous avez participé sont publiques et s'il vous est possible de partager le lien avec nous? Pelagia, avez-vous été en mesure d'aller au-delà du nombre de projets et du budget pour puiser dans les contributions ou les résultats? Fabandian, avez-vous mesuré les contributions aux ODD au niveau local? Qui était impliqué et de quelle manière?
5. Dernier point et non des moindres (mais qui reste secondaire), voici un commentaire sur la conclusion du rapport 3ie (International Initiative for Impact Evaluation) partagé par Mark, selon lequel le travail d'évaluation sur les ODD relatifs à la «planète» (ODD 6, 12 et 15) a été laissé de côté. Le rapport note que très peu de recherches d'évaluation (de l'impact) ont été trouvées concernant les ODD 12 (consommation et production durables), 14 (vie aquatique) et 15 (vie terrestre). Même si j'ai ma propre hypothèse et explication concernant ce résultat, je me demande si Stefano D'Errico, Ram Khanal et d'autres collègues disposant d'une expertise dans le secteur de l'environnement souhaitent donner leur avis pour en trouver les raisons? 😊
Il reste encore beaucoup de chemin à parcourir: Chris, Olivier et Lal nous rappellent que le cadre post-Programme à l'horizon 2030 approche à grands pas!
Merci à tous pour vos contributions!!
Très sincèrement
Emilia