Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.
With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, public health, and capacity development, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is SCRUMMaster certified, Core Humanitarian Certified, ATLAS.ti certified professional trainer, and a certified peer-reviewer.
South Africa
Jean Providence Nzabonimpa
Regional Evaluation Officer
United Nations World Food Programme
Posté le 29/04/2023
Excellent sujet, excellentes discussions !
L'évaluation et la communication sont les deux faces d'une même pièce, essayant d'atteindre des objectifs similaires (diffuser les résultats de l'évaluation pour les utiliser dans la prise de décision). D'ailleurs, elles requièrent toutes deux des compétences différentes. Ce n'est pas grave.
Passons au sujet. Supposons qu'en tant qu'évaluateurs, nous soyons tous des enseignants. Nous préparons des cours, prêts à enseigner, c'est-à-dire à faciliter le processus d'apprentissage. Devons-nous nous croiser les bras après la préparation et la finalisation de la leçon ? Pas du tout. Je ne suis pas le seul, je pense, à croire à juste titre que l'enseignant poursuivra son travail même après avoir enseigné, en facilitant le processus d'apprentissage. En s'appuyant sur la leçon précédente, l'enseignant récapitule généralement avant d'en commencer une nouvelle. Intéressant, il semble que nos évaluations devraient également informer les évaluations suivantes !
Le scénario de l'enseignant s'applique également ici, du moins dans mon école de pratique de l'évaluation. L'essence de l'évaluation ne consiste pas à produire des rapports ou à communiquer des résultats. Alors quoi ? Pour qui et pourquoi ces résultats d'évaluation sont-ils rapportés ? Pas pour les classer, pas pour cocher la case. Il serait navrant qu'en tant qu'enseignants, après avoir investi du temps et des ressources, nous préparions des notes de cours et des conseils et que nos élèves ne les utilisent jamais. Quelqu'un serait-il motivé pour préparer des notes et des conseils pour le cours suivant ? Très peu le feraient. Aussi passionnés et professionnels que nous soyons (ou devrions être) en tant qu'évaluateurs, nous sommes des agents de changement. Dans le cadre de nos normes éthiques et professionnelles, nous ne devrions jamais nous contenter de communiquer les résultats d'une évaluation sans veiller à ce que les preuves qui en découlent soient utilisées autant que possible. Certains principes d'évaluation incluent l'utilité des évaluations.
Pour répondre aux bonnes questions que vous avez soulevées, j'ai deux points de vue :
- Chaque évaluation dispose (ou devrait disposer) d'un plan de diffusion et de communication (ou d'un plan de campagne pour l'utilisation des résultats de l'évaluation). Cela doit faire partie du budget global de l'évaluation. Les évaluateurs doivent continuer à plaider en faveur de la diffusion des résultats d'évaluation dans différents formats et pour différents types de public, même lorsque les évaluations sont terminées, même une ou plusieurs années auparavant.
- S'il y a des personnes qui comprennent mieux les résultats d'évaluation, l'évaluateur est l'une d'entre elles. Avec les autres parties prenantes qui ont participé au processus d'évaluation, il/elle devrait faire partie des processus de communication afin d'éviter toute interprétation erronée des messages et de la signification par les communicateurs externes. Les communicateurs (certaines organisations ont des rôles spécifiques tels que les spécialistes de la communication pour le développement) sont des experts qui connaissent les ficelles du métier. Nos alliés.
Bonne lecture des contributions des collègues.
Jean Providence
South Africa
Jean Providence Nzabonimpa
Regional Evaluation Officer
United Nations World Food Programme
Posté le 03/10/2023
Chers collègues, un grand merci pour avoir fait des efforts extraordinaires afin d'apporter des perspectives supplémentaires et nouvelles à cette discussion. Il s'agit notamment de méthodes mixtes (MM) séquentielles, concurrentes et parallèles. Certaines analyses sont effectuées séparément, tandis que d'autres font appel à l'analyse des données de l'une ou l'autre méthode pour corroborer les tendances ou les résultats émanant de l'autre méthode.
L'une des dernières contributions comprend les points suivants :
"Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.[...] Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête." Jackie.
"Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives." Gordon.
Lal : Merci d'avoir partagé deux projets, l'un sur "un pont d'un milliard de dollars pour relier une île au continent dans un pays riche d'Europe du Nord, l'autre sur une autoroute de plusieurs millions de dollars dans un pays africain". Il s'agit là d'un excellent exemple de ce qui peut mal se passer en cas de mauvaise conception des projets et d'évaluation inappropriée de ces projets. Existe-t-il des rapports écrits ou des références à partager ? Cela semble être une bonne source d'informations pour enrichir nos discussions et, surtout, notre pratique professionnelle de l'évaluation à l'aide de méthodes mixtes. J'aime beaucoup le point que vous avez soulevé : "L'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet. En ce qui concerne les projets utilisés à titre d'illustration, vous l'avez très bien résumé : "Les fournitures alimentaires d'urgence à une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et elles devraient être ajustées pour que l'approvisionnement soit adéquat dans ces circonstances".
Olivier : vous affirmez et convenez à juste titre que les modèles exploratoires séquentiels sont appropriés : "Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure". Mais vous reconnaissez également que : "il y a aussi de la place pour des approches qualitatives après un effort de quantification". Vous avez raison sur ce point : dans certains cas, une enquête peut donner des résultats qui semblent étranges, et une façon de les comprendre est de "zoomer" sur cette question particulière par le biais de quelques entretiens qualitatifs supplémentaires.
Gordon : Mea culpa, j'aurais dû préciser que la discussion porte sur l'évaluation d'un programme, d'un projet ou de toute intervention humanitaire ou de développement. Vous soulignez à juste titre la complexité qui sous-tend les programmes : "Les programmes sont rarement simples (la plupart des choses sont connues) mais potentiellement compliqués (nous savons ce que nous ne savons pas) ou complexes (nous ne savons pas ce que nous ne savons pas)". Un de vos arguments semble contradictoire : "Lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie !" Quelques détails supplémentaires ajouteraient au contexte et aideraient les lecteurs à comprendre le point que vous avez soulevé. De même, qui, de l'évaluateur ou de l'équipe du programme, doit décider des méthodes à utiliser ?
Bien que je demande à tous les collègues de lire toutes les contributions, celle de Jackie est différente, pleine de conseils pratiques et d'astuces utilisées dans les méthodes mixtes.
Jackie : Merci beaucoup d'avoir pris le temps de nous faire part de vos commentaires perspicaces. Alors que nous réfléchissons à notre pratique d'évaluation, pourriez-vous nous expliquer comment "toutes les questions d'évaluation peuvent trouver une réponse en utilisant une approche de méthode mixte" ? Selon vous, les outils de collecte de données sont développés en parallèle ou simultanément. Et vous affirmez qu'il n'y a qu'UNE seule matrice de conception de l'évaluation, et que les deux méthodes tentent donc de répondre à la même question. En ce qui concerne l'échantillonnage, pourriez-vous préciser comment vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou au moins décrire pour les lecteurs lequel vous avez appliqué, pourquoi et comment ? L'utilisation d'un échantillonnage raisonné pour une évaluation quantitative pose-t-elle un problème ?
À l'exception de quelques exemples, la plupart des contributions sont jusqu'à présent plus théoriques et hypothétiques que pratiques et vécues. Je pense que ce qui peut nous aider tous en tant qu'évaluateurs, ce sont des conseils pratiques et des astuces, y compris des rapports d'évaluation ou des publications qui ont utilisé des méthodes mixtes (MM). N'hésitez pas à nous faire part de vos exemples pratiques et de vos références :
Nous attendons avec impatience d'autres contributions.
South Africa
Jean Providence Nzabonimpa
Regional Evaluation Officer
United Nations World Food Programme
Posté le 23/09/2023
Cette discussion est particulièrement intéressante et singulière, notamment en raison de l'expérience multidisciplinaire des intervenants. J'utiliserai l'abréviation MM pour désigner les méthodes mixtes au cours de cette discussion. Sans anticiper d'autres idées et de nouvelles perspectives que les collègues souhaiteraient partager, permettez-moi de demander des éclaircissements supplémentaires pour notre apprentissage commun. Mes questions ne s'adressent pas uniquement aux personnes nommées mais sont des questions ouvertes. Vous pouvez également partager le lien sur d'autres plates-formes ou réseaux.
Tenez compte de ces réflexions avant de vous lancer dans les nouvelles questions. Continuez votre lecture, la cerise sur le gâteau arrive ensuite:
«L'utilisation [des MM en évaluation] est réussie lorsque le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées consécutivement (par exemple en mettant en œuvre des discussions de groupe pour définir les questions de l'enquête ou en sélectionnant des cas sur la base d'une enquête pour les entretiens approfondis)», selon Cristian Maneiro. «Cinq objectifs pour les évaluations recourant aux méthodes mixtes: triangulation, complémentarité, développement, initiation et élargissement (résumés également dans cet article)», selon les propos d'Anne Kepler. J'encourage tous les spécialistes et adeptes de MM à lire cet article.
«Un bon plombier utilise différents outils, quand et comme il faut, et ne se demande pas quel type d'intervention ne nécessite qu'un seul outil... De même, un bon évaluateur doit savoir comment utiliser sa boîte à outils, qui contient de nombreux instruments, pas seulement une clef anglaise», pour Olivier Cossée.
«L'évaluation a également analysé et expliqué les résultats quantitatifs en s'appuyant sur des informations issues des méthodes qualitatives, ce qui a permis non seulement de caractériser l'intervention, la politique éducative et le financement, mais aussi de formuler des recommandations politiques importantes», a déclaré Maria Pia Cebrian.
Nouvelles questions:
Bon apprentissage à tous!
South Africa
Jean Providence Nzabonimpa
Regional Evaluation Officer
United Nations World Food Programme
Posté le 31/10/2023
Chers évaluateurs et collegues,
Merci infiniment à ceux d'entre vous qui ont participé activement à cette discussion en répondant à mes questions et commentaires de suivi et à tous ceux qui ont lu les contributions à des fins d'apprentissage!
La discussion a été riche et stimulante. Elle a attiré l'attention sur les raisons pour lesquelles les méthodes mixtes sont appliquées ainsi que sur certaines difficultés et lacunes persistantes dans les applications pratiques de ces méthodes.
En conclusion, les méthodes mixtes sont sûrement appelées à durer. Cependant, il existe d'une part des instruments innovants et révolutionnaires tels que le Big Data, l'intelligence artificielle et l'apprentissage automatique qui ont commencé à dicter la manière de rassembler, traiter et présenter les données. D'autre part, certaines lacunes méthodologiques doivent être comblées. En tant qu'évaluateurs, nous avons un rôle à jouer pour veiller à ce que les méthodes mixtes ne soient pas simplement mentionnées dans les termes de référence et suivies superficiellement mais utilisées de manière appropriée en théorie comme en pratique.
Je partagerai bientôt un résumé de la discussion avec quelques réflexions méthodologiques personnelles, donc merci de rester à l'écoute!
JP