Senior Evaluation Specialist in the UN system (FAO, IAEA, WFP)
Food security analysis and Humanitarian assistance programmes management in the field with international NGOs (1999- 2003)
Posté le 20/02/2024
Chère Muriel,
Je suis d'accord que l'I.A. apporte tant de potentiel à l'évaluation, et beaucoup de questions à la fois !
Au sein du Bureau de l'évaluation du PAM, alors que nous cherchions à accroître notre capacité à mieux répondre aux besoins de nos collègues en matière de données probantes, les progrès récents de l'intelligence artificielle (IA) nous sont apparus comme une solution évidente à explorer. C'est pourquoi je suis heureuse de partager avec vous l'expérience et les réflexions que nous avons accumulées depuis que nous avons commencé à nous intéresser à ce domaine.
Notre point de départ pour nous intéresser à l'IA a été de reconnaître que nous étions limités dans notre capacité à tirer le meilleur parti de la richesse des connaissances contenues dans nos évaluations, pour répondre aux besoins d'apprentissage de nos collègues. Cela s'explique principalement par le fait que la localisation et l'extraction manuelles d'éléments probants sur un sujet d'intérêt donné, afin de les synthétiser ou de les résumer pour eux, demandent beaucoup de temps et d'efforts.
Nous travaillons donc au développement d'une solution basée sur l'IA pour automatiser la recherche d'informations à l'aide d'outils de traitement du langage naturel (NLP), permettant d'interroger nos informations à l'aide de questions en langage naturel, un peu comme nous le faisons avec n'importe quel moteur de recherche sur le web. Ensuite, en tirant le meilleur parti des avancées technologiques récentes dans le domaine de l'IA générative, comme le Chat GPT, la solution pourrait également fournir du texte nouvellement généré à partir des passages de texte extraits, tels que des résumés de connaissances.
Nous nous attendons également à ce que l'automatisation de la recherche de texte présente d'autres avantages, tels que l'étiquetage automatique et plus systématique des documents que ne le font les humains, afin de faciliter l'analyse et l'établissement de rapports, et à ce que l'IA donne également la possibilité d'adresser directement des informations pertinentes à des publics en fonction de leur rôle, de leurs intérêts et de leur localisation, tout comme le font Spotify ou Netflix.
Comme nous parvenons à avoir une solution qui offre une bonne performance dans les résultats de recherche proposés, nous espérons qu'elle pourra ensuite être reproduite pour répondre à d'autres besoins similaires.
Au-delà de ces utilisations que nous explorons spécifiquement au sein du Bureau d'évaluation du PAM, je vois d'autres avantages de l'IA pour les évaluations, tels que :
- L'automatisation des processus couramment menés dans les évaluations, tels que la synthèse des preuves existantes pour générer de brefs résumés qui pourraient alimenter les évaluations en tant que données secondaires.
- Un meilleur accès aux connaissances ou aux orientations et la facilitation de la conservation des éléments probants en vue de l'établissement de rapports, par exemple dans le cadre des exercices de rapport annuel.
- Faciliter la production de synthèses et l'identification de modèles à partir d'exercices d'évaluation ou d'examen.
- Améliorer l'édition grâce à des outils de révision automatisée des textes afin d'améliorer le langage.
J'espère que ces contributions seront utiles et j'attends avec impatience les expériences des autres, car nous apprenons tous au fur et à mesure, et ce processus est en effet plein de promesses, de risques et nous fait certainement sortir de nos zones de confort.
Cordialement
Aurelie
Italy
Aurelie Larmoyer
Senior Evaluation officer
WFP
Posté le 22/08/2025
Chère Monica, chers collègues,
Merci pour cette discussion et ces réflexions très intéressantes.
Accroître l'influence des données probantes sur la prise de décision est un défi de longue date, pour nous tous qui travaillons dans les fonctions de suivi et évaluation, lié à un ensemble de facteurs à tous les niveaux de nos organisations, même quand l'importance des données probantes est bien reconnue.
Au sein de la fonction d'évaluation du Programme alimentaire mondial, nous avons mis en œuvre des stratégies spécifiques pour encourager nos parties prenantes à utiliser les données probantes lorsqu'ils prennent des décisions. Sur la base de quelques années d'expérience passées, je peux partager quelques réflexions sur ce que nous commençons à considérer efficace.
J'adhère tout à fait à de nombreuses remarques formulées par mes collègues concernant les facteurs défavorable, tels que les problématiques relatives à la qualité de leurs données, la fragmentation des systèmes d'information, une culture organisationnelle qui considère encore le suivi et évaluation comme des exercices de conformité plutôt que des opportunités d'apprentissage, ou la centralité du rôle de promoteurs des hauts dirigeants en la matière.
En observant les options pour mieux intégrer les données probantes dans les décisions, je partage également l'opinion de mon collègue Brilliant Nkomo, qui affirme que les processus de formalisation sont une première étape essentielle. Si de nombreuses organisations ont des cadres de suivi et évaluation clairs et développent les orientations et capacités relatives, il est également essentiel d'assurer dans une certaine mesure l'institutionnalisation de l'intégration des connaissances basées sur les données probantes dans toute discussion politique ou programmatique, en les intégrant formellement dans la programmation stratégique ou dans le bilan ou les processus de révision des programmes réguliers.
À ce propos, notre expérience a montré que les efforts pour adapter notre production de données probantes aux besoins de nos parties prenantes portent leurs fruits: en tant que producteurs de données probantes et de connaissances, nous avons été plus proactifs dans l'implication des personnes dont nous pouvions, selon nous, soutenir les décisions et dans l'écoute des difficultés de nos collègues pour comprendre où se situaient leurs besoins. En parallèle, nous avons développé des compétences pour répondre aux besoins tels qu'ils apparaissaient, en réutilisant les données probantes existantes dans de nouveaux produits. Depuis que nous avons commencé à développer ces capacités, nous observons qu'une évolution culturelle se produit lentement et permet à l'évaluation d'être considérée comme un partenaire de connaissances.
Enfin, je souhaiterais ajouter que les commentaires reçus de nos parties prenantes, en réponse à nos enquêtes sur la manière dont ils évaluent les données probantes que nous fournissons, ont également confirmé qu'une communication sur mesure porte également ses fruits: nous savons que les différents rôles exigeront différentes priorités et préférences en matière de données probantes. Ainsi, plus nous nous adaptons aux différents besoins de ceux que nous servons, plus nos produits reçoivent un bon accueil et sont susceptibles d'être utilisés.
Bien à vous.