Cet article a été initialement publié ici.
I. Introduction
1. En 2024, le Bureau indépendant de l’évaluation du FIDA (BIE) a lancé une évaluation au niveau de l’institution (CLE) de la performance institutionnelle et opérationnelle du FIDA dans le cadre des cycles de reconstitution FIDA11 et FIDA12. L’évaluation a examiné les dimensions clés du modèle opérationnel du FIDA, notamment son architecture financière, ses opérations et la gestion de ses ressources humaines.
2. La collecte et l’analyse des données ont été menées à partir de multiples sources d’informations, notamment des entretiens structurés avec les parties prenantes du siège, des études de cas pour plusieurs pays, des CLE antérieures, des évaluations thématiques, des évaluations des stratégies et programmes de pays (CSPE), ainsi qu’un large corpus de rapports stratégiques et opérationnels.
3. Afin de mieux structurer les résultats issus de ces différentes sources de données et de faciliter une analyse pertinente et efficace, le BIE a intégré l’IA générative au processus d’évaluation, une innovation en accord avec sa stratégie en matière d’IA et à la politique de gouvernance des données du FIDA.
4. En termes simples, l’IA a aidé l’équipe d’évaluation à passer au crible de grands volumes d’informations plus efficacement, sans pour autant perdre en rigueur ni en transparence. Tout aussi important, elle a considérablement aidé l’équipe à recouper les données et les informations provenant d’un vaste corpus de sources variées.
II. Qu’avons-nous fait et pourquoi ?
5. L’IA n’a pas été utilisée pour remplacer le jugement des évaluateurs. Elle a plutôt aidé l’équipe à organiser de grands volumes de données qualitatives, à trouver des données de manière efficace et à appliquer une approche plus cohérente pour l’analyse des résultats provenant de différentes sources. Elle a également facilité la traçabilité de chaque constat jusqu’à sa source d’origine. Chaque processus d’IA a été conçu pour respecter les principes du Manuel de l’évaluation du FIDA afin de garantir la qualité, la cohérence, la rigueur et la transparence de l’évaluation, tout en se conformant aux normes éthiques du secteur, y compris les mesures de protection de la confidentialité des données et les protocoles de validation humaine.
6. La principale raison du recours à l’IA était l’ampleur du projet. La CLE s’est appuyée sur de multiples ensembles de données, notamment la synthèse de neuf évaluations au niveau de l’institution et évaluations thématiques, deux évaluations du Réseau d’évaluation de la performance des organisations multilatérales (MOPAN), 35 CSPE, 62 programmes d’opportunités stratégiques par pays (COSOP), 10 études de cas par pays s’appuyant sur plus de 350 entretiens, plus de 90 entretiens avec des informateurs clés parmi la direction du FIDA, les parties prenantes et les membres du Conseil d’administration, une enquête en ligne auprès de 486 répondants, une analyse de portefeuille, des analyses thématiques approfondies et une évaluation d’impact. L'IA a permis de travailler à partir d'une base de données plus large tout en conservant une analyse structurée et transparente.
III. Comment avons-nous procédé ?
7. Pour les entretiens, les enregistrements audio ont été transcrits et convertis en des textes structurés,etLes points clés, les citations horodatées ainsi que les attributions aux parties prenantes ont été mis en correspondance avec les sous-questions d'évaluation (Sub-EQ). L'équipe a également développé un chatbot formé à partir de comptes-rendus d'entretiens anonymisés. Les évaluateurs pouvaient poser des questions en langage courant et recevoir des réponses fondées sur les données, y compris des citations et des liens vers les transcriptions originales. Une approche similaire a été utilisée pour les entretiens semi-structurés dans le cadre des études de cas par pays, couvrant les homologues gouvernementaux, le personnel du FIDA, les unités de projet, les bailleurs de fonds et les acteurs du secteur privé.
8. Pour les documents, un système de classification basé sur l’IA et utilisant des catégories prédéfinies a été utilisé pour passer au crible de grands volumes de documents du FIDA accessibles au public, notamment les CSPE, les COSOP, les évaluations du MOPAN, les notes de stratégie par pays et les documents du Conseil d’administration. Par exemple, plus de 95 rapports ont été examinés pour les activités hors prêts dans 33 sous-dimensions, avec une précision se situant généralement entre 80 et 95 %. La même approche a été utilisée pour examiner des questions opérationnelles telles que les marchés publics, les décaissements, le respect des délais et la gestion budgétaire, ainsi que des thèmes plus larges comme le changement transformationnel. Chaque paragraphe classé a été balisé (par pays, année et type de document) et relié à sa source. Cela a permis de filtrer et de comparer facilement les informations, et a réduit le temps d’analyse de plusieurs semaines à quelques jours.
9. L’IA a également facilité la triangulation. Elle a permis à l’équipe de comparer les données issues des entretiens, des études de cas et des documents, garantissant ainsi que chaque constat était étayé par plusieurs sources avant d’être inclus dans l’analyse.
10. Le BIE a appliqué des mécanismes de validation et des mesures de protection rigoureux pour garantir la crédibilité. Les résultats de l’IA ont été strictement considérés comme des données analytiques et non comme des conclusions. Les évaluateurs ont examiné tous les résultats, les ont recoupés avec les transcriptions et les documents originaux, et ont confirmé leur pertinence avant de les utiliser. Toutes les données ont été anonymisées avant traitement, et l’analyse a été menée dans des environnements sécurisés, conformément aux politiques du BIE du FIDA et aux Principes éthiques de l’UNEG pour l’utilisation de l’IA dans les évaluations des Nations Unies. Les résultats de l’IA ont également été comparés au codage humain par le biais de contrôles ponctuels et de mesures de précision standard. Les prompts et les règles de codage ont été documentées, et tous les résultats sont restés traçables jusqu’à leur source d’origine. L’infrastructure et la supervision humaine systématique ont garanti la transparence, la crédibilité et la traçabilité tout au long de l’évaluation.
IV. Quels ont été les gains et les enseignements tirés ?
11. L’un des avantages les plus évidents a été le gain de temps. Des tâches qui prenaient auparavant des semaines (comme le tri d’un grand nombre de documents) ont été accomplies en quelques jours, et la recherche de preuves spécifiques s’est considérablement accélérée. Cette approche a également amélioré la cohérence, car des types de preuves similaires ont été traités de la même manière dans tous les pays et pour tous les thèmes. Les flux de travail développés peuvent désormais être réutilisés dans de futures évaluations, ce qui permettra à l’avenir de gagner du temps.
12. Cependant, tout n’a pas pu être automatisé. Par exemple, les concepts complexes et multidimensionnels (tels que le changement transformationnel ou l’engagement en matière de politiques publiques), qui méritent un degré plus élevé de compréhension contextuelle, ont nécessité l’interprétation d’experts de la part de l’équipe d’évaluation. Des défis techniques se sont également posés. Les erreurs de transcription, en particulier concernant la terminologie spécialisée ou les accents, ainsi que les problèmes liés aux documents numérisés ont nécessité une correction manuelle. La conception de consignes efficaces a également demandé du temps et des itérations.
13. Ainsi, si l’IA a permis de gagner du temps dans certains domaines, elle a nécessité une validation minutieuse, notamment des vérifications ponctuelles et des recoupements entre les sources.
En conclusion, l’IA générative n’est pas une solution miracle, mais dans le cas de la CLE du FIDA11–12, elle s’est avérée être un allié utile et concret , aidant les évaluateurs à dépasser l’emballement médiatique pour fournir une analyse plus rapide, cohérente et traçable, tout en préservant la rigueur et le jugement humain.