La conversation sur l'intelligence artificielle est bien amorcée au sein de la communauté de pratique EvalforEarth. À travers une riche série de webinaires, blogs et discussions, allant de l'examen des implications éthiques au partage des compétences pratiques, la communauté EvalforEarth a jeté les bases pour comprendre les implications de l'IA dans les évaluations.
La conversation sur l'intelligence artificielle est bien amorcée au sein de la communauté de pratique EvalforEarth. À travers une riche série de webinaires, blogs et discussions, allant de l'examen des implications éthiques au partage des compétences pratiques, la communauté EvalforEarth a jeté les bases pour comprendre les implications de l'IA dans les évaluations. Cet article de blog s'inscrit dans cet élan, en partageant l'expérience et les leçons apprises du Bureau indépendant de l'évaluation du FIDA (IOE).
Il y a dix ans, peu d'évaluateurs imaginaient qu'ils travailleraient avec l'IA. Aujourd'hui, les instruments qui semblaient autrefois futuristes redéfinissent notre manière de collecter, analyser et valider les éléments de preuve. Au sein de l'IOE du FIDA, cette transformation est déjà en cours. Les premiers travaux avec l'IA ont produit non seulement des résultats mais aussi des leçons importantes sur ce qu'il faut pour utiliser ces instruments efficacement et éthiquement.
Leçon 1: De la stratégie à la pratique: examiner dans quel contexte l'IA apporte une valeur ajoutée
L'engagement de l'IOE du FIDA sur l'IA a débuté par une décision stratégique, la volonté délibérée de comprendre comment les nouvelles technologies pourraient améliorer la qualité, l'efficacité et l'apprentissage en évaluation. En s'appuyant sur les expériences d'agences sœurs des Nations Unies, des institutions financières internationales et des premières expériences pilotes internes, l'IOE du FIDA a analysé dans quel contexte l'IA pourrait apporter une valeur ajoutée, pas seulement le long du cycle de l'évaluation mais aussi dans les principales fonctions de soutien.
Les premières expériences se sont concentrées sur les applications bien définies et à impact élevé, telles que l'analyse des entretiens structurés et la classification des activités non liées au prêts. Cela a montré que l'IA peut accélérer le traitement des données probantes, élargir la couverture et dégager du temps pour l'évaluateur qui pourra se consacrer à du travail à plus grande valeur ajoutée.
Il est important de noter que chaque expérience pilote n'a pas fonctionné comme prévu. Certaines tentatives ont échoué en raison de limites dans la précision du modèle, de la complexité des instructions ou des nuances contextuelles. Ces expériences ne représentent pas des échecs mais plutôt des moments d'apprentissage essentiels qui ont aidé l'IOE du FIDA à clarifier ce que l'IA peut faire et ne pas faire, à affiner la conception des tâches et à améliorer ses processus d'apprentissage internes.
Leçon 2: De nouvelles compétences, de nouveaux rôles: renforcer les capacités internes pour une utilisation responsable de l'IA.
Pour que l'IA apporte une valeur ajoutée réelle en évaluation, elle doit être accompagnée d'une évolution des compétences, des rôles et des manières de travailler. Les premiers travaux de l'IOE du FIDA sur l'IA ont montré que, souvent, les avancées les plus importantes ne viennent pas des instruments eux-mêmes mais des personnes qui apprennent à les utiliser efficacement.
Un pilier central de cette expérience était le renforcement des capacités internes à travers des expériences pratiques. Des sessions d'apprentissage internes, des ateliers d'«ingénierie des instructions» et des échanges entre pairs ont permis aux évaluateurs de tester leurs idées, d'affiner les instructions, de valider les produits et d'évaluer de manière critique les limites. Cette approche d'apprentissage à travers la pratique a renforcé la confiance, encouragé une utilisation responsable et contribué à démystifier l'IA au sein de l'équipe.
Cela a également changé le rôle des évaluateurs. Au lieu de travailler uniquement comme collecteurs et analystes de données, ces derniers sont du plus en plus considérés comme des examinateurs critiques, des conservateurs et des validateurs des données produites par l'IA. Cette évolution permet au personnel de se concentrer davantage sur le travail stratégique, analytique et interprétatif, en garantissant que le jugement humain reste central dans la pratique d'évaluation.
Cette évolution répond directement à la question provocatrice proposée dans un blog précédent de la Communauté de pratique: «L'intelligence artificielle nous remplacera-t-elle en tant qu'évaluateurs?» Notre expérience suggère un avenir différent: l'IA ne remplacera pas les évaluateurs, mais les évaluateurs qui utilisent l'IA verront leur rôle évoluer vers la réflexion critique et la validation à un niveau plus élevé.
Leçon 3: La confiance dans la conception: mesures de protection pour l'IA en évaluation
L'utilisation responsable a été au cœur de l'expérience de l'IOEdu FIDA sur l'IA dès son commencement. Si l'expérience sert l'apprentissage, elle doit être ancrée dans des mesures de protection qui protègent la qualité, la transparence et la redevabilité. L'IOE du FIDA a pris des mesures pratiques et concrètes pour y veiller.
Tous les produits générés par l'IA sont accompagnés des enregistrements des instructions, ce qui permet leur traçabilité et leur revue par les pairs. Toute utilisation de l'IA dans la préparation des rapports ou des produits d'analyse est communiquée de manière transparente dans les annexes, afin d'assurer que les parties prenantes comprennent où et de quelle manière ces instruments ont été appliqués. En outre, les expériences et l'utilisation opérationnelle a lieu dans des environnements numériques sécurisés, qui protègent la confidentialité des données et maintiennent le contrôle des évaluateurs sur les informations sensibles.
Ces mesures ne sont pas uniquement procédurales – elles contribuent à instaurer la confiance parmi les évaluateurs, les partenaires et les parties prenantes sur le fait que l'IA a été utilisée comme instrument et non comme décideur. Elle renforce également l'engagement plus large de l'IOE du FIDA pour l'éthique, l'assurance de qualité et l'apprentissage, en veillant à ce que l'innovation aille de pair avec la rigueur.