EvalXchange 2025: renforcer les décisions à travers les preuves, l'efficience et l'IA

Session 1: Direct EvalX – Le Talk-show sur l'évaluation: au-delà du rapport

Conçue comme un talk-show, cette session stimulante a réuni des utilisateurs et des praticiens de l'évaluation provenant du monde entier. Ils ont discuté ensemble de la manière dont les fonctions d'évaluation peuvent mieux exploiter les preuves pour répondre plus efficacement aux besoins organisationnels et pour adapter ces dernières aux demandes spécifiques selon les sujets et les pays.

En plaçant les utilisateurs au centre de la discussion, le premier volet a mis l'accent sur les preuves en action. Il a mis en avant les utilisateurs de l'ensemble du PAM qui s'engagent avec des produits d'utilisation innovants et des sessions d'apprentissage ciblées pour orienter non seulement l'élaboration de politiques et de stratégies mais aussi la conception de modèles de mise en œuvre. Si les rapports d'évaluation restent des ressources importantes pour l'apprentissage, leur lecture et leur assimilation demandent du temps. Le Bureau de l'évaluation apporte une solution innovante en facilitant la production de nouvelles offres de preuves à travers les Summaries of Evaluation Evidence [Résumés des preuves d'évaluation ou SEE], qui maximisent l'utilisation des rapports d'évaluation existants pour soutenir les enseignements qui répondent aux besoins immédiats des utilisateurs en termes de preuves pour une prise de décision tournée vers l'avenir. Les sessions d'apprentissage ciblées constituent également une ressource essentielle pour résumer les preuves des rapports d'évaluation. Elles permettent une implication interactive avec les responsables techniques afin d'accélérer les apprentissages et de contribuer à orienter des décisions fondées sur les preuves.

Les évaluateurs de l'UNICEF, du Groupe Konterra et du PAM ont examiné les approches d'utilisation des preuves lors du deuxième volet. Le passage de l'utilisation instrumentale à l'utilisation conceptuelle de ces dernières doit faire des utilisateurs principaux des courtiers en évaluation, qui peuvent exploiter leur position internationale et diriger les discussions sur les résultats d'évaluation avec l'ensemble des parties prenantes. Les praticiens ont souligné différents enseignements issus de l'élaboration de SEE rigoureuses et convaincantes: 1) Être clairs avec les commanditaires sur ce que les SEE peuvent faire ou ne pas faire. Les SEE ne sont pas de nouvelles évaluations mais sont limitées par les évaluations dont elles découlent; 2) Rechercher des modèles magiques, pas des points magiques. Les SEE doivent chercher les modèles qui se dégagent des multiples évaluations; 3) Il vaut mieux élargir: l'observation de différentes régions et de l'ensemble d'un système permet de créer des modèles plus intéressants; 4) Poser les bonnes questions: des questions plus conceptuelles ont tendance à être plus intéressantes pour les utilisateurs; 5) impliquer la direction/l'équipe de la SEE, car ce sont eux qui ont la compréhension la plus nuancée du sujet et qui peuvent exploiter les évènements interactifs pour dynamiser la conversation. Les meilleures SEE sont celles qui sont liées explicitement à un évènement d'apprentissage en cours et qui ont une finalité thématique ou plus ample. 

Session 2: Analyser l'efficience: options, défis et enseignements pour l'évaluation

Un ensemble de 127 praticiens d'évaluation des agences des Nations Unies, des organisations non gouvernementales, des institutions financières, des gouvernements, des donateurs et du monde académique a réfléchi aux différentes perspectives et expériences sur la manière d'évaluer l'efficience dans des contextes humanitaires et de développement.

Les praticiens d'évaluation ont reconnu que, dans le contexte actuel, les organisations œuvrent dans un environnement où les besoins accrus sont de plus en plus nombreux alors que le financement de la réponse humanitaire et des programmes de développement diminue. Une pression, une demande et une nécessité de plus en plus fortes s'exercent donc sur les organisations appelées à améliorer leur efficience, leur efficacité et leur impact. En conséquence, il y a une demande accrue parmi les choses à évaluées d'une évaluation de l'efficience des programmes afin d'aider les organisations à établir dans quelle mesure elles utilisent au mieux les ressources disponibles afin d'atteindre les objectifs et les effets souhaités.

Le CAD de l'OCDE et l'ALNAP fournissent des orientations utiles sur la manière d'évaluer l'efficience des programmes mais l'évaluation de l'efficience n'est pas toujours linéaire. Il y a beaucoup d'approches, de méthodes et d'outils différents pour évaluer l'efficience, qui présente des opportunités et des défis pour les évaluateurs. Les différentes dimensions (comprenant la dimension économique et le rapport coût-efficacité) de l'efficience ne sont pas toujours indépendantes les unes des autres. Elles doivent donc être analysées conjointement aux autres critères d'évaluation (tels que la pertinence et l'efficacité). Les évaluateurs doivent être conscients des compromis entre l'efficience et les autres considérations, telles que les principes humanitaires (impartialité, humanité), la protection ou l'empreinte environnementale entre autres. De plus, les évaluateurs sont confrontés aux défis de l'évaluation du rapport coût-efficacité d'une intervention, car tous les coûts et avantages ne sont pas aisément mesurables.

Cette session a montré que, pour concevoir et choisir les approches et les méthodes appropriées d'évaluation de l'efficience d'un programme dans différents contextes, les évaluateurs doivent compléter l'utilisation des orientations du CAD de l'OCDE avec des exemples et enseignements sur la manière de relever les défis de l'évaluation de l'efficience.

Session 3: Découvrir les frontières de l'IA: partir à l'aventure

La session a souligné comment les outils d'intelligence artificielle peuvent soutenir l'évaluation en améliorant sa crédibilité et sa transparence. Les participants ont convenu que l'IA offre des opportunités réelles d'accélération et de rationalisation de l'utilisation et de la réutilisation des preuves, tout en soulignant que la réussite dépend de l'adéquation entre ces solutions et les besoins d'évaluation. L'exploitation de l'IA en évaluation est un processus complexe mais précieux qui requiert un apprentissage, une collaboration et une adaptation continus. Les évaluateurs ont déployé des efforts considérables pour comprendre l'IA et combler le fossé avec les sciences des données, bien qu'un travail supplémentaire soit en cours pour développer des instruments qui apportent efficacement des preuves pour une prise de décision plus percutante.

La collaboration entre les évaluateurs et les scientifiques des données a été considérée essentielle pour établir une compréhension et une confiance communes, qui contribuent à faire en sorte que les outils soient à la fois solides sur le plan technique et pertinents sur le plan pratique dans les contextes d'évaluation réels. Les enseignements tirés du développement et de l'utilisation de l'IA en situation réelle montrent que son succès dépend de la conception attentive des outils, de l'exactitude des informations fournies et du partage de résultats de manière à les rendre faciles à utiliser et à comprendre. Ces éléments sont essentiels pour intégrer efficacement l'IA dans le travail d'évaluation.

L'implication d'équipes et de partenaires variés contribue à l'intégration aux systèmes existants et aux initiatives futures, en évitant les solutions cloisonnées. Une conception modulaire offre la flexibilité permettant de mettre à jour ou de remplacer les composantes au fur et à mesure des évolutions technologiques, ce qui réduit les risques tels que le verrouillage des fournisseurs.

Le maintien de l'efficience opérationnelle en équilibrant l'accessibilité financières et les coûts prévisibles et en programmant l'expertise spécialisée (notamment pour les opérations d'apprentissage automatique) est essentiel pour garantir la durabilité à long terme.

Enfin, le partage des expériences, des enseignements tirés et des défis est fondamental pour se frayer un chemin dans ce paysage en pleine évolution et pour mieux exploiter les solutions basées sur l'IA.