Comment les organisations gèrent-elles les évaluations indépendantes ? Résultats d’une enquête interinstitutionnelle

En 2024, nous avons lancé sur cette plateforme une discussion intitulée « La gestion, un enjeu crucial : explorer le lien entre les modèles de gestion et l’utilisation des évaluations ». Vous avez été nombreux et nombreuses à partager des réflexions précieuses sur le rôle des responsables de l’évaluation, les limites de leur implication et les conditions dans lesquelles les résultats d’évaluation doivent être utilisés. Cet article revient sur cette discussion et présente les résultats de l’étude qu’elle a inspirée.

Si les normes et standards d’évaluation se sont de plus en plus harmonisés au cours des dernières décennies, un aspect essentiel a échappé à la normalisation : la gestion de l’évaluation. Qui rédige le cahier des charges ? Qui conçoit la méthodologie ? Les responsables d’évaluation doivent-ils/elles participer aux missions sur le terrain ? Qui vérifie si les recommandations sont mises en œuvre ? Notre étude a examiné ces pratiques et explore leur lien avec l’utilisation des données d’évaluation.

Pour répondre à ces questions, nous avons mené une enquête auprès de professionnel(le)s chargé(e)s de la gestion d’évaluations indépendantes au sein d’organisations internationales de développement et de recherche, et avons reçu 66 réponses valides. Parmi les répondant(e)s figuraient des représentant(e)s d’agences des Nations unies (36 %), d’entités gouvernementales (27 %), d’organismes de recherche internationaux (15 %), d’organisations donatrices et d’exécution (8 %), de fonds multilatéraux et d’une banque de développement. Nous avons complété cette enquête par une analyse documentaire sur l’utilisation des évaluations dans la recherche agricole au service du développement, une cartographie de 100 rapports d’évaluation provenant de neuf organisations homologues, dont la FAO, le FIDA, le PAM, le PNUD, ONU Femmes, le FEM, le FVC, la BAD et la Banque mondiale, ainsi que par les réflexions partagées lors de la discussion EvalforEarth.

Il n’existe pas de modèle unique de gestion de l’évaluation. Les organisations font des choix différents en matière de conception, de travail sur le terrain, de recrutement, d’utilisation de l’IA et de suivi — et ces choix déterminent la manière dont les résultats de l’évaluation sont finalement utilisés.

Qui conçoit l’évaluation ? Principalement le/la responsable de gestion, mais pas partout

Dans l’ensemble, 77 % des personnes interrogées ont déclaré diriger l’élaboration des termes de référence (TdR) de l’évaluation, et 70 % ont indiqué que le/la responsable de l’évaluation est le principal responsable de la conception de l’approche, de la méthodologie et des questions clés. Mais la situation varie considérablement selon le type d’organisation. Tous les répondant(e)s issus des agences des Nations unies, des organisations donatrices et des fonds multilatéraux ont déclaré diriger l’élaboration des termes de référence. Cette proportion tombe à 67 % dans les organisations de mise en œuvre et à moins de 40 % dans les entités gouvernementales, où la responsabilité incombe plus souvent à d’autres acteurs.

La rapidité varie également. Les bailleurs de fonds et les organisations de mise en œuvre rédigent généralement un cahier des charges en cinq jours ou moins, tandis que les agences des Nations unies, les gouvernements et les fonds multilatéraux indiquent généralement y consacrer plus de six jours. Sur l’ensemble de l’échantillon, 73 % des répondants le finalisent en moins de 10 jours.

Les évaluations de l’évaluabilité restent l’exception plutôt que la règle : seuls 35 % des répondant(e)s les réalisent systématiquement ou la plupart du temps, bien que la norme 4.2 de l’UNEG les recommande comme première étape. 

Recrutement : les agences des Nations unies privilégient les consultant(e)s indépendant(e)s ; les autres optent pour une approche au cas par cas

Les agences des Nations Unies ont manifesté une nette préférence pour les consultant(e)s indépendant(e)s, qui sont moins coûteux, plus rapides à recruter et souvent mieux adaptés aux évaluations menées au niveau des projets avec des budgets modestes. D’autres types d’organisations se sont montrées plus pragmatiques, choisissant entre des particuliers et des cabinets en fonction de l’évaluation, de l’entité évaluée et du contexte, les cabinets étant appréciés pour leur assurance qualité et leur crédibilité dans le cadre d’évaluations complexes ou à grande échelle.

Quelle que soit la modalité choisie, le recrutement reste un défi. Bien que la satisfaction à l’égard des équipes finalement recrutées ait été globalement positive, 60 % des personnes interrogées ont déclaré avoir trouvé et engagé l’équipe adéquate assez ou très difficile. Les contraintes de temps figuraient en tête de liste des difficultés (29 %), suivies par la disponibilité limitée d’expert(e)s en la matière, les contraintes budgétaires et la lenteur des procédures administratives (21 % chacune). Selon les personnes interrogées, la denrée la plus rare est le/la consultant(e) qui allie une expertise sectorielle, des connaissances en matière d’évaluation et de solides compétences analytiques et rédactionnelles.

Travail de terrain : quand implication et participation deviennent un dilemme

Pratiquement  tous les responsables de gestion contribuent à la conception des activités de collecte de données, les fonds multilatéraux constituant la principale exception : environ la moitié des personnes interrogées ont déclaré être rarement impliquées. La participation sur le terrain divise l’échantillon en deux. Environ la moitié des répondant(e)s issus d’agences des Nations unies et d’organismes de recherche internationaux se rendent sur le terrain, contre environ 30 % de ceux issus d’entités gouvernementales. Les répondant(e)s issus des bailleurs de fonds, des organismes d’exécution et des fonds multilatéraux se rendent rarement, voire jamais, sur le terrain. Malgré cela, deux tiers des répondant(e)s participent à des entretiens et à des groupes de discussion, et environ la moitié joue un rôle actif en posant des questions plutôt qu’en se contentant d’observer.

C’est sur ce point que la discussion d’EvalforEarth a apporté le plus de nuances. Les répondant(e)s à l’enquête qui participent au travail de terrain ont mis en avant des avantages tels que l’amélioration de la qualité des données, un dépannage plus rapide, une crédibilité auprès des parties prenantes et l’appropriation des résultats. Pourtant, les participant(e)s à la discussion, notamment Gebril Mahjoub Osman, ont mis en garde contre les biais et les conflits d’intérêts qu’une implication directe peut engendrer, plaidant plutôt en faveur d’un rôle de facilitation et de soutien. Malgré ces points de vue divergents, les deux sources se sont accordées sur un point : les rôles et les responsabilités doivent être clairement définis dès la phase de lancement afin d’éviter l’apparition de tensions plus tard au cours de l’évaluation.

Intelligence artificielle : son utilisation se généralise, mais pas le contrôle de la qualité

Un peu plus de la moitié des personnes interrogées ont déclaré utiliser l’intelligence artificielle dans le cadre de leurs travaux d’évaluation. Les répondant(e)s issus des agences des Nations unies étaient les plus enclins à utiliser directement l’IA pour des tâches spécifiques. Les bailleurs de fonds, les gouvernements et les fonds multilatéraux ont indiqué que l’IA était principalement utilisée par des consultant(e)s externes, tandis que les organismes de recherche internationaux étaient les moins susceptibles de l’utiliser. Lorsque l’IA est utilisée pour la prise de notes et la synthèse, seule la moitié des personnes interrogées a déclaré procéder à un contrôle de qualité des résultats. Ces contrôles étaient les plus courants parmi les agences des Nations unies.

Figure 2. Si l'IA est utilisée pour la prise de notes et la synthèse, un contrôle qualité est-il effectué après la production des notes ? (N=43)

La publication est la norme, l’utilisation ne l’est pas

Environ 80 % des personnes interrogées ont déclaré que leurs rapports étaient toujours ou presque toujours publiés, les agences des Nations unies et les organisations chargées de la mise en œuvre faisant état des pratiques de publication les plus régulières. Près de 60 % publient dans les trois mois suivant la validation, les délais de publication les plus courts étant signalés par les agences des Nations unies et les organismes de recherche.

L’utilisation des rapports est une autre histoire. Interrogé(e)s sur l’efficacité avec laquelle leurs organisations utilisent les données d’évaluation pour la prise de décision, les répondant(e)s ont attribué une note moyenne de seulement 3,3 sur 5. Les bailleurs de fonds se sont montrés les plus optimistes, avec une note moyenne de 3,8, suivis par les agences des Nations unies (3,5). Les organismes de recherche et les fonds multilatéraux ont obtenu une note de 3,0, tandis que les gouvernements se sont classés en dernière position avec 2,8. Les personnes interrogées ont mis en évidence deux tendances récurrentes. Premièrement, les examens à mi-parcours sont souvent considérés comme plus utiles que les évaluations finales, car ils offrent la possibilité de donner suite aux conclusions alors que la mise en œuvre est encore en cours. Deuxièmement, la production d’un trop grand nombre d’évaluations peut diluer l’attention et réduire la prise en compte des recommandations.

Réponse de la direction : les recommandations font-elles l’objet d’un suivi ?

Selon 76 % des répondant(e)s, des réponses de la direction sont élaborées pour toutes les évaluations. Il s’agit d’une pratique courante au sein des agences des Nations unies, des organismes de mise en œuvre et des fonds multilatéraux. Elle est signalée par environ 60 % des gouvernements et des organismes de recherche, mais par seulement 25 % des bailleurs de fonds interrogés.

Les systèmes de suivi présentent le même gradient. Ils existent dans 94 % des agences des Nations unies, contre 57 % des organismes de recherche, 50 % des gouvernements et des fonds multilatéraux, et 25 % des bailleurs de fonds. La publication de la réponse de la direction suit une tendance similaire : 90 % des agences des Nations unies interrogées ont déclaré la publier systématiquement, contre la moitié des fonds multilatéraux, environ 30 % des gouvernements et des organismes de recherche, et seulement une petite minorité de bailleurs de fonds.

Un constat ressort particulièrement : seuls 30 % des répondant(e)s ont déclaré que leur système de suivi était accessible au public, et tous les gouvernements interrogés ont indiqué que le leur ne l’était pas. Pour un secteur qui promeut la transparence et la responsabilité, et à une époque où l’on met de plus en plus l’accent sur la recherche et l’évaluation responsables, il devient de plus en plus difficile de justifier que le suivi des recommandations reste à huis clos.

Dix recommandations tout au long du cycle d’évaluation

En nous appuyant sur l’enquête, la littérature, l’analyse de 100 évaluations et les contributions partagées via EvalforEarth, nous avons formulé dix recommandations réparties selon les cinq phases d’une évaluation indépendante. Consultez l’étude pour obtenir la liste complète. 

Une logique commune se dégage de ces dix recommandations : l’utilisation des données d’évaluation relève avant tout de la gestion. Les évaluations ont davantage de chances d’influencer les décisions lorsqu’elles sont conçues en tenant compte du contexte et des ressources disponibles, qu’elles s’appuient sur des analyses d’évaluabilité et qu’elles sont guidées par des rôles clairement définis qui préservent l’indépendance sans compromettre la qualité. Des rapports accessibles, des examens à mi-parcours réalisés en temps opportun et des systèmes de suivi transparents renforcent encore davantage la probabilité que les conclusions soient exploitées plutôt que négligées.

L’étude complète, intitulée « Cartographie des pratiques de gestion de l’évaluation dans les organisations internationales de recherche et de développement » (Toma, Jouini et Maciel Pinto, 2025), est disponible sur le site web de l’IAES. Lien : https://cgspace.cgiar.org/server/api/core/bitstreams/513865ad-47fd-495c-8e0d-d5e9b98934d5/content