Je suis d'accord avec vous [contribution de Rick Davies ci-dessous] sur de nombreux points, et oui, il est essentiel de vérifier la réalité de ce qu'une évaluation doit et peut faire.
1.
Je suis d'accord avec vous sur ce point. Et trop d'évaluations sont en pilotage automatique (c'est-à-dire qu'elles copient et collent un modèle avec de petites adaptations à la fin du projet). J'accueille favorablement l'évaluabilité en tant qu'occasion d'élargir les possibilités, par exemple en suggérant des évaluations en temps réel, en promouvant des approches participatives ou en soulignant les questions importantes qui doivent être abordées ou les priorités à traiter. Mais soyons réalistes : la plupart des documents d'évaluabilité que j'ai vus vérifient si le programme a collecté des indicateurs prédéfinis sur un cadre logique/une théorie du changement convenu(e) et demandent de vérifier quels critères de l'OCDE⁄DAC peuvent être évalués. L'Agence autrichienne de développement présente des points intéressants sur l'utilité de l'évaluation telle qu'elle est perçue par les différentes parties prenantes - mais l'annexe est manquante :-( (s'agit-il toujours d'un document de travail ?) Je rêve d'un document sur l'évaluabilité qui fournisse un catalogue de possibilités plutôt que de se limiter aux approches conventionnelles. Il devrait suggérer qu'une évaluation du développement est possible, par exemple, plutôt que de demander des théories de changement prédéfinies. Sinon, l'évaluabilité étouffera l'innovation au lieu de la promouvoir.
2.
Bien sûr, nous devons dépenser les ressources d'évaluation de manière judicieuse. Et, bien sûr, une bonne évaluation de l'évaluabilité peut déboucher sur des évaluations plus efficaces (et de nombreux gestionnaires d'évaluation savent déjà le faire) Réflexion sur le rapport coût-efficacité.... est-il vraiment justifié de dépenser beaucoup d'argent pour comprendre seulement si un programme peut être évalué sans apporter d'apprentissage supplémentaire ? Je ne rejette pas cette idée, et oui, elle peut être utile. Mais, pour les programmes appropriés, il est possible d'avoir une évaluation par étapes où la première phase évalue le programme et fournit quelques enseignements préliminaires tout en comprenant les meilleures options pour les phases suivantes. Bien sûr, il faut un évaluateur ou une équipe qui maîtrise les différentes méthodologies, qui soit adaptable et proche de la direction, mais c'est tout à fait possible. Une évaluation par étapes ne conviendra pas toujours, mais il s'agit d'une possibilité réelle qui peut être occultée par les approches conventionnelles de l'évaluabilité.
3.
Comme je l'ai déjà écrit, la liste de contrôle confirme une compréhension très conventionnelle d'un programme. Je répète ici que j'ai travaillé sur des programmes qui n'avaient pas de cadre logique, ou qui ne fixaient pas d'indicateurs et de points de référence (pensez, par exemple, à l'évolution des modèles de travail), et où l'évaluation a contribué à systématiser les approches. Ces programmes n'auraient tout simplement pas passé les listes de contrôle proposées. Et dans quelle mesure ils auraient pu atteindre des parties prenantes importantes qui n'ont été identifiées qu'en faisant boule de neige. Oui. Je fais référence à des cas particuliers, car j'ai tendance à travailler davantage à la base et sur des projets novateurs. Mais ce sont ces projets qui risquent le plus de passer inaperçus dans le cadre d'une conception conventionnelle de l'évaluabilité.
Je vois donc comment l'évaluabilité telle qu'elle est peut fonctionner pour de grands projets relativement standardisés. Mais telle qu'elle est aujourd'hui, elle n'est pas encore en mesure de devenir une possibilité pour des approches nouvelles et pour libérer des idées et des possibilités, ce dont notre secteur a grandement besoin.
RE: Evaluability Assessments: An invitation to reflect and discuss
Italy
Silva Ferretti
Freelance consultant
Posté le 04/08/2024
Je suis d'accord avec vous [contribution de Rick Davies ci-dessous] sur de nombreux points, et oui, il est essentiel de vérifier la réalité de ce qu'une évaluation doit et peut faire.
1.
Je suis d'accord avec vous sur ce point. Et trop d'évaluations sont en pilotage automatique (c'est-à-dire qu'elles copient et collent un modèle avec de petites adaptations à la fin du projet). J'accueille favorablement l'évaluabilité en tant qu'occasion d'élargir les possibilités, par exemple en suggérant des évaluations en temps réel, en promouvant des approches participatives ou en soulignant les questions importantes qui doivent être abordées ou les priorités à traiter. Mais soyons réalistes : la plupart des documents d'évaluabilité que j'ai vus vérifient si le programme a collecté des indicateurs prédéfinis sur un cadre logique/une théorie du changement convenu(e) et demandent de vérifier quels critères de l'OCDE⁄DAC peuvent être évalués. L'Agence autrichienne de développement présente des points intéressants sur l'utilité de l'évaluation telle qu'elle est perçue par les différentes parties prenantes - mais l'annexe est manquante :-( (s'agit-il toujours d'un document de travail ?)
Je rêve d'un document sur l'évaluabilité qui fournisse un catalogue de possibilités plutôt que de se limiter aux approches conventionnelles. Il devrait suggérer qu'une évaluation du développement est possible, par exemple, plutôt que de demander des théories de changement prédéfinies. Sinon, l'évaluabilité étouffera l'innovation au lieu de la promouvoir.
2.
Bien sûr, nous devons dépenser les ressources d'évaluation de manière judicieuse. Et, bien sûr, une bonne évaluation de l'évaluabilité peut déboucher sur des évaluations plus efficaces (et de nombreux gestionnaires d'évaluation savent déjà le faire)
Réflexion sur le rapport coût-efficacité.... est-il vraiment justifié de dépenser beaucoup d'argent pour comprendre seulement si un programme peut être évalué sans apporter d'apprentissage supplémentaire ? Je ne rejette pas cette idée, et oui, elle peut être utile.
Mais, pour les programmes appropriés, il est possible d'avoir une évaluation par étapes où la première phase évalue le programme et fournit quelques enseignements préliminaires tout en comprenant les meilleures options pour les phases suivantes. Bien sûr, il faut un évaluateur ou une équipe qui maîtrise les différentes méthodologies, qui soit adaptable et proche de la direction, mais c'est tout à fait possible. Une évaluation par étapes ne conviendra pas toujours, mais il s'agit d'une possibilité réelle qui peut être occultée par les approches conventionnelles de l'évaluabilité.
3.
Comme je l'ai déjà écrit, la liste de contrôle confirme une compréhension très conventionnelle d'un programme. Je répète ici que j'ai travaillé sur des programmes qui n'avaient pas de cadre logique, ou qui ne fixaient pas d'indicateurs et de points de référence (pensez, par exemple, à l'évolution des modèles de travail), et où l'évaluation a contribué à systématiser les approches. Ces programmes n'auraient tout simplement pas passé les listes de contrôle proposées. Et dans quelle mesure ils auraient pu atteindre des parties prenantes importantes qui n'ont été identifiées qu'en faisant boule de neige. Oui. Je fais référence à des cas particuliers, car j'ai tendance à travailler davantage à la base et sur des projets novateurs. Mais ce sont ces projets qui risquent le plus de passer inaperçus dans le cadre d'une conception conventionnelle de l'évaluabilité.
Je vois donc comment l'évaluabilité telle qu'elle est peut fonctionner pour de grands projets relativement standardisés. Mais telle qu'elle est aujourd'hui, elle n'est pas encore en mesure de devenir une possibilité pour des approches nouvelles et pour libérer des idées et des possibilités, ce dont notre secteur a grandement besoin.