Au risque non négligeable de créer une conceptualisation trop rigide, je suggère qu'il pourrait être utile de poser ces questions lorsqu'on examine la pertinence d'une évaluation de l'évaluabilité (EE) : 1. Contexte institutionnel et physique : dans quelle mesure les lieux sont-ils nombreux et diversifiés ? 2. Conception de l'intervention : dans quelle mesure les interventions sont-elles nombreuses et diverses, ainsi que leurs interconnexions ? 3. Demande des parties prenantes : dans quelle mesure les bailleurs de fonds, les partenaires de mise en œuvre et les groupes bénéficiaires sont-ils nombreux et diversifiés, ainsi que leurs interconnexions ? 4. Disponibilité des données : dans quelle mesure les systèmes de S&E et leurs interconnexions sont-ils nombreux et diversifiés ?
Réponse à l'article d'Amy. 1. Oui, les EE doivent être proportionnées aux coûts probables d'une évaluation. Je suis tout à fait d'accord. Des recherches historiques sur les ratios antérieurs devraient maintenant être possibles pour nous donner une idée approximative de la fourchette et de la médiane des valeurs. 2. Oui, une liste de contrôle concernant la nécessité d'un EE vaut au moins la peine d'être envisagée. Le commentaire selon lequel « certaines agences des Nations unies ont développé une approche consistant à rendre les EE obligatoires pour les programmes dont le budget est supérieur à un certain montant » est une indication en ce sens. Mais il ne s'agit pas d'une corrélation directe. Un grand programme simple peut ne pas nécessiter d'EE, c'est-à-dire un programme dont les objectifs et les interventions sont simples et clairs. Un programme d'immunisation correspondrait-il à cette description ? Mais en règle générale, je pense que les programmes à gros budget ont tendance à être plus complexes en termes d'objectifs, d'interventions, de partenaires et de parties prenantes et de situations géographiques. Considérons ces éléments comme les nœuds d'un réseau : plus ils sont nombreux, plus les liens de causalité possibles et réels sont nombreux, tout comme les types et les sources d'information sur ce qui se passe. Si une liste de contrôle des besoins de l'EE doit être élaborée, peut-être ces sources de complexité pourraient-elles être prises en considération ?
Je voudrais juste ajouter un point à celui de Svetlana : "il est important de noter que tous les contextes ne sont pas créés égaux et qu'on ne peut pas supposer un niveau de préparation incontestable pour une évaluation dans n'importe quel type et taille d'intervention et dans n'importe quel contexte. Dans les contextes en évolution, certains aspects peuvent ne pas être priorisés à temps et ne pas répondre aux besoins de toutes les personnes impliquées". Je pense que c'est particulièrement le cas des intérêts des parties prenantes dans une évaluation : ce qu'elles veulent savoir et ce qui les préoccupe. Ceux-ci sont très susceptibles d'évoluer au fil du temps.
Permettez-moi de répondre à certains de vos points
1. « Tous les projets peuvent et doivent être évalués »
Oui, mais QUAND ? Les délais recommandés par l'EE peuvent donner le temps d'examiner les données, la théorie et les préoccupations des parties prenantes, et ainsi conduire à une évaluation plus utile.
Oui, mais COMMENT ? Les approches doivent être proportionnées aux ressources, aux capacités et au contexte. Les évaluations environnementales peuvent apporter une aide à cet égard.
2. Re « Certaines conceptions de projet sont manifestement sans valeur, et certains cadres de suivi et d'évaluation sont manifestement inadéquats à première vue » et votre commentaire selon lequel... « Nous confondons la documentation du projet avec la réalité du travail ».
Il serait extrême d'affirmer qu'il n'y a pas de bonnes pratiques (quelle que soit leur définition) sur le terrain dans de telles circonstances (c'est-à-dire lorsqu'il y a de mauvaises conceptions, de mauvais cadres de suivi et d'évaluation).
Mais il serait tout aussi extrême d'affirmer l'inverse, à savoir que l'état de la conception et la disponibilité des données n'ont aucune relation avec les résultats sur le terrain. Si vous adoptez cette position, la décision d'évaluer est effectivement un pari, avec le temps et les ressources de quelqu'un.
À un moment donné, quelqu'un doit décider du montant à dépenser, du moment et de la manière de le faire. Les évaluations environnementales peuvent contribuer à éclairer ces décisions
3. Re « Le programme peut-il être évalué à l'aide d'une boîte à outils standard » (ce que l'évaluabilité risque de devenir) »
J'aimerais voir des preuves de cette affirmation.
Comme contre-preuve, du moins en ce qui concerne l'intention, je vous renvoie à ce diagramme, tiré du guide d'évaluation environnementale de l'Agence autrichienne de développement, et à la référence à la nature en puzzle d'une évaluation environnementale, dans le sens où il faut faire coïncider différents besoins et capacités, plutôt que de suivre un quelconque schéma directeur.
United Kingdom
Rick Davies
Evaluation Consultant
Posté le 07/09/2024
Au risque non négligeable de créer une conceptualisation trop rigide, je suggère qu'il pourrait être utile de poser ces questions lorsqu'on examine la pertinence d'une évaluation de l'évaluabilité (EE) :
1. Contexte institutionnel et physique : dans quelle mesure les lieux sont-ils nombreux et diversifiés ?
2. Conception de l'intervention : dans quelle mesure les interventions sont-elles nombreuses et diverses, ainsi que leurs interconnexions ?
3. Demande des parties prenantes : dans quelle mesure les bailleurs de fonds, les partenaires de mise en œuvre et les groupes bénéficiaires sont-ils nombreux et diversifiés, ainsi que leurs interconnexions ?
4. Disponibilité des données : dans quelle mesure les systèmes de S&E et leurs interconnexions sont-ils nombreux et diversifiés ?
United Kingdom
Rick Davies
Evaluation Consultant
Posté le 04/09/2024
Réponse à l'article d'Amy.
1. Oui, les EE doivent être proportionnées aux coûts probables d'une évaluation. Je suis tout à fait d'accord. Des recherches historiques sur les ratios antérieurs devraient maintenant être possibles pour nous donner une idée approximative de la fourchette et de la médiane des valeurs.
2. Oui, une liste de contrôle concernant la nécessité d'un EE vaut au moins la peine d'être envisagée. Le commentaire selon lequel « certaines agences des Nations unies ont développé une approche consistant à rendre les EE obligatoires pour les programmes dont le budget est supérieur à un certain montant » est une indication en ce sens. Mais il ne s'agit pas d'une corrélation directe. Un grand programme simple peut ne pas nécessiter d'EE, c'est-à-dire un programme dont les objectifs et les interventions sont simples et clairs. Un programme d'immunisation correspondrait-il à cette description ? Mais en règle générale, je pense que les programmes à gros budget ont tendance à être plus complexes en termes d'objectifs, d'interventions, de partenaires et de parties prenantes et de situations géographiques. Considérons ces éléments comme les nœuds d'un réseau : plus ils sont nombreux, plus les liens de causalité possibles et réels sont nombreux, tout comme les types et les sources d'information sur ce qui se passe. Si une liste de contrôle des besoins de l'EE doit être élaborée, peut-être ces sources de complexité pourraient-elles être prises en considération ?
United Kingdom
Rick Davies
Evaluation Consultant
Posté le 10/08/2024
Bonjour à tous
Je voudrais juste ajouter un point à celui de Svetlana : "il est important de noter que tous les contextes ne sont pas créés égaux et qu'on ne peut pas supposer un niveau de préparation incontestable pour une évaluation dans n'importe quel type et taille d'intervention et dans n'importe quel contexte. Dans les contextes en évolution, certains aspects peuvent ne pas être priorisés à temps et ne pas répondre aux besoins de toutes les personnes impliquées".
Je pense que c'est particulièrement le cas des intérêts des parties prenantes dans une évaluation : ce qu'elles veulent savoir et ce qui les préoccupe. Ceux-ci sont très susceptibles d'évoluer au fil du temps.
United Kingdom
Rick Davies
Evaluation Consultant
Posté le 29/07/2024
Bonjour Silva
Permettez-moi de répondre à certains de vos points
1. « Tous les projets peuvent et doivent être évalués »
Oui, mais QUAND ? Les délais recommandés par l'EE peuvent donner le temps d'examiner les données, la théorie et les préoccupations des parties prenantes, et ainsi conduire à une évaluation plus utile.
Oui, mais COMMENT ? Les approches doivent être proportionnées aux ressources, aux capacités et au contexte. Les évaluations environnementales peuvent apporter une aide à cet égard.
2. Re « Certaines conceptions de projet sont manifestement sans valeur, et certains cadres de suivi et d'évaluation sont manifestement inadéquats à première vue » et votre commentaire selon lequel... « Nous confondons la documentation du projet avec la réalité du travail ».
Il serait extrême d'affirmer qu'il n'y a pas de bonnes pratiques (quelle que soit leur définition) sur le terrain dans de telles circonstances (c'est-à-dire lorsqu'il y a de mauvaises conceptions, de mauvais cadres de suivi et d'évaluation).
Mais il serait tout aussi extrême d'affirmer l'inverse, à savoir que l'état de la conception et la disponibilité des données n'ont aucune relation avec les résultats sur le terrain. Si vous adoptez cette position, la décision d'évaluer est effectivement un pari, avec le temps et les ressources de quelqu'un.
À un moment donné, quelqu'un doit décider du montant à dépenser, du moment et de la manière de le faire. Les évaluations environnementales peuvent contribuer à éclairer ces décisions
3. Re « Le programme peut-il être évalué à l'aide d'une boîte à outils standard » (ce que l'évaluabilité risque de devenir) »
J'aimerais voir des preuves de cette affirmation.
Comme contre-preuve, du moins en ce qui concerne l'intention, je vous renvoie à ce diagramme, tiré du guide d'évaluation environnementale de l'Agence autrichienne de développement, et à la référence à la nature en puzzle d'une évaluation environnementale, dans le sens où il faut faire coïncider différents besoins et capacités, plutôt que de suivre un quelconque schéma directeur.
salutations, rick