Merci pour votre participation active et vos commentaires ! Je les lis et j'y réfléchis au fur et à mesure qu'ils me parviennent. Je réponds maintenant à Dreni-Mi et à Daniel, et je me réjouis de poursuivre la discussion.
Chère Dreni-Mi,
Merci beaucoup pour votre message. Vous avez donné une bonne vue d'ensemble des différentes phases d'une évaluation de l'évaluabilité, une justification de sa mise en œuvre et de ses avantages. Il existe plusieurs étapes d'évaluation de l'évaluabilité décrites dans la littérature sur l'évaluation, toutes quelque peu liées mais mettant l'accent sur des aspects ou des valeurs différents, et avec une catégorisation légèrement différente. Les 8 étapes de Wholey me viennent à l'esprit, ainsi que les 4 étapes de Trevisan et Walser. L'accent que vous mettez sur le rapport coût-efficacité et la préparation d'une évaluation de qualité résonne, je pense, dans toutes les approches.
L'un des enseignements que nous avons tirés des évaluations de l'évaluabilité au CGIAR l'année dernière est la valeur d'un cadre (liste de contrôle) à utiliser et la nécessité de faire preuve de souplesse dans sa mise en œuvre. La nature en puzzle des évaluations de l'évaluabilité, dont Rick Davies a parlé dans un autre article, me semble être une façon particulièrement utile d'envisager les évaluations de l'évaluabilité comme un moyen de rassembler les différentes pièces d'une approche mieux adaptée à un certain contexte. Définir clairement les objectifs d'une évaluation de l'évaluabilité et répondre à des besoins spécifiques permet d'utiliser le cadre de manière plus efficace, en apportant plus de souplesse et de nuance au processus.
From the key stages you’ve outlined, what have you found the most challenging to implement? And what is your experience with use of evaluability assessment results?
Kind regards,
Amy
Cher Daniel,
Je vous remercie pour vos commentaires. Je vais répondre à quelques-uns d'entre eux. Je suis tout à fait d'accord pour dire que les évaluateurs devraient être assis à la table de conception du projet. D'après mon expérience, la participation des évaluateurs et leur capacité à faciliter la réflexion évaluative entre collègues contribuent généralement à améliorer l'évaluabilité d'une intervention. Elle peut également faciliter le développement d'un suivi solide et d'une planification de l'évaluation, ainsi que la capacité d'utiliser les données générées par ces processus et d'en tirer des enseignements. Un tel rôle élargit ce qui est généralement compris, dans certains cercles en tout cas, de ce que sont les évaluateurs et de ce qu'ils font, ce que j'apprécie vraiment en termes de soutien à la professionnalisation de notre domaine.
Dans sa troisième édition du Thésaurus de l'évaluation, Michael Scriven fait référence au concept de "falsifiabilité" du philosophe Karl Popper lorsqu'il aborde la question de l'évaluabilité. Ce concept renvoie à l'idée qu'il devrait toujours être possible de prouver qu'une théorie, une hypothèse ou une déclaration est erronée. Pour qu'un évaluateur (selon la définition de Scriven de ce qui doit être évalué - un programme, un projet, du personnel, une politique, etc.) soit évaluable, je comprends qu'il soit considéré comme falsifiable dans la mesure où il est conçu, développé ou construit de manière à ce que des preuves puissent être générées comme "preuves" de sa valeur.
La connotation religieuse de la référence de Scriven à un premier commandement vise certainement à donner de l'importance au concept. L'évaluabilité en tant que "premier commandement de la responsabilité" m'apparaît comme un dû, une justification et, en fin de compte, une responsabilité. Scriven note que la faible évaluabilité a un prix élevé en termes de coûts supportés. "On ne peut pas apprendre par essais et erreurs s'il n'y a pas de moyen clair d'identifier les erreurs. Et "Il ne suffit pas de pouvoir expliquer comment on a dépensé l'argent, il faut aussi pouvoir le justifier en termes de résultats obtenus" (p. 1).
Je pense que Scriven traite plus en détail de l'évaluabilité dans sa 4e édition. Je suis en voyage et je n'ai pas accès à ma bibliothèque de copies papier à la maison. Peut-être d'autres personnes peuvent-elles me fournir des informations complémentaires à ce sujet.
RE: Evaluability Assessments: An invitation to reflect and discuss
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 04/08/2024
Chers tous,
Merci pour votre participation active et vos commentaires ! Je les lis et j'y réfléchis au fur et à mesure qu'ils me parviennent. Je réponds maintenant à Dreni-Mi et à Daniel, et je me réjouis de poursuivre la discussion.
Chère Dreni-Mi,
Merci beaucoup pour votre message. Vous avez donné une bonne vue d'ensemble des différentes phases d'une évaluation de l'évaluabilité, une justification de sa mise en œuvre et de ses avantages. Il existe plusieurs étapes d'évaluation de l'évaluabilité décrites dans la littérature sur l'évaluation, toutes quelque peu liées mais mettant l'accent sur des aspects ou des valeurs différents, et avec une catégorisation légèrement différente. Les 8 étapes de Wholey me viennent à l'esprit, ainsi que les 4 étapes de Trevisan et Walser. L'accent que vous mettez sur le rapport coût-efficacité et la préparation d'une évaluation de qualité résonne, je pense, dans toutes les approches.
L'un des enseignements que nous avons tirés des évaluations de l'évaluabilité au CGIAR l'année dernière est la valeur d'un cadre (liste de contrôle) à utiliser et la nécessité de faire preuve de souplesse dans sa mise en œuvre. La nature en puzzle des évaluations de l'évaluabilité, dont Rick Davies a parlé dans un autre article, me semble être une façon particulièrement utile d'envisager les évaluations de l'évaluabilité comme un moyen de rassembler les différentes pièces d'une approche mieux adaptée à un certain contexte. Définir clairement les objectifs d'une évaluation de l'évaluabilité et répondre à des besoins spécifiques permet d'utiliser le cadre de manière plus efficace, en apportant plus de souplesse et de nuance au processus.
Cher Daniel,
Je vous remercie pour vos commentaires. Je vais répondre à quelques-uns d'entre eux. Je suis tout à fait d'accord pour dire que les évaluateurs devraient être assis à la table de conception du projet. D'après mon expérience, la participation des évaluateurs et leur capacité à faciliter la réflexion évaluative entre collègues contribuent généralement à améliorer l'évaluabilité d'une intervention. Elle peut également faciliter le développement d'un suivi solide et d'une planification de l'évaluation, ainsi que la capacité d'utiliser les données générées par ces processus et d'en tirer des enseignements. Un tel rôle élargit ce qui est généralement compris, dans certains cercles en tout cas, de ce que sont les évaluateurs et de ce qu'ils font, ce que j'apprécie vraiment en termes de soutien à la professionnalisation de notre domaine.
Dans sa troisième édition du Thésaurus de l'évaluation, Michael Scriven fait référence au concept de "falsifiabilité" du philosophe Karl Popper lorsqu'il aborde la question de l'évaluabilité. Ce concept renvoie à l'idée qu'il devrait toujours être possible de prouver qu'une théorie, une hypothèse ou une déclaration est erronée. Pour qu'un évaluateur (selon la définition de Scriven de ce qui doit être évalué - un programme, un projet, du personnel, une politique, etc.) soit évaluable, je comprends qu'il soit considéré comme falsifiable dans la mesure où il est conçu, développé ou construit de manière à ce que des preuves puissent être générées comme "preuves" de sa valeur.
La connotation religieuse de la référence de Scriven à un premier commandement vise certainement à donner de l'importance au concept. L'évaluabilité en tant que "premier commandement de la responsabilité" m'apparaît comme un dû, une justification et, en fin de compte, une responsabilité. Scriven note que la faible évaluabilité a un prix élevé en termes de coûts supportés. "On ne peut pas apprendre par essais et erreurs s'il n'y a pas de moyen clair d'identifier les erreurs. Et "Il ne suffit pas de pouvoir expliquer comment on a dépensé l'argent, il faut aussi pouvoir le justifier en termes de résultats obtenus" (p. 1).
Je pense que Scriven traite plus en détail de l'évaluabilité dans sa 4e édition. Je suis en voyage et je n'ai pas accès à ma bibliothèque de copies papier à la maison. Peut-être d'autres personnes peuvent-elles me fournir des informations complémentaires à ce sujet.
Des idées ?