Nearly 25 years of experience in the international development sector as an evaluator, manager, technical advisor and educator working in partnership with donors, governments and civil society organizations in Asia, Africa and the Middle East on development effectiveness and quality programming and policies. Deeply interested in co-creative and evaluative processes that support self-determination and development that is sustainable for both people and planet. MA degree in sustainable development, and PhD candidate in interdisciplinary evaluation studies at Western Michigan University.
Amy's development evaluation experience includes serving as:
• Doctoral Candidate, Western Michigan University, Interdisciplinary PhD program in Evaluation. Completion of degree anticipated in 2024. Research interests include meta-evaluation, and the professionalization and internationalization of evaluation.
• Assistant Professor at SIT Graduate Institute in Washington DC, designing and teaching both graduate level theory and practice-based courses on evaluation in Washington DC, India and Jordan;
• Independent evaluator since 1997 advising international agencies and donors on social development issues and programming. Clients include FCDO, ILO, USDOL, UNDP, CGIAR, Rockefeller Foundation, and Adaptation Fund.
• Internal evaluator as Deputy Director of Quality Programming from 2008-2012 in Bangkok leading international team effort to develop M&E framework for Hewlett Packard’s flagship global entrepreneurship education program.
Active member of EvalPartners (member of EVALSDG group)
Active member of AEA (member of the International Working Group)
Managerial experience in directly negotiating with and reporting to bilateral donors (USPRM, CIDA, SDC, GIZ, AusAID), multilateral (UNICEF, World Bank), and corporate (HP, Adidas, Deutsche Bank); in coordinating with military bodies (KFOR, Kosovo); and in partnering with civil society organizations (Cambodia, Laos, Thailand, China, and India).
In-country work and living experience in Bangladesh, Cambodia, China, Japan, Kosovo, Lao PDR, Thailand, and USA; additional work experience in Egypt, Ethiopia, India, Israel, Jordan, Kenya, Nepal, Philippines, Sri Lanka, Turkey, Uganda, and Vietnam.
Mandarin Chinese proficiency; basic to intermediate skills in French, Khmer, Lao, Spanish and Thai.
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 13/06/2023
Merci, Svetlana, de m'avoir donné l'occasion de participer à cette discussion. Je réponds à deux de vos questions ci-dessous.
Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?
Les lignes directrices semblent répondre aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance grâce à un cadre flexible et bien documenté. Je ne suis pas certain qu'un seul critère d'évaluation permette de saisir l'essence de la recherche et du développement. Je pense que la réponse se trouve dans la réflexion sur son application dans les divers exercices d'évaluation à venir au CGIAR, ainsi que dans la réflexion sur l'expérience organisationnelle antérieure. Cela peut impliquer d'identifier comment il est interprété dans différents contextes, et si un développement plus poussé des critères recommandés peut être envisagé pour une éventuelle deuxième version des lignes directrices.
Comment le CGIAR peut-il soutenir le déploiement des lignes directrices avec la communauté de l'évaluation et les organisations partageant les mêmes idées ?
Je suis d'accord avec d'autres personnes pour dire que des ateliers et/ou des formations sur les lignes directrices pourraient être un moyen de diffuser les lignes directrices et de s'engager avec la communauté de l'évaluation. Il serait productif de mettre l'accent sur la flexibilité des lignes directrices et de favoriser la réflexion sur leur utilisation dans différents contextes organisationnels.
Conformément à ma réponse à la première question ci-dessus, je suggérerais qu'un exercice de méta-évaluation soit réalisé lorsque les organisations auront acquis une plus grande expérience dans l'application des lignes directrices. L'intérêt pour le GCRAI serait évident et pourrait conduire à une deuxième version améliorée. Il serait également très utile à la communauté de l'évaluation, le CGIAR jouant un rôle important dans la facilitation de l'apprentissage continu par l'utilisation de la méta-évaluation - ce que le théoricien de l'évaluation Michael Scriven a appelé un effort scientifique et moral important pour le domaine de l'évaluation.
À la Western Michigan University, nous sommes engagés dans une étude de synthèse sur la pratique de la méta-évaluation sur une période de 50 ans. Nous avons trouvé de nombreux exemples de méta-évaluation de systèmes d'évaluation dans différents contextes. Nous pensions que très peu de méta-évaluations étaient effectuées et nous avons été surpris de constater qu'il existe de nombreux exemples intéressants dans la littérature grise et universitaire. La documentation de ces travaux de méta-évaluation renforcerait encore les lignes directrices et leur applicabilité et apporterait une valeur ajoutée significative à l'engagement continu avec la communauté internationale de l'évaluation.
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 13/09/2024
Merci à tous pour ce dialogue intéressant et engageant sur les évaluations de l'évaluabilité. Nous vous invitons à revenir bientôt pour consulter un excellent résumé de notre discussion, rédigé par Gaia Gullotta du CGIAR. Il sera disponible en anglais, en espagnol et en français.
À votre santé !
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 04/09/2024
Merci beaucoup, Rick, pour vos commentaires. Il serait intéressant d'examiner de telles données historiques sur les ratios passés. Et oui, la taille du budget peut être l'un des éléments d'une liste de contrôle considérée comme une approximation de la complexité, mais je suis d'accord, elle ne devrait pas être la seule à représenter la complexité, pour la raison que vous avez soulignée. Votre suggestion de représenter les nœuds d'un réseau me semble logique. Plus les liens de causalité et les sources de données possibles sont nombreux, plus le score est élevé, ce qui peut alors conduire à une décision « oui » sur une EE.
Une telle liste de contrôle pourrait peut-être aussi aider à cibler une EE, ou inclure un ensemble d'éléments de suivi permettant d'explorer initialement les quatre domaines principaux décrits dans le diagramme en puzzle que vous avez partagé ci-dessous - https://mande.co.uk/wp-content/uploads/2022/05/Austria-diagram.png (contexte institutionnel et physique, conception de l'intervention, demande des parties prenantes et disponibilité des données). Une telle liste de contrôle, si nécessaire, peut alors non seulement guider la décision de réaliser ou non une EE, mais aussi aider à cibler l'EE et ses domaines prioritaires, ce qui en fait un exercice plus rentable et mieux ciblé.
J'aimerais connaître l'avis d'autres membres de ce groupe de discussion qui gèrent des évaluations/EE. Comment décidez-vous dans votre organisation de réaliser ou non une EE ? Et comment les décisions sont-elles prises quant à la manière de cibler une EE ?
Cordialement, Amy
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 03/09/2024
Merci à tous pour votre participation. Le pour et le contre des évaluations de l'évaluabilité (EE) ont fait l'objet de nombreuses réflexions, avec des points de vue très tranchés de part et d'autre du débat. En tant que groupe, nous avons des expériences variées en matière d'EE, certains d'entre nous ayant mis en œuvre des EE, d'autres non, et certains d'entre nous ayant lu des rapports, d'autres non. Et nous avons des points de vue très différents, allant de la perception de ces évaluations comme une utilisation non nécessaire de ressources limitées en matière de suivi et d'évaluation à l'identification d'avantages spécifiques pour leur utilisation dans la planification et l'optimisation des résultats d'une évaluation.
Nous conclurons cette discussion d'ici le 10 septembre. D'ici là, j'aimerais vous inviter à réfléchir davantage sur la question de savoir quand mettre en œuvre une évaluation de l'évaluabilité et quand ne pas le faire - la question du coût-bénéfice et de l'avantage perçu par les parties prenantes, en rapport avec les questions 1 et 2 ci-dessus. Je dirais que les EE doivent être proportionnelles au coût d'une évaluation ultérieure, à la fois pour une bonne utilisation des ressources financières et pour assurer l'adhésion des parties prenantes. Quelqu'un a-t-il des idées à apporter à ce sujet, à la fois en termes de proportions réelles et/ou de politique organisationnelle en matière d'EE sur le moment et la manière dont elles devraient être mises en œuvre ? Je connais certaines agences des Nations Unies qui ont développé une approche visant à rendre les EE obligatoires pour les programmes dont les budgets dépassent un certain montant. Il me semble qu'en plus d'une liste de contrôle pour la mise en œuvre d'une EE, qui fournit des concepts importants sur lesquels réfléchir et se pencher, une liste de contrôle pour savoir s'il faut mettre en œuvre une EE pourrait également être utile en fournissant des éléments à prendre en compte pour décider si une EE est applicable et/ou faisable.
Meilleures salutations, Amy
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 23/08/2024
Bonjour à tous,
Je suis d'accord avec l'argument selon lequel l'application rigide d'un outil, quel qu'il soit, n'aboutit probablement pas à un résultat positif. Il peut s'agir de l'application rigide des théories du changement, une approche surutilisée qui est devenue synonyme de « faire » de l'évaluation, mais qui n'est toujours pas utilisée de manière optimale dans la plupart des rapports d'évaluation que je lis. Ou encore la survalorisation des essais contrôlés randomisés (ECR) sur la base d'intérêts idéologiques. Ou encore l'application rigide des critères du CAD de l'OCDE sur la base d'un paradigme attendu. Il existe des voies d'accès attendues à la « connaissance » dans notre domaine qui contribuent à cette rigidité, en particulier lorsqu'elles sont appliquées de manière mécaniste, et leur surutilisation peut en effet perpétuer la nature bureaucratique de nos systèmes établis. Je suis entièrement d'accord avec les points soulevés par Dahler-Larsen et Raimondo à Copenhague, il y a plusieurs années, lors de la conférence EES.
Cependant, je dirais également que tout outil, tel qu'une évaluation de l'évaluabilité, ne devrait pas être rejeté sur la base de cet argument. Je pense qu'il serait plus utile de réfléchir au moment et à la manière dont les évaluations de l'évaluabilité pourraient être les plus utiles. D'après mon expérience, les évaluations de l'évaluabilité peuvent en effet être un outil permettant de rompre avec l'évaluation mécaniste et les systèmes bureaucratiques - et oui, une tentative de rompre la domination de l'évaluation par la direction - en définissant mieux un objectif significatif et utile pour une évaluation. Ou encore la décision de ne pas procéder à une évaluation sur la base de ses conclusions. Je pense que le défi se situe au niveau de l'organisation, avec l'intérêt inévitable de normaliser et de créer des normes pour son utilisation dans des réalités complexes.
Cordialement, Amy
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 19/08/2024
Merci beaucoup, Jindra, d'avoir partagé votre expérience et les liens utiles ci-dessous. J'ai lu avec intérêt votre liste de contrôle des évaluations de l'évaluabilité pour les évaluations ex ante. Votre expérience selon laquelle très peu de programmes disposent de données suffisantes trouve un écho. J'aimerais savoir si vous avez une réflexion sur la réception et l'utilisation des résultats de l'évaluation de l'évaluabilité par les parties prenantes sur la base de votre expérience (question 3 ci-dessus).
Cordialement, Amy
United States of America
Amy Jersild
PhD Candidate and evaluation consultant
Western Michigan University
Posté le 04/08/2024
Chers tous,
Merci pour votre participation active et vos commentaires ! Je les lis et j'y réfléchis au fur et à mesure qu'ils me parviennent. Je réponds maintenant à Dreni-Mi et à Daniel, et je me réjouis de poursuivre la discussion.
Chère Dreni-Mi,
Merci beaucoup pour votre message. Vous avez donné une bonne vue d'ensemble des différentes phases d'une évaluation de l'évaluabilité, une justification de sa mise en œuvre et de ses avantages. Il existe plusieurs étapes d'évaluation de l'évaluabilité décrites dans la littérature sur l'évaluation, toutes quelque peu liées mais mettant l'accent sur des aspects ou des valeurs différents, et avec une catégorisation légèrement différente. Les 8 étapes de Wholey me viennent à l'esprit, ainsi que les 4 étapes de Trevisan et Walser. L'accent que vous mettez sur le rapport coût-efficacité et la préparation d'une évaluation de qualité résonne, je pense, dans toutes les approches.
L'un des enseignements que nous avons tirés des évaluations de l'évaluabilité au CGIAR l'année dernière est la valeur d'un cadre (liste de contrôle) à utiliser et la nécessité de faire preuve de souplesse dans sa mise en œuvre. La nature en puzzle des évaluations de l'évaluabilité, dont Rick Davies a parlé dans un autre article, me semble être une façon particulièrement utile d'envisager les évaluations de l'évaluabilité comme un moyen de rassembler les différentes pièces d'une approche mieux adaptée à un certain contexte. Définir clairement les objectifs d'une évaluation de l'évaluabilité et répondre à des besoins spécifiques permet d'utiliser le cadre de manière plus efficace, en apportant plus de souplesse et de nuance au processus.
Cher Daniel,
Je vous remercie pour vos commentaires. Je vais répondre à quelques-uns d'entre eux. Je suis tout à fait d'accord pour dire que les évaluateurs devraient être assis à la table de conception du projet. D'après mon expérience, la participation des évaluateurs et leur capacité à faciliter la réflexion évaluative entre collègues contribuent généralement à améliorer l'évaluabilité d'une intervention. Elle peut également faciliter le développement d'un suivi solide et d'une planification de l'évaluation, ainsi que la capacité d'utiliser les données générées par ces processus et d'en tirer des enseignements. Un tel rôle élargit ce qui est généralement compris, dans certains cercles en tout cas, de ce que sont les évaluateurs et de ce qu'ils font, ce que j'apprécie vraiment en termes de soutien à la professionnalisation de notre domaine.
Dans sa troisième édition du Thésaurus de l'évaluation, Michael Scriven fait référence au concept de "falsifiabilité" du philosophe Karl Popper lorsqu'il aborde la question de l'évaluabilité. Ce concept renvoie à l'idée qu'il devrait toujours être possible de prouver qu'une théorie, une hypothèse ou une déclaration est erronée. Pour qu'un évaluateur (selon la définition de Scriven de ce qui doit être évalué - un programme, un projet, du personnel, une politique, etc.) soit évaluable, je comprends qu'il soit considéré comme falsifiable dans la mesure où il est conçu, développé ou construit de manière à ce que des preuves puissent être générées comme "preuves" de sa valeur.
La connotation religieuse de la référence de Scriven à un premier commandement vise certainement à donner de l'importance au concept. L'évaluabilité en tant que "premier commandement de la responsabilité" m'apparaît comme un dû, une justification et, en fin de compte, une responsabilité. Scriven note que la faible évaluabilité a un prix élevé en termes de coûts supportés. "On ne peut pas apprendre par essais et erreurs s'il n'y a pas de moyen clair d'identifier les erreurs. Et "Il ne suffit pas de pouvoir expliquer comment on a dépensé l'argent, il faut aussi pouvoir le justifier en termes de résultats obtenus" (p. 1).
Je pense que Scriven traite plus en détail de l'évaluabilité dans sa 4e édition. Je suis en voyage et je n'ai pas accès à ma bibliothèque de copies papier à la maison. Peut-être d'autres personnes peuvent-elles me fournir des informations complémentaires à ce sujet.
Des idées ?