Amy et tous... Je pense donc qu'il faut faire la différence entre ce qui est évaluable en termes d'objectifs de l'évaluation (le délai d'exposition exclut généralement certains projets parce que nous avons constaté qu'il faut vraiment regarder 3 à 5 ans après la clôture et si cela fait plus de sept ans, c'est difficile à évaluer, et nous avons également constaté que les projets que nous avons mis en œuvre le plus longtemps avaient une plus grande probabilité de durabilité des résultats et des impacts émergents), et nous devons également examiner la qualité des données d'évaluation (par exemple, pas seulement les formations dispensées, mais aussi ce à quoi les participants ont été formés ? Y a-t-il eu un changement de connaissances ou de comportement à la suite de l'évaluation finale? De cette façon, nous pourrons évaluer les changements à court terme). L'évaluation de l'évaluabilité dépend donc de l'objectif de l'évaluation, qui diffère de la manière dont nous évaluons. Dans le cas des évaluations ex post, nous voulons nous assurer que les partenaires et les participants sont toujours là pour être interrogés (j'en ai fait une 15 ans plus tard après la clôture en Ouganda et les professeurs qui formaient les enseignants à l'université pédagogique étaient là, mais tout le personnel du ministère avait changé, et les enseignants et les étudiants locaux étaient partis depuis longtemps).
Oui, dans nos évaluations, j'exige moi aussi que nous soyons présents sur le terrain pour évaluer avec les parties prenantes locales, les partenaires aux niveaux national et régional, les villageois, les dirigeants locaux, et tout cela est participatif.
Oui, nous utilisons des entretiens avec des groupes de discussion, des entretiens avec des informateurs clés, des promenades sur des transects, de nombreux outils participatifs tels que décrits dans cette boîte à outils sur laquelle nous avons travaillé (qui vient d'être publiée, veuillez la commenter : 🔗 https://lnkd.in/gyfu_K_3 🌟 Faites part des vos commentaires et propositions à l'adresse af-terg-sec@adaptation-fund.org).
En ce qui concerne la question des parties prenantes qui créent l'évaluation avec nous : nous avons demandé aux populations locales si elles souhaitaient que nous évaluions leur projet pour leur donner des réponses qu'elles aimeraient apprendre... mais à plusieurs reprises, nous n'avons pas obtenu de réponses. Ils nous regardent plutôt confus car, je pense, ils vivent simplement leur vie et ils voient le projet comme une contribution à leur vie, une parmi d'autres, alors que lorsque nous essayons d'isoler le projet et ses résultats en soi, c'est très étrange pour les gens ;).
J'espère que cela vous aidera !
Jindra Čekan/ová PhD Www.ValuingVoices.com and Jindracekan.com
Tout le monde, oui, comme l'a dit Gaia : "Les évaluations de l'évaluabilité permettent de déterminer si un projet est prêt à être évalué. Il s'agit notamment d'examiner la clarté et la mesurabilité des objectifs, la solidité des plans de collecte de données, la disponibilité des données de référence, etc. Je suis étonné du nombre de projets qui ne sont pas évaluables (grâce aux évaluations de l'évaluabilité qui nous le montrent), ce qui constitue une débâcle évitable en matière de données. Par exemple, en 2022, nous avons partagé notre processus d'évaluation ex-post et 4 études de cas au Fonds d'adaptation (en anglais). Sur la diapositive 8, nous constatons que seuls 20 % des projets étaient évaluables sur la base des critères que nous avions définis, notamment le fait d'avoir été fermés pendant au moins 3 ans mais pas plus de 7 ans, l'existence de bonnes données à évaluer (faisabilité méthodologique) et les possibilités d'apprentissage entre les secteurs, les zones géographiques, etc.
Tout le monde, heureux de voir que ce sujet est discuté. En 2017, nous avons obtenu une subvention du Faster Forward Fund de Michael Scriven pour examiner 8 études ex post. Voici le blog sur notre rapport, lié : https://www.betterevaluation.org/tools-resources/building-evidence-base… (anglais).
Dans le cadre de ce travail, nous avons créé des listes de contrôle de l'évaluabilité que nous avons adaptées et utilisées au cours des sept dernières années dans de nombreuses études ex post que nous avons réalisées, y compris celles-ci pour le Fonds d'adaptation https://www.adaptation-fund.org/about/evaluation/publications/evaluatio… (en anglais).
"Par la force de votre paix intérieure, vous devenez la force qui change tout."
- Thích Nhất Hạnh
"L'espoir n'est pas la conviction que quelque chose va bien se passer, mais la certitude que cela vaut la peine d'être fait, quelle qu'en soit l'issue." - Vaclav Havel
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Posté le 21/08/2024
Amy et tous...
Je pense donc qu'il faut faire la différence entre ce qui est évaluable en termes d'objectifs de l'évaluation (le délai d'exposition exclut généralement certains projets parce que nous avons constaté qu'il faut vraiment regarder 3 à 5 ans après la clôture et si cela fait plus de sept ans, c'est difficile à évaluer, et nous avons également constaté que les projets que nous avons mis en œuvre le plus longtemps avaient une plus grande probabilité de durabilité des résultats et des impacts émergents), et nous devons également examiner la qualité des données d'évaluation (par exemple, pas seulement les formations dispensées, mais aussi ce à quoi les participants ont été formés ? Y a-t-il eu un changement de connaissances ou de comportement à la suite de l'évaluation finale? De cette façon, nous pourrons évaluer les changements à court terme).
L'évaluation de l'évaluabilité dépend donc de l'objectif de l'évaluation, qui diffère de la manière dont nous évaluons. Dans le cas des évaluations ex post, nous voulons nous assurer que les partenaires et les participants sont toujours là pour être interrogés (j'en ai fait une 15 ans plus tard après la clôture en Ouganda et les professeurs qui formaient les enseignants à l'université pédagogique étaient là, mais tout le personnel du ministère avait changé, et les enseignants et les étudiants locaux étaient partis depuis longtemps).
Oui, dans nos évaluations, j'exige moi aussi que nous soyons présents sur le terrain pour évaluer avec les parties prenantes locales, les partenaires aux niveaux national et régional, les villageois, les dirigeants locaux, et tout cela est participatif.
Oui, nous utilisons des entretiens avec des groupes de discussion, des entretiens avec des informateurs clés, des promenades sur des transects, de nombreux outils participatifs tels que décrits dans cette boîte à outils sur laquelle nous avons travaillé (qui vient d'être publiée, veuillez la commenter : 🔗 https://lnkd.in/gyfu_K_3 🌟 Faites part des vos commentaires et propositions à l'adresse af-terg-sec@adaptation-fund.org).
En ce qui concerne la question des parties prenantes qui créent l'évaluation avec nous : nous avons demandé aux populations locales si elles souhaitaient que nous évaluions leur projet pour leur donner des réponses qu'elles aimeraient apprendre... mais à plusieurs reprises, nous n'avons pas obtenu de réponses. Ils nous regardent plutôt confus car, je pense, ils vivent simplement leur vie et ils voient le projet comme une contribution à leur vie, une parmi d'autres, alors que lorsque nous essayons d'isoler le projet et ses résultats en soi, c'est très étrange pour les gens ;).
J'espère que cela vous aidera !
Jindra Čekan/ová PhD
Www.ValuingVoices.com and Jindracekan.com
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Posté le 13/08/2024
Tout le monde, oui, comme l'a dit Gaia : "Les évaluations de l'évaluabilité permettent de déterminer si un projet est prêt à être évalué. Il s'agit notamment d'examiner la clarté et la mesurabilité des objectifs, la solidité des plans de collecte de données, la disponibilité des données de référence, etc. Je suis étonné du nombre de projets qui ne sont pas évaluables (grâce aux évaluations de l'évaluabilité qui nous le montrent), ce qui constitue une débâcle évitable en matière de données. Par exemple, en 2022, nous avons partagé notre processus d'évaluation ex-post et 4 études de cas au Fonds d'adaptation (en anglais). Sur la diapositive 8, nous constatons que seuls 20 % des projets étaient évaluables sur la base des critères que nous avions définis, notamment le fait d'avoir été fermés pendant au moins 3 ans mais pas plus de 7 ans, l'existence de bonnes données à évaluer (faisabilité méthodologique) et les possibilités d'apprentissage entre les secteurs, les zones géographiques, etc.
Chaleureusement, Jindra
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Posté le 12/08/2024
Tout le monde, heureux de voir que ce sujet est discuté. En 2017, nous avons obtenu une subvention du Faster Forward Fund de Michael Scriven pour examiner 8 études ex post. Voici le blog sur notre rapport, lié : https://www.betterevaluation.org/tools-resources/building-evidence-base… (anglais).
Dans le cadre de ce travail, nous avons créé des listes de contrôle de l'évaluabilité que nous avons adaptées et utilisées au cours des sept dernières années dans de nombreuses études ex post que nous avons réalisées, y compris celles-ci pour le Fonds d'adaptation https://www.adaptation-fund.org/about/evaluation/publications/evaluatio… (en anglais).
J'espère que ces listes de contrôle vous seront utiles. https://valuingvoices.com/wp-content/uploads/2017/08/Valuing-Voices-Che… (en anglais)
Chaleureusement, Jindra
"Par la force de votre paix intérieure, vous devenez la force qui change tout."
- Thích Nhất Hạnh
"L'espoir n'est pas la conviction que quelque chose va bien se passer, mais la certitude que cela vaut la peine d'être fait, quelle qu'en soit l'issue." - Vaclav Havel