Amy y todos Creo que tenemos que diferenciar entre lo que es evaluable en términos de los objetivos de la evaluación (el plazo de exposición suele excluir algunos proyectos porque hemos descubierto que realmente tenemos que mirar de 3 a 5 años después del cierre y si han pasado más de siete años, entonces es difícil de evaluar, y también hemos descubierto que los proyectos que ejecutamos durante más tiempo tenían una mayor probabilidad de sostenibilidad de los resultados e impactos emergentes), además tenemos que mirar la calidad de los datos de evaluación, (por ejemplo, no sólo las formaciones impartidas, sino ¿en qué se formó a los participantes? ¿Hubo algún cambio de conocimientos o de comportamiento como resultado en la evaluación final para que pudiéramos evaluar los cambios a posteriori?) Por lo tanto, la evaluación de la evaluabilidad depende del objetivo de la evaluación, que es diferente de cómo evaluamos. En el caso de las evaluaciones ex post, queremos asegurarnos de que los socios y los participantes siguen estando presentes para poder preguntarles (hice una 15 años después del cierre en Uganda y los profesores que formaban a los maestros en la Universidad pedagógica estaban allí, pero todo el personal del ministerio había cambiado, y los maestros y estudiantes locales hacía tiempo que se habían marchado).
Sí, yo también insisto en que nuestras evaluaciones deben realizarse sobre el terreno, con las partes interesadas locales, los socios a nivel nacional y regional, los habitantes de las aldeas, los líderes locales, y todo ello es un proceso participativo.
Sí, utilizamos entrevistas con grupos focales, entrevistas con informantes clave, recorridos transectoriales, muchas herramientas participativas, como se indica en este conjunto de herramientas en el que hemos trabajado (acaba de salir, por favor, coméntalo: 🔗 https://lnkd.in/gyfu_K_3 🌟 Comparte tus comentarios y sugerencias a través de af-terg-sec@adaptation-fund.org).
En cuanto a la cuestión de que las partes interesadas creen la evaluación con nosotros: hemos preguntado a la población local si les gustaría que evaluáramos su proyecto para darles respuestas que les gustaría aprender... pero repetidamente no hemos obtenido respuesta. Nos miran bastante confusos porque, creo, simplemente están viviendo sus vidas y ven el proyecto como una aportación a sus vidas, una de tantas, mientras que cuando intentamos aislar el proyecto y sus resultados en sí mismo es muy extraño para la gente ;).
Espero que esto ayude.
Jindra Čekan/ová PhD Www.ValuingVoices.com and Jindracekan.com
Todos, es así, como dijo Gaia: "Las evaluaciones de evaluabilidad valoran específicamente si un proyecto está listo para ser evaluado. Esto incluye revisar la claridad y mensurabilidad de los objetivos, la solidez de los planes de recopilación de datos, la disponibilidad de datos de referencia, etc.". Me asombra la cantidad de proyectos de todo el espectro del desarrollo que no se pueden evaluar (gracias a las evaluaciones de evaluabilidad que nos lo muestran), lo que supone una debacle de datos evitable. Por ejemplo, en 2022 compartimos nuestro proceso de evaluación ex post y 4 estudios de caso en el Fondo de Adaptación (en inglés). En la diapositiva 8, observamos que sólo el 20% de los proyectos eran evaluables en base a los criterios que establecimos, que incluían estar cerrados al menos 3 años pero no más de 7, que hubiera buenos datos para evaluar (viabilidad metodológica), y que ofreciera oportunidades de aprendizaje entre sectores/geografías, etc.
A todos, me alegra ver que se habla de esto. En 2017 conseguimos una subvención del Faster Forward Fund de Michael Scriven para analizar 8 estudios ex post. Aquí está el blog sobre nuestro informe, enlazado: https://www.betterevaluation.org/tools-resources/building-evidence-base… (en inglés).
Como parte de ese trabajo, creamos listas de verificación de evaluabilidad que hemos adaptado y utilizado los últimos 7 años en muchos estudios ex post que hemos realizado, incluidos estos para el Fondo de Adaptación https://www.adaptation-fund.org/about/evaluation/publications/evaluatio… (en inglés).
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Publicado el 21/08/2024
Amy y todos
Creo que tenemos que diferenciar entre lo que es evaluable en términos de los objetivos de la evaluación (el plazo de exposición suele excluir algunos proyectos porque hemos descubierto que realmente tenemos que mirar de 3 a 5 años después del cierre y si han pasado más de siete años, entonces es difícil de evaluar, y también hemos descubierto que los proyectos que ejecutamos durante más tiempo tenían una mayor probabilidad de sostenibilidad de los resultados e impactos emergentes), además tenemos que mirar la calidad de los datos de evaluación, (por ejemplo, no sólo las formaciones impartidas, sino ¿en qué se formó a los participantes? ¿Hubo algún cambio de conocimientos o de comportamiento como resultado en la evaluación final para que pudiéramos evaluar los cambios a posteriori?)
Por lo tanto, la evaluación de la evaluabilidad depende del objetivo de la evaluación, que es diferente de cómo evaluamos. En el caso de las evaluaciones ex post, queremos asegurarnos de que los socios y los participantes siguen estando presentes para poder preguntarles (hice una 15 años después del cierre en Uganda y los profesores que formaban a los maestros en la Universidad pedagógica estaban allí, pero todo el personal del ministerio había cambiado, y los maestros y estudiantes locales hacía tiempo que se habían marchado).
Sí, yo también insisto en que nuestras evaluaciones deben realizarse sobre el terreno, con las partes interesadas locales, los socios a nivel nacional y regional, los habitantes de las aldeas, los líderes locales, y todo ello es un proceso participativo.
Sí, utilizamos entrevistas con grupos focales, entrevistas con informantes clave, recorridos transectoriales, muchas herramientas participativas, como se indica en este conjunto de herramientas en el que hemos trabajado (acaba de salir, por favor, coméntalo: 🔗 https://lnkd.in/gyfu_K_3 🌟 Comparte tus comentarios y sugerencias a través de af-terg-sec@adaptation-fund.org).
En cuanto a la cuestión de que las partes interesadas creen la evaluación con nosotros: hemos preguntado a la población local si les gustaría que evaluáramos su proyecto para darles respuestas que les gustaría aprender... pero repetidamente no hemos obtenido respuesta. Nos miran bastante confusos porque, creo, simplemente están viviendo sus vidas y ven el proyecto como una aportación a sus vidas, una de tantas, mientras que cuando intentamos aislar el proyecto y sus resultados en sí mismo es muy extraño para la gente ;).
Espero que esto ayude.
Jindra Čekan/ová PhD
Www.ValuingVoices.com and Jindracekan.com
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Publicado el 13/08/2024
Todos, es así, como dijo Gaia: "Las evaluaciones de evaluabilidad valoran específicamente si un proyecto está listo para ser evaluado. Esto incluye revisar la claridad y mensurabilidad de los objetivos, la solidez de los planes de recopilación de datos, la disponibilidad de datos de referencia, etc.". Me asombra la cantidad de proyectos de todo el espectro del desarrollo que no se pueden evaluar (gracias a las evaluaciones de evaluabilidad que nos lo muestran), lo que supone una debacle de datos evitable. Por ejemplo, en 2022 compartimos nuestro proceso de evaluación ex post y 4 estudios de caso en el Fondo de Adaptación (en inglés). En la diapositiva 8, observamos que sólo el 20% de los proyectos eran evaluables en base a los criterios que establecimos, que incluían estar cerrados al menos 3 años pero no más de 7, que hubiera buenos datos para evaluar (viabilidad metodológica), y que ofreciera oportunidades de aprendizaje entre sectores/geografías, etc.
Cordialmente, Jindra
Czechia
Jindra Cekan
Founder
Valuing Voices at Cekan Consulting LLC
Publicado el 12/08/2024
A todos, me alegra ver que se habla de esto. En 2017 conseguimos una subvención del Faster Forward Fund de Michael Scriven para analizar 8 estudios ex post. Aquí está el blog sobre nuestro informe, enlazado: https://www.betterevaluation.org/tools-resources/building-evidence-base… (en inglés).
Como parte de ese trabajo, creamos listas de verificación de evaluabilidad que hemos adaptado y utilizado los últimos 7 años en muchos estudios ex post que hemos realizado, incluidos estos para el Fondo de Adaptación https://www.adaptation-fund.org/about/evaluation/publications/evaluatio… (en inglés).
Espero que estas listas sean útiles. https://valuingvoices.com/wp-content/uploads/2017/08/Valuing-Voices-Che… (en inglés)
Atentamente, Jindra
"Por el poder de tu paz interior, te conviertes en la fuerza que lo cambia todo".
- Thích Nhất Hạnh
"La esperanza no es la convicción de que algo saldrá bien, sino la certeza de que vale la pena hacerlo, independientemente de cómo resulte".
- Vaclav Havel