Gracias Amy y a los demás por este interesante hilo.
Hemos participado en muchas evaluaciones de evaluabilidad (EA) para diferentes organizaciones: instituciones financieras internacionales, organismos de la ONU, ONG y el sector privado. Estoy de acuerdo con Rick en que la complejidad, más que el tamaño de la inversión, es lo más importante en cuanto al valor de la EA. Las instituciones con un mandato y unos procedimientos operativos claros, y a menudo un menú de indicadores de rendimiento y directrices, no suelen necesitar una EA.
Las más útiles con las que hemos trabajado se refieren a proyectos de desarrollo complejos, en los que los resultados esperados pueden ser emergentes, con indicadores de proceso, producto y resultado. Otro proceso útil para las evaluaciones de impacto es cuando la capacidad de seguimiento y evaluación del equipo de ejecución es limitada y no están seguros de cómo medir lo que se indica en el diseño. Por lo tanto, se trata del valor incremental de la EA y también de la inversión del coste en relación con el beneficio (dos ejemplos recientes a continuación).
El primero, un programa muy complejo de gestión de recursos naturales que llegaba a sus últimos años y abarcaba resultados políticos, institucionales y físicos. El equipo de ejecución se dio cuenta de que no sabían cómo medir todos los resultados finales: habían supuesto que un equipo de evaluación de impacto produciría todos los datos necesarios, pero no tenían presupuesto para el alcance de la recopilación de datos requerida. Hicimos una evaluación de impacto (muy tardía) y descubrimos que el equipo necesitaba reconstruir una serie de datos brutos de ejecución para poder hacer un seguimiento de los resultados: un trabajo ingente. Si hubieran contado con una evaluación de impacto y con el desarrollo de capacidades en una fase más temprana del programa, habrían estado en una posición mucho más fuerte y los costes para resolver los problemas habrían sido mucho menores.
Otro fue un complejo proyecto para jóvenes y población indígena, a punto de comenzar, que requería un enfoque culturalmente sensible de los indicadores y los procesos de seguimiento. Esa EA se llevó a cabo de forma muy participativa (poco costosa) y se diseñó para implicar a los participantes en formas seguras y apropiadas de registrar datos que demostraran niveles de progreso y aprendizaje que sirvieran para mejorar el diseño en fases posteriores de la ejecución. Los costes de la inversión de tiempo inicial en la EA cosecharon enormes beneficios tanto para los resultados del programa como para su evaluación.
También me gusta la idea de los nodos de toma de decisiones para decidir si es necesaria o no una EA. Gracias de nuevo por todos los puntos planteados.
RE: Evaluability Assessments: An invitation to reflect and discuss
Australia
DOROTHY LUCKS
EXECUTIVE DIRECTOR
SDF GLOBAL PTY LTD
Publicado el 06/09/2024
Gracias Amy y a los demás por este interesante hilo.
Hemos participado en muchas evaluaciones de evaluabilidad (EA) para diferentes organizaciones: instituciones financieras internacionales, organismos de la ONU, ONG y el sector privado. Estoy de acuerdo con Rick en que la complejidad, más que el tamaño de la inversión, es lo más importante en cuanto al valor de la EA. Las instituciones con un mandato y unos procedimientos operativos claros, y a menudo un menú de indicadores de rendimiento y directrices, no suelen necesitar una EA.
Las más útiles con las que hemos trabajado se refieren a proyectos de desarrollo complejos, en los que los resultados esperados pueden ser emergentes, con indicadores de proceso, producto y resultado. Otro proceso útil para las evaluaciones de impacto es cuando la capacidad de seguimiento y evaluación del equipo de ejecución es limitada y no están seguros de cómo medir lo que se indica en el diseño. Por lo tanto, se trata del valor incremental de la EA y también de la inversión del coste en relación con el beneficio (dos ejemplos recientes a continuación).
El primero, un programa muy complejo de gestión de recursos naturales que llegaba a sus últimos años y abarcaba resultados políticos, institucionales y físicos. El equipo de ejecución se dio cuenta de que no sabían cómo medir todos los resultados finales: habían supuesto que un equipo de evaluación de impacto produciría todos los datos necesarios, pero no tenían presupuesto para el alcance de la recopilación de datos requerida. Hicimos una evaluación de impacto (muy tardía) y descubrimos que el equipo necesitaba reconstruir una serie de datos brutos de ejecución para poder hacer un seguimiento de los resultados: un trabajo ingente. Si hubieran contado con una evaluación de impacto y con el desarrollo de capacidades en una fase más temprana del programa, habrían estado en una posición mucho más fuerte y los costes para resolver los problemas habrían sido mucho menores.
Otro fue un complejo proyecto para jóvenes y población indígena, a punto de comenzar, que requería un enfoque culturalmente sensible de los indicadores y los procesos de seguimiento. Esa EA se llevó a cabo de forma muy participativa (poco costosa) y se diseñó para implicar a los participantes en formas seguras y apropiadas de registrar datos que demostraran niveles de progreso y aprendizaje que sirvieran para mejorar el diseño en fases posteriores de la ejecución. Los costes de la inversión de tiempo inicial en la EA cosecharon enormes beneficios tanto para los resultados del programa como para su evaluación.
También me gusta la idea de los nodos de toma de decisiones para decidir si es necesaria o no una EA. Gracias de nuevo por todos los puntos planteados.