Aun a riesgo de crear una conceptualización demasiado rígida, sugiero que sería útil plantearse estas preguntas a la hora de considerar la pertinencia de una Evaluación de Evaluabilidad (EA): 1. Contexto institucional y físico: ¿Cuán numerosos y diversos son los lugares? 2. Diseño de la intervención: ¿Cuán numerosas y diversas son las intervenciones y sus interconexiones? 3. Demanda de las partes interesadas: ¿Cuán numerosos y diversos son los financiadores, los socios ejecutores y los grupos beneficiarios, y sus interconexiones? 4. Disponibilidad de datos: ¿Cuán numerosos y diversos son los sistemas de seguimiento y evaluación y sus interconexiones?
Respondiendo al post de Amy. 1. 1. Sí, los EA deben ser proporcionales a los costes probables de una evaluación. Estoy 100% de acuerdo. Ahora debería ser posible realizar alguna investigación histórica sobre las proporciones del pasado para hacernos una idea aproximada de los valores medios y medios. 2. Sí, al menos merece la pena pensar en una lista de control sobre la necesidad de una EA. Una indicación en este sentido es el comentario de que «algunas agencias de la ONU han desarrollado un enfoque que hace obligatoria la EA para programas con grandes presupuestos por encima de una cantidad determinada». Pero no es una correlación directa. Un programa grande y sencillo puede no necesitar una EA, es decir, uno con unos pocos objetivos e intervenciones sencillos y claros. ¿Se ajustaría un programa de inmunización a esta descripción? Pero, por regla general, creo que los programas de gran presupuesto tienden a ser más complejos en cuanto a objetivos, intervenciones, socios, partes interesadas y ubicación geográfica. Considérenlos como nodos de una red, cuantos más sean, más numerosos serán los vínculos causales posibles y reales, y los tipos y fuentes de información sobre lo que está ocurriendo. Si se va a elaborar una lista de control de las necesidades de EA, ¿quizás estas fuentes de complejidad podrían ser elementos a tener en cuenta?
Me gustaría añadir algo al importante punto de Svetlana: "es importante señalar que no todos los contextos son iguales y que no se puede asumir un nivel de preparación incuestionable para una evaluación en cualquier tipo y tamaño de intervención en cualquier contexto. En los contextos en evolución, es posible que algunos aspectos no se prioricen a tiempo y para satisfacer las necesidades de todos los implicados". Creo que este es especialmente el caso de los intereses de las partes interesadas en una evaluación: lo que quieren saber y lo que les preocupa. Es muy probable que éstos cambien con el tiempo.
1. «Todos los proyectos pueden y deben ser evaluados»
Sí, pero ¿CUÁNDO? Los retrasos recomendados por la EA pueden dar tiempo a que se resuelvan los problemas relacionados con los datos, la teoría y las partes interesadas y, por tanto, dar lugar a una evaluación más útil.
Sí, pero ¿CÓMO? Los enfoques deben ser proporcionales a los recursos, las capacidades y el contexto. Las EA pueden ayudar en este sentido
2. Re «Algunos diseños de proyectos son manifiestamente inevaluables, y algunos marcos de M&E son manifiestamente inadecuados a primera vista.» y su comentario de que.. «Estamos confundiendo la documentación del proyecto con la realidad del trabajo».
Sería una posición extrema argumentar que no habrá casos de buenas prácticas (como quiera que se definan) sobre el terreno en tales circunstancias (es decir, cuando hay diseños deficientes y marcos de seguimiento y evaluación deficientes).
Pero sería igualmente extremo sostener lo contrario, que el estado del diseño y la disponibilidad de datos no tienen relación alguna con los resultados sobre el terreno. Si se adopta esa postura, la decisión de evaluar es efectivamente una apuesta con el tiempo y los recursos de alguien.
En algún momento alguien tiene que decidir cuánto dinero gastar, cuándo y cómo. Las EA pueden ayudar a tomar esas decisiones
3. Re «¿Puede evaluarse el programa con una caja de herramientas estándar?» (que es en lo que corre el riesgo de convertirse la evaluabilidad) »
Me gustaría ver alguna prueba de esta afirmación.
Como contraprueba, al menos de la intención, le remito a este diagrama, de la guía de EA de la Agencia Austriaca de Desarrollo, y a la referencia a la naturaleza de rompecabezas de una EA, en el sentido de tener que encajar las diferentes necesidades y capacidades, en lugar de seguir cualquier modelo.
United Kingdom
Rick Davies
Evaluation Consultant
Publicado el 07/09/2024
Aun a riesgo de crear una conceptualización demasiado rígida, sugiero que sería útil plantearse estas preguntas a la hora de considerar la pertinencia de una Evaluación de Evaluabilidad (EA):
1. Contexto institucional y físico: ¿Cuán numerosos y diversos son los lugares?
2. Diseño de la intervención: ¿Cuán numerosas y diversas son las intervenciones y sus interconexiones?
3. Demanda de las partes interesadas: ¿Cuán numerosos y diversos son los financiadores, los socios ejecutores y los grupos beneficiarios, y sus interconexiones?
4. Disponibilidad de datos: ¿Cuán numerosos y diversos son los sistemas de seguimiento y evaluación y sus interconexiones?
United Kingdom
Rick Davies
Evaluation Consultant
Publicado el 04/09/2024
Respondiendo al post de Amy.
1. 1. Sí, los EA deben ser proporcionales a los costes probables de una evaluación. Estoy 100% de acuerdo. Ahora debería ser posible realizar alguna investigación histórica sobre las proporciones del pasado para hacernos una idea aproximada de los valores medios y medios.
2. Sí, al menos merece la pena pensar en una lista de control sobre la necesidad de una EA. Una indicación en este sentido es el comentario de que «algunas agencias de la ONU han desarrollado un enfoque que hace obligatoria la EA para programas con grandes presupuestos por encima de una cantidad determinada». Pero no es una correlación directa. Un programa grande y sencillo puede no necesitar una EA, es decir, uno con unos pocos objetivos e intervenciones sencillos y claros. ¿Se ajustaría un programa de inmunización a esta descripción? Pero, por regla general, creo que los programas de gran presupuesto tienden a ser más complejos en cuanto a objetivos, intervenciones, socios, partes interesadas y ubicación geográfica. Considérenlos como nodos de una red, cuantos más sean, más numerosos serán los vínculos causales posibles y reales, y los tipos y fuentes de información sobre lo que está ocurriendo. Si se va a elaborar una lista de control de las necesidades de EA, ¿quizás estas fuentes de complejidad podrían ser elementos a tener en cuenta?
United Kingdom
Rick Davies
Evaluation Consultant
Publicado el 10/08/2024
Hola a todos
Me gustaría añadir algo al importante punto de Svetlana: "es importante señalar que no todos los contextos son iguales y que no se puede asumir un nivel de preparación incuestionable para una evaluación en cualquier tipo y tamaño de intervención en cualquier contexto. En los contextos en evolución, es posible que algunos aspectos no se prioricen a tiempo y para satisfacer las necesidades de todos los implicados".
Creo que este es especialmente el caso de los intereses de las partes interesadas en una evaluación: lo que quieren saber y lo que les preocupa. Es muy probable que éstos cambien con el tiempo.
United Kingdom
Rick Davies
Evaluation Consultant
Publicado el 29/07/2024
Hola Silva
Permíteme abordar algunos de tus puntos
1. «Todos los proyectos pueden y deben ser evaluados»
Sí, pero ¿CUÁNDO? Los retrasos recomendados por la EA pueden dar tiempo a que se resuelvan los problemas relacionados con los datos, la teoría y las partes interesadas y, por tanto, dar lugar a una evaluación más útil.
Sí, pero ¿CÓMO? Los enfoques deben ser proporcionales a los recursos, las capacidades y el contexto. Las EA pueden ayudar en este sentido
2. Re «Algunos diseños de proyectos son manifiestamente inevaluables, y algunos marcos de M&E son manifiestamente inadecuados a primera vista.» y su comentario de que.. «Estamos confundiendo la documentación del proyecto con la realidad del trabajo».
Sería una posición extrema argumentar que no habrá casos de buenas prácticas (como quiera que se definan) sobre el terreno en tales circunstancias (es decir, cuando hay diseños deficientes y marcos de seguimiento y evaluación deficientes).
Pero sería igualmente extremo sostener lo contrario, que el estado del diseño y la disponibilidad de datos no tienen relación alguna con los resultados sobre el terreno. Si se adopta esa postura, la decisión de evaluar es efectivamente una apuesta con el tiempo y los recursos de alguien.
En algún momento alguien tiene que decidir cuánto dinero gastar, cuándo y cómo. Las EA pueden ayudar a tomar esas decisiones
3. Re «¿Puede evaluarse el programa con una caja de herramientas estándar?» (que es en lo que corre el riesgo de convertirse la evaluabilidad) »
Me gustaría ver alguna prueba de esta afirmación.
Como contraprueba, al menos de la intención, le remito a este diagrama, de la guía de EA de la Agencia Austriaca de Desarrollo, y a la referencia a la naturaleza de rompecabezas de una EA, en el sentido de tener que encajar las diferentes necesidades y capacidades, en lugar de seguir cualquier modelo.
saludos, rick