Estoy de acuerdo contigo [contribución de Rick Davies más abajo] en muchas cosas, y sí, es clave tener una visión realista de lo que una evaluación debe y puede hacer.
1.
Estoy de acuerdo. Y demasiadas evaluaciones van con el piloto automático (es decir, cortar y pegar una plantilla con pequeñas adaptaciones al final del proyecto). Sin duda, acojo con satisfacción la evaluabilidad como una oportunidad para ampliar las posibilidades, como sugerir evaluaciones en tiempo real, promover enfoques participativos o destacar cuestiones importantes que deben abordarse o prioridades que hay que atender. Pero seamos realistas: la mayoría de los documentos de evaluabilidad que he visto comprueban si el programa ha recogido indicadores preestablecidos en un marco lógico/teoría del cambio acordado y exigen comprobar qué criterios OCDE⁄DAC pueden evaluarse. La Agencia Austriaca de Desarrollo tiene puntos interesantes sobre la utilidad de la evaluación tal y como la perciben las diferentes partes interesadas - pero luego falta el anexo :-( (¿todavía es un documento de trabajo?)
Sueño con un documento de evaluabilidad que ofrezca un catálogo de posibilidades en lugar de limitarse a los enfoques convencionales. Debería sugerir que es posible una evaluación del desarrollo, por ejemplo, en lugar de pedir teorías del cambio preestablecidas. De lo contrario, la evaluabilidad ahogará la innovación en lugar de promoverla.
2.
Por supuesto, debemos gastar los recursos de evaluación con sensatez. Y, por supuesto, un buen análisis de evaluabilidad puede dar lugar a evaluaciones más eficientes (y muchos gestores de evaluación ya son buenos en eso).
Pensando en la relación coste-eficacia.... ¿realmente podemos justificar gastar mucho dinero para entender sólo si un programa puede evaluarse sin aportar ningún aprendizaje adicional? No lo descarto, y sí, puede ser útil.
Pero, en el caso de los programas adecuados, es posible realizar una evaluación por fases en la que la primera valore el programa y aporte algún aprendizaje preliminar mientras se comprenden las mejores opciones para las fases siguientes. Por supuesto, se necesita un evaluador o un equipo que conozca diferentes metodologías, sea adaptable y esté cerca de la dirección, pero es muy posible hacerlo. Una evaluación por fases no siempre será adecuada, pero es una posibilidad real que puede quedar eclipsada por los enfoques convencionales de evaluabilidad.
3.
Como he escrito antes, la lista de control confirma una concepción muy convencional de un programa. Reitero aquí que trabajé en programas que no tenían un marco lógico, ni establecían indicadores y líneas de base (piénsese, por ejemplo, en modelos de trabajo en evolución), y en los que la evaluación ayudó a sistematizar enfoques. Esos programas sencillamente no habrían pasado las listas de control propuestas. Y en qué medida podrían haber llegado a partes interesadas importantes que sólo se identificaron a través de la bola de nieve. Sí. Me refiero a casos especiales, ya que suelo trabajar más a nivel de base y en proyectos innovadores. Pero estos son los que corren más riesgo de pasar desapercibidos para una interpretación convencional de la evaluabilidad.
Así que veo cómo la evaluabilidad, tal y como está, puede funcionar para proyectos grandes y relativamente estandarizados. Pero tal y como está ahora, aún se queda corta para convertirse en una posibilidad de enfoques novedosos y de liberar ideas y posibilidades, algo que nuestro sector necesita urgentemente.
RE: Evaluability Assessments: An invitation to reflect and discuss
Italy
Silva Ferretti
Freelance consultant
Publicado el 04/08/2024
Estoy de acuerdo contigo [contribución de Rick Davies más abajo] en muchas cosas, y sí, es clave tener una visión realista de lo que una evaluación debe y puede hacer.
1.
Estoy de acuerdo. Y demasiadas evaluaciones van con el piloto automático (es decir, cortar y pegar una plantilla con pequeñas adaptaciones al final del proyecto). Sin duda, acojo con satisfacción la evaluabilidad como una oportunidad para ampliar las posibilidades, como sugerir evaluaciones en tiempo real, promover enfoques participativos o destacar cuestiones importantes que deben abordarse o prioridades que hay que atender. Pero seamos realistas: la mayoría de los documentos de evaluabilidad que he visto comprueban si el programa ha recogido indicadores preestablecidos en un marco lógico/teoría del cambio acordado y exigen comprobar qué criterios OCDE⁄DAC pueden evaluarse. La Agencia Austriaca de Desarrollo tiene puntos interesantes sobre la utilidad de la evaluación tal y como la perciben las diferentes partes interesadas - pero luego falta el anexo :-( (¿todavía es un documento de trabajo?)
Sueño con un documento de evaluabilidad que ofrezca un catálogo de posibilidades en lugar de limitarse a los enfoques convencionales. Debería sugerir que es posible una evaluación del desarrollo, por ejemplo, en lugar de pedir teorías del cambio preestablecidas. De lo contrario, la evaluabilidad ahogará la innovación en lugar de promoverla.
2.
Por supuesto, debemos gastar los recursos de evaluación con sensatez. Y, por supuesto, un buen análisis de evaluabilidad puede dar lugar a evaluaciones más eficientes (y muchos gestores de evaluación ya son buenos en eso).
Pensando en la relación coste-eficacia.... ¿realmente podemos justificar gastar mucho dinero para entender sólo si un programa puede evaluarse sin aportar ningún aprendizaje adicional? No lo descarto, y sí, puede ser útil.
Pero, en el caso de los programas adecuados, es posible realizar una evaluación por fases en la que la primera valore el programa y aporte algún aprendizaje preliminar mientras se comprenden las mejores opciones para las fases siguientes. Por supuesto, se necesita un evaluador o un equipo que conozca diferentes metodologías, sea adaptable y esté cerca de la dirección, pero es muy posible hacerlo. Una evaluación por fases no siempre será adecuada, pero es una posibilidad real que puede quedar eclipsada por los enfoques convencionales de evaluabilidad.
3.
Como he escrito antes, la lista de control confirma una concepción muy convencional de un programa. Reitero aquí que trabajé en programas que no tenían un marco lógico, ni establecían indicadores y líneas de base (piénsese, por ejemplo, en modelos de trabajo en evolución), y en los que la evaluación ayudó a sistematizar enfoques. Esos programas sencillamente no habrían pasado las listas de control propuestas. Y en qué medida podrían haber llegado a partes interesadas importantes que sólo se identificaron a través de la bola de nieve. Sí. Me refiero a casos especiales, ya que suelo trabajar más a nivel de base y en proyectos innovadores. Pero estos son los que corren más riesgo de pasar desapercibidos para una interpretación convencional de la evaluabilidad.
Así que veo cómo la evaluabilidad, tal y como está, puede funcionar para proyectos grandes y relativamente estandarizados. Pero tal y como está ahora, aún se queda corta para convertirse en una posibilidad de enfoques novedosos y de liberar ideas y posibilidades, algo que nuestro sector necesita urgentemente.