Utilizar la teoría del cambio como una herramienta poderosa para la evaluación

Según Leeuw y Donaldson (2015), a lo largo de los años han surgido diferentes teorías de evaluación que han transformado esta disciplina de una forma u otra. Utilizar un enfoque de evaluación definido es fundamental para comprender plenamente los entresijos de esta práctica. Una forma de entender los problemas sociales complejos es emplear un enfoque de evaluación de base teórica. INTRAC (2017) sostiene que “una evaluación de base teórica suele fundamentarse en una teoría del cambio (TdC) o un modelo lógico (ML) claro, que explica la teoría de una intervención o un conjunto de intervenciones de desarrollo”. A medida que fui perfeccionando mis habilidades de evaluación, desarrollé un interés en el uso de las TdC, en especial cuando utilizo un enfoque de base teórica como fundamento para conocer y comprender aquello que evalúo. Proporciona información muy valiosa sobre el objeto de la evaluación a lo largo de su ciclo. Por lo tanto, el objetivo de este artículo es dar a conocer la utilización de las TdC como herramienta poderosa para ayudar a los evaluadores a desentrañar aquello que evalúan y explicar cómo funcionó un programa/proyecto/política y en base a qué hipótesis o condiciones tuvo éxito o fracasó.

Sin embargo, por sí solo, el enfoque de base teórica no puede evaluar exhaustivamente en qué medida ha funcionado una intervención determinada y en qué contexto. Según mi experiencia y, como afirman los pioneros del enfoque de la evaluación realista, “los programas encarnan teorías” (Pawson y Tilley 2004, p. 3). Por tanto, otros enfoques de evaluación deben complementar el enfoque de base teórica para extraer conclusiones plausibles de los resultados de una evaluación. Tilley (2000) sostuvo que las teorías de intervención son polifacéticas y están influenciadas por numerosas opciones que guían su conceptualización e implementación en diferentes contextos. Dado que las teorías nunca son suficientemente claras para revelar los mecanismos en los que se basan las hipótesis para examinar la relación entre los diferentes elementos de un programa y probar hipótesis sobre cómo, para quién y en qué circunstancias funcionó o no, es necesario seguir trabajando. Profundizar en la validación de las TdC es fundamental para medir la teoría de un programa y la teoría de la implementación. Y así poder determinar qué condiciones e hipótesis influyen en los participantes de un programa para que respondan a la intervención e impulsen cambios sociales complejos.

Anderson (2005) sostiene que una TdC es una herramienta adecuada que ayuda a crear soluciones a problemas sociales complejos. Describe cómo se espera que se produzcan los cambios; valora las hipótesis para que estos ocurran; describe las vías a través de las cuales se pueden alcanzar los resultados de un programa a corto, medio y largo plazo; y documenta los cambios a medida que se producen. Asimismo, una TdC contribuye a establecer vínculos e hipótesis causales para comprender mejor los desafíos que pueden obstaculizar el logro de los cambios previstos y generar conocimientos compartidos entre todas las partes interesadas sobre las intervenciones de un programa y sus objetivos. Diseñar una TdC de manera participativa facilita un entendimiento común, fomenta el sentido de apropiación y estimula la motivación de los participantes de un programa para contribuir a los efectos a largo plazo (Harries, Hodgson y Noble, 2014). Según AECF (2022), “una teoría del cambio puede hacer referencia a creencias e hipótesis sobre cómo se producirá un cambio deseado o se alcanzará un objetivo” (AECF 2022, p. 2). A lo largo de los años, las TdC se han convertido en una herramienta vital para el desarrollo de programas, ya que constituyen la base de la planificación estratégica, el seguimiento y la evaluación de los programas sociales y medioambientales (Belcher, Bonaiuti y Thiele, 2024). Continúan surgiendo nuevas ideas e innovaciones, que empoderan a los profesionales de la evaluación para comprender la amplitud y profundidad de los programas sociales complejos.

Enseñanzas adquiridas

Participación de las partes interesadas en la evaluación

1. Seleccionar a las partes interesadas es muy importante: conocer su experiencia, creencias, percepciones, actitudes, convicciones y opiniones sobre el programa es crucial para saber por qué funcionó o no. Son una verdadera fuente de conocimientos para diseñar una TdC exhaustiva.
2. Definir el papel que desempeñan las partes interesadas en la evaluación es fundamental para su planificación. Orienta la elaboración de perfiles de las partes interesadas para conocer mejor su contribución al programa, evaluar aquello que se atribuye a los cambios observados y realizar una valoración sólida de los resultados del programa. También aclara las condiciones e hipótesis de las intervenciones del programa para impulsar los cambios sociales esperados.
3. Extraer enseñanzas de las partes interesadas y reflexionar con ellas ayuda a recopilar los resultados de las evaluaciones de programas sociales y medioambientales complejos. Al final de una evaluación se recomienda validar los resultados con las partes interesadas para su aceptación y apropiación. Así como para poder replicar la intervención en otros contextos si ha sido exitosa, o, en caso contrario, refutar las hipótesis que impidieron que se produjera el cambio esperado, a fin de rediseñar el programa.

• Recientemente he evaluado un programa que no tenía una TdC, ni tampoco un ML. Aun así, con la contribución de las principales partes interesadas —principalmente miembros ejecutivos y responsables de diferentes comités— pude seguir la intervención, apreciar la teoría del programa e inferir la teoría de implementación para diseñar una representación gráfica de la intervención con hipótesis y factores claros que influyeron en la forma en que se produjeron los cambios. Al final de la evaluación, el grupo pudo tener su primer informe de evaluación con una TdC y un ML. Tanto la TdC como el ML fueron validados con/por los beneficiarios del proyecto durante el taller de validación de las partes interesadas. De hecho, los responsables del programa están en mejores condiciones para adoptar medidas correctivas en ámbitos en los que el programa ha tenido resultados deficientes y rediseñar este a fin de mejorarlo.

 Métodos de recopilación de datos y TdC

1. Grupos de discusión. Este método es muy útil cuando un programa no tiene una TdC. Constituye una base sólida para diseñar una TdC. También contribuye a comprender el “por qué” de la “teoría del programa” al construir y validar el “cómo” de la “teoría de la implementación”. Ambos aclaran la TdC y evidencian el ML con una descripción clara de cómo encaja el programa a partir de los insumos, los productos, los resultados y el impacto.
2. Examen de documentos. Este método de recopilación de datos es fundamental para desglosar la lista de actividades realizadas y relacionarlas con los productos, los resultados y el impacto, a fin de comprender cómo se produjeron los cambios. Tanto la TdC como el ML evidencian la lógica que sustenta el programa, constituyendo así la herramienta principal para el seguimiento y evaluación de un programa.

• Los grupos de discusión y el examen de documentos son una forma excelente de recopilar datos cualitativos para su análisis posterior. También ofrecen oportunidades para indagar más a fondo en los procesos de planificación, seguimiento e implementación de una intervención, a fin de validar la teoría que la guio. Una evaluación de resultados de un programa complejo en Côte d'Ivoire reveló que contar con una TdC al comienzo de este fue fundamental para elaborar una nota sobre los mecanismos que explican los cambios observados, hacer llegar a los participantes los recursos o insumos necesarios y documentar los procesos relacionando las actividades con los productos y posteriormente con los resultados. Escuchar a quienes están sobre el terreno y se oponen a la planificación del proyecto continúa siendo clave para el éxito de este.

Referencias

AECF (African Enterprise Challenge Fund). (2022). Developing a Theory of Change: Practical guide. [Disponible en línea]: aecf-theoryofchange-guidance-2022.pdf

Anderson, A.A. (2005). The Community Builders’ Approach to theory of Change: A practical guide to theory development. The Aspen Institute Roundtable on Community Change. [Disponible en línea]: TOCI-final3.indd

Belcher, B.M, Bonaiuti, E. y Thiele, B. (2024). Applying Theory of Change in research program planning: Lessons from CGIAR. Environmental Science and Policy. Vol160. 103850, [Disponible en línea]: https://doi.org/10.1016/j.envsci.2024.103850

Harries, E., Hodgson, L. y Noble J. (2014). Creating Your Theory of Change: Introduction to Theory of Change. [Disponible en línea]: Center for Theory of Change - Theory of Change Community 

INTRAC. (2017). Different types of Evaluations. [Disponible en línea]: https://www.intrac.org/

Pawson, R. y Tilley, N. (2004). Realistic Evaluation. London. Sage Publications.

Tilley, N. (2000). Realistic Evaluation: An overview. Nottingham Trent University. [Disponible en línea]: https://www.researchgate.net/publication/252160435_Realistic_Evaluation_An_Overview