Conocimientos indígenas, experiencias y valor de las evidencias
En Sudáfrica existen numerosas evidencias que acreditan progresos relevantes. Se adoptan estrategias, se asignan presupuestos, los programas llegan a sus beneficiarios, se construyen infraestructuras y los informes anuales documentan avances en relación con los objetivos establecidos. Sin embargo, las comunidades suelen describir una realidad muy distinta.
Un programa de empoderamiento económico de las mujeres puede dar cuenta de la capacitación de miles de participantes. Sin embargo, muchas de ellas pueden seguir sin acceso a la tierra, la financiación o los mercados, careciendo además del tiempo necesario para generar medios de vida sostenibles, ya que el trabajo de cuidado no remunerado sigue recayendo de forma desproporcionada sobre ellas.
Un proyecto de abastecimiento de agua y saneamiento puede darse por finalizado, aunque los habitantes rurales sigan recorriendo largas distancias para conseguir agua porque la infraestructura carece de un mantenimiento adecuado o el suministro es irregular.
Un programa ambiental puede dar cuenta de la superficie restaurada, el número de árboles plantados o las comunidades consultadas, sin determinar si los ecosistemas se están recuperando, los medios de vida locales se han fortalecido o las comunidades ejercen una influencia real sobre la gestión de los recursos naturales.
Una carretera rural puede considerarse concluida, aunque quede intransitable tras un episodio de fuertes lluvias, aislando a la población de las escuelas, los centros de salud y los mercados.
En conjunto, estos ejemplos ponen de manifiesto un mismo patrón: las intervenciones pueden alcanzar sus objetivos formales sin cambiar las condiciones que las motivaron.
Gran parte de mi trabajo en materia de seguimiento, evaluación, investigación, aprendizaje y rendición de cuentas está relacionado con esta contradicción. De hecho, me ha llevado en repetidas ocasiones a formularme a una pregunta, aparentemente sencilla, aunque con implicaciones políticas profundas: ¿quién tiene la potestad para definir el progreso?
La evaluación suele comenzar con un plan aprobado. Analizamos si las actividades se ejecutaron según lo previsto, si se obtuvieron los productos esperados y si se alcanzaron los resultados previstos. Tiene sentido. Las instituciones públicas y las organizaciones de desarrollo deben rendir cuentas del uso de los recursos, el cumplimiento de sus compromisos y los resultados obtenidos. Sin embargo, una evaluación puede concluir que un programa se ejecutó conforme a lo planificado sin llegar a determinar si transformó la vida de las personas de una manera que ellas mismas consideren significativa.
¿Qué entendemos por evidencias?
Cuando lo medible adquiere más importancia que aquello que realmente importa, las evidencias institucionales pueden terminar prevaleciendo sobre las experiencias como referencia para comprender el progreso. Los resultados de una evaluación pueden indicar que un programa ha alcanzado los objetivos previstos, mientras que las personas directamente afectadas pueden describir una realidad muy distinta. La cuestión no solo radica en la existencia de evidencias, sino también en qué tipos se consideran legítimos y creíbles y qué perspectivas perfilan las conclusiones finales de la evaluación.
No creo que la respuesta consista en rechazar los indicadores formales, los datos administrativos o los métodos técnicos de evaluación. El desafío reside en combinarlos con otras formas de conocimiento.
Los sistemas de conocimiento indígenas y locales no se limitan a aportar contexto o matices locales a la evaluación. También pueden cuestionar la manera en que se define el cambio, los criterios utilizados para valorar el progreso y aquello que se reconoce como evidencia válida. Cuando hablo de conocimientos indígenas y locales, no hago referencia a un saber estático, idealizado o ajeno a la ciencia, la tecnología o la vida contemporánea. Más bien se trata de formas de conocimiento arraigadas localmente, mediante las cuales las personas observan patrones, interpretan las perturbaciones, recuerdan condiciones anteriores y deciden cómo responder. Estos conocimientos pueden transmitirse a través del lenguaje, la historia oral, la memoria colectiva, las relaciones, la práctica recurrente y la atención minuciosa a los cambios sociales y ecológicos.
También es importante evitar concebir la comunidad como un grupo homogéneo que comparte un único cuerpo de conocimientos. Un agricultor de edad avanzada puede interpretar los cambios en las precipitaciones en base a décadas de experiencia acumulada en la gestión de los cultivos. Una mujer responsable de la producción de alimentos y del cuidado del hogar puede advertir que una nueva práctica agrícola incrementa el tiempo necesario para recoger agua, preparar la comida o atender las labores agrícolas. Por su parte, los jóvenes pueden identificar cambios en la tecnología, los mercados o las aspiraciones que las generaciones mayores interpretan de manera distinta. Estas perspectivas no son necesariamente contradictorias; con frecuencia se complementan y, en conjunto, revelan cómo una misma intervención puede generar costes y beneficios diferentes para distintos grupos de población.
Lo que las comunidades ven y los indicadores pasan por alto
En contextos rurales y agrícolas, un programa puede medir el número de agricultores capacitados, la cantidad de insumos distribuidos o la superficie cultivada. Estos indicadores proporcionan información valiosa sobre la implementación y los resultados. Sin embargo, no muestran necesariamente si una variedad de semillas mantiene su rendimiento en las condiciones locales a lo largo de varias temporadas, si una fuente de agua es cada vez menos fiable, si los hogares disponen de alimentos suficientes durante el período entre cultivos o si una práctica agrícola seguirá siendo viable una vez concluya la financiación y el apoyo técnico. Tampoco permiten apreciar si las mejoras aparentes en la productividad se han logrado a costa de aumentar la carga de trabajo no remunerado de las mujeres.
En cambio, las comunidades suelen reconocer los cambios a partir de señales que rara vez figuran en un marco de resultados. Los agricultores pueden detectar cambios en los patrones de precipitación gracias a su experiencia, advertir transformaciones en las poblaciones de insectos o en la cobertura vegetal, identificar el comportamiento de determinadas variedades de semillas, evaluar el estado de los pastizales o constatar durante cuánto tiempo hay agua después de las lluvias. Estas observaciones pueden parecer anecdóticas si se consideran de forma aislada. Sin embargo, cuando se interpretan conjuntamente y se analizan a lo largo del tiempo, revelan tendencias y dinámicas que un ciclo de proyecto de corta duración o una encuesta periódica difícilmente pueden captar.
Los conocimientos indígenas y locales son mucho más que una fuente adicional de evidencias. Pueden revelar que una evaluación se centra en un horizonte temporal erróneo, consulta a personas equivocadas o interpreta un resultado como prueba de éxito cuando no lo es tal. Un programa evaluado inmediatamente después de su implementación puede parecer eficaz; sin embargo, las comunidades suelen valorarlo a la luz de su experiencia con las estaciones secas, las cosechas fallidas, las intervenciones anteriores y su capacidad para adaptarse sin apoyo externo.
Estos conocimientos no sustituyen las evidencias científicas, administrativas o programáticas, ni debe aceptarse de forma acrítica por el mero hecho de ser locales. Su valor reside en combinarlos con diferentes sistemas de evidencias. Al hacerlo, puede complementar las evidencias formales, cuestionar sus hipótesis, detectar señales tempranas de cambio y, en ocasiones, conducir a conclusiones diferentes de las que se obtendrían si la evaluación se basara únicamente en indicadores convencionales.
De la recopilación de evidencias al uso de estas
Estas cuestiones también condicionan el uso de las evaluaciones y la influencia que —en última instancia— llegan a ejercer. A menudo se da por sentado que una evaluación será útil porque el informe es riguroso, las recomendaciones son claras y está bien presentada. Sin embargo, en la práctica, es mucho más probable que las evidencias influyan en las decisiones cuando los destinatarios de la evaluación reconocen en esta sus propias preguntas, realidades y conocimientos.
A mi juicio, ello no exige reinventar la evaluación. Los enfoques participativos, reflexivos y orientados al uso están ya bien consolidados. El verdadero desafío consiste en aplicarlos de manera sistemática y coherente, garantizar que sus resultados tengan una mayor influencia en la toma de decisiones y evitar que se conviertan en meros ejercicios procedimentales.
Tres cambios para mejorar la evaluación
¿Cómo se traduce esto en la práctica? Creo que implica tres cambios en la forma en que diseñamos, interpretamos y utilizamos la evaluación. El primero consiste en definir el progreso junto con las personas, en lugar de hacerlo únicamente para ellas.
En primer lugar, el progreso debe definirse de manera participativa desde el inicio del proceso. Aunque la participación de las partes interesadas es una práctica habitual, habitualmente comienza cuando los resultados del programa, las preguntas de evaluación y los indicadores ya se han definido. En esas circunstancias, las comunidades pueden ser consultadas para proporcionar información sin que hayan tenido una influencia significativa en lo que la evaluación considera un éxito. Su participación debería comenzar lo suficientemente pronto como para dar forma a los cambios que se están examinando y a las evidencias que les convencerían de que una intervención está funcionando. Las medidas definidas por las propias comunidades pueden complementar los indicadores formales, poner de manifiesto dimensiones del cambio que suelen pasar desapercibidas y revelar daños o desigualdades que permanecen ocultos tras los valores promedio.
En segundo lugar, la interpretación se debe considerar como parte del proceso de generación de evidencias, y no como una simple etapa final de validación. Los equipos de evaluación, los gestores de programas y las comunidades pueden interpretar un mismo resultado de maneras diferentes porque experimentan la intervención desde posiciones distintas. Los procesos estructurados de reflexión y validación deberían crear un espacio no solo para confirmar los hallazgos, sino también para explorar las discrepancias, comprender el contexto y contrastar explicaciones alternativas. Las diferencias de interpretación no constituyen necesariamente un problema que deba resolverse; pueden ser en sí mismas una fuente valiosa de evidencias sobre cómo distintos actores experimentan el poder, los beneficios y el progreso.
En tercer lugar, la evaluación debe vincularse de manera más deliberada a la toma de decisiones. Aunque muchas evaluaciones identifican a sus destinatarios previstos y formulan recomendaciones, con demasiada frecuencia se da por sentado que las evidencias se utilizarán simplemente porque se ha elaborado un informe, se ha organizado un taller de difusión o se ha emitido una respuesta formal de la dirección. Sin embargo, un informe no constituye una evidencia del uso de una evaluación. Este se produce cuando los resultados modifican un presupuesto, reestructuran una intervención, cuestionan una hipótesis, fortalecen la acción comunitaria o llevan a una institución a abandonar prácticas que no funcionan. Para ello, es necesario comprender qué necesitan los distintos usuarios para tomar decisiones, aportar evidencias en el momento en que se adoptan estas y hacer un seguimiento de lo que sucede una vez que se aceptan las recomendaciones.
Estos cambios no restan rigor a la evaluación. La refuerzan al basarse en una gama más amplia de pruebas y perspectivas. La triangulación se refuerza al reunir registros administrativos, resultados cuantitativos, relatos cualitativos, conocimientos de la comunidad y observación contextual. La evaluación cobra mayor relevancia cuando la definición de éxito refleja a las personas cuyas vidas se están evaluando, y es más influyente cuando las pruebas se generan a través de las relaciones, en lugar de extraerse y presentarse al final del proceso.
Estos cambios no reducen el rigor de la evaluación. Por el contrario, lo fortalecen, ya que amplían las fuentes de evidencias y perspectivas en que se basa. La triangulación se enriquece al integrar registros administrativos, datos cuantitativos, evidencias cualitativas, conocimientos de las comunidades y observación contextual. La evaluación adquiere mayor relevancia cuando la definición de éxito incorpora las perspectivas de las personas cuyas vidas pretende mejorar. Y ejerce una mayor influencia cuando las evidencias se generan por medio de las relaciones, en lugar de extraerse y presentarse únicamente al final del proceso.
El progreso no debería limitarse a los informes. Debería reflejarse en las instituciones, las relaciones, los entornos y la vida cotidiana. Y, por encima de todo, debería ser reconocido por las personas a las que el desarrollo aspira a beneficiar.
Cuando las comunidades experimentan una realidad distinta de la que describen las instituciones, la evaluación no debería minimizar esa discrepancia. Debería ayudarnos a comprenderla.