Stephanie Jill Hodge Member since 02/04/2025

My contributions

• Discussion

  Evaluation under pressure : Strengthening evidence use, accountability and learning amidst funding constraints (Joint EvalforEarth-ALNAP discussion)

  09 Oct 2026
  • 

    United States of America

    Stephanie Jill Hodge

    Publicado el 21/10/2026

    El debate de la semana 1 coincide con mi experiencia, sobre todo en lo que respecta a la tensión entre el cumplimiento normativo y el aprendizaje. Para mí, el poder está presente en ambos. ¿Quién define las preguntas? ¿Quién controla el acceso a las pruebas? ¿Qué explicación tiene más peso? ¿Y quién tiene la autoridad para actuar en función de los resultados?
    La lección práctica más importante que he aprendido es la necesidad de dedicar muchos esfuerzos a comprender la situación real desde el principio. La fase inicial es un trabajo de evaluación de fondo. Si la historia institucional subyacente aún no está clara, hay que negociar más tiempo antes de fijar las preguntas y los métodos. Ante las restricciones presupuestarias, tenemos aún menos margen para dedicar los escasos recursos a responder a las preguntas equivocadas.
    En una evaluación de un fondo con múltiples donantes, la estructura incluía un órgano rector, una secretaría técnica, una función de gestión del fondo auspiciada por la ONU, organizaciones ejecutoras y contrapartes nacionales. La ejecución se llevaba a cabo mediante subvenciones e intermediarios. El liderazgo, el control sobre los recursos, las responsabilidades de ejecución y la rendición de cuentas formal recaían en distintos organismos.
    No bastaba con leer el organigrama. Las preguntas importantes se referían a cómo funcionaban esos mecanismos en la práctica: quién podía aprobar o retrasar una decisión, quién era responsable de la ejecución y cuánta influencia podían ejercer las contrapartes nacionales a través de las organizaciones intermediarias.
    Desde el inicio, hice de la gobernanza, las alianzas y la apropiación áreas explícitas de investigación. La revisión documental y los testimonios de las partes interesadas me ayudaron a examinar las tensiones entre la garantía fiduciaria y la flexibilidad operativa, y entre la apropiación nacional formal y la organización práctica de la ejecución. Durante el análisis, distinguí estas cuestiones estructurales de las deficiencias en la ejecución. De lo contrario, las conclusiones podrían haberse reducido fácilmente a «problemas de coordinación» sin explicar qué era necesario cambiar.
    Esa distinción se mantuvo en el informe final. Incorporé las conclusiones a la evaluación de la gobernanza, las alianzas y la sostenibilidad, incluidas las responsabilidades futuras. También distinguí las pruebas de las actividades y los resultados de las pruebas de los beneficios a más largo plazo. El fortalecimiento institucional y la preparación para la inversión eran importantes, pero no demostraban automáticamente resultados en materia de resiliencia.
    La lección es comprender la historia subyacente lo suficientemente bien como para ponerla a prueba. La fase inicial debe generar una explicación bien fundamentada y una investigación creíble, al tiempo que deja margen para que las pruebas posteriores puedan refutar nuestra comprensión inicial. No debe convertirse en una búsqueda indefinida de certeza.
    Otro ejemplo proviene del diseño de mecanismos de seguimiento para una alianza nacional en materia de medio ambiente en la que participan organismos gubernamentales, entidades financiadoras y socios técnicos, y cuya ejecución se prevé a través de proyectos liderados por los organismos. En este caso, distinguí los resultados a nivel de programa del seguimiento a nivel de organismo y de proyecto, y vinculé el marco a los sistemas existentes. Esto proporciona una base práctica para reducir la duplicación y aclarar quién debe recopilar qué datos.
    Sin embargo, la recomendación de «utilizar las pruebas existentes» requiere una matización. Los sistemas administrativos recogen lo que las instituciones están obligadas a comunicar y están capacitadas para informar. Es posible que nos revelen mucho menos sobre las prioridades de los propietarios tradicionales de la tierra, la influencia de las mujeres en las decisiones o la experiencia de las comunidades ante el cambio. Reutilizar los datos puede suponer un ahorro económico, pero al mismo tiempo reproduce las brechas en cuanto a qué experiencias se tienen en cuenta.
    Para la semana 2, sugeriría, por tanto:

    • Proteger el trabajo de diagnóstico inicial. Estudiar la historia institucional, las modalidades de financiación, las relaciones en la toma de decisiones y los datos existentes antes de fijar el alcance.
    • Negociar un número menor de preguntas trascendentales. Acordar qué decisiones debe fundamentar la evaluación y qué datos requieren dichas decisiones.
    • Utilizar la evidencia existente de forma crítica. Evaluar su calidad, cobertura y omisiones antes de decidir en qué ámbitos es imprescindible recabar datos adicionales.
    • Preservar las oportunidades para cuestionar las interpretaciones. La rendición de cuentas ante la comunidad requiere algo más que recabar testimonios; las personas necesitan oportunidades significativas para cuestionar cómo se representa su experiencia.
    • Vincular las recomendaciones a la autoridad competente. Distinguir entre lo que la dirección puede cambiar y lo que requiere decisiones de los órganos de gobierno o de los donantes.

    Lo que no funciona es mantener un alcance amplio mientras se reduce silenciosamente la evidencia necesaria para respaldarlo. Tampoco debemos dar por sentado que un evaluador puede resolver los desequilibrios de poder institucionales simplemente documentándolos.
    Nuestro propio poder también merece un escrutinio. Elegimos las fuentes, interpretamos los desacuerdos y decidimos qué se incluye en el informe final. Esa responsabilidad comienza desde el inicio. Una comprensión apresurada puede condicionar toda la evaluación, por muy pulido que esté el producto final. Dedicar el tiempo suficiente a comprender la situación es una de las formas más prácticas que conozco para proteger tanto la utilidad como la credibilidad de la evaluación cuando se trabaja bajo presión.

    Stephanie Jill Hodge - Máster en Administración Pública (MPA) por Harvard (2006); Máster (MA) por la UEA (1997); Licenciatura en Educación (B.Ed.) Licenciatura en Educación Física (B.PE) por la MUN (1987)

    Skype: shodge1_3

    Teléfono: 1- 917 480 7247

    Perfil de LinkedIn: Stephanie Jill Hodge

    Leer en una página aparte
• Discussion

  From Hindsight to Foresight: How Evaluation Can Become Future-Informed

  23 Mar 2026
  • 

    United States of America

    Stephanie Jill Hodge

    Publicado el 29/04/2026

    De la retrospectiva a la prospectiva: cómo la evaluación vuelve a ser útil

    Reflexiones desde el interior de sistemas que no se mantienen estables el tiempo suficiente como para ser evaluados

    Existe una tensión silenciosa en el núcleo de la mayor parte del trabajo de evaluación, y si has pasado algún tiempo dentro de programas complejos relacionados con el medio ambiente o el clima, la percibes casi de inmediato. Nos han formado —cuidadosamente, con rigor— para mirar hacia atrás. Para evaluar qué se ha logrado, qué ha funcionado, qué no, y si se ha cumplido lo prometido inicialmente. Y, sin embargo, los sistemas en los que trabajamos —sistemas alimentarios, adaptación al cambio climático, gobernanza de la biodiversidad, economías circulares— no se mantienen lo suficientemente estables como para que esa mirada retrospectiva siga siendo relevante.

    En mi propio trabajo en carteras vinculadas al Fondo para el Medio Ambiente Mundial y sistemas paralelos, he visto cómo esta tensión se repite una y otra vez. Las preguntas formales —pertinencia, eficacia, eficiencia, sostenibilidad— siguen siendo las mismas. Pero el mundo que se supone que deben interpretar no deja de cambiar a su alrededor.

    Tomemos como ejemplo el programa ISLANDS del Programa de las Naciones Unidas para el Medio Ambiente (PNUMA) y el FMAM en catorce pequeños Estados insulares en desarrollo (PEID) del Pacífico. Sobre el papel, estaba haciendo lo que decía que haría. Se estaban instalando infraestructuras —sistemas para gestionar contaminantes orgánicos persistentes, mercurio, residuos electrónicos y aceite usado—. Se redactaron políticas. Se establecieron mecanismos de coordinación. Si uno se ceñía al marco tradicional, la evaluación podía confirmar el cumplimiento.

    Pero cuando se da un paso atrás y se observa el sistema tal y como funciona realmente, la pregunta cambia. Ya no se trata tanto de si se obtuvieron los resultados, sino de si el sistema que se está construyendo seguirá funcionando cuando cambien las condiciones —lo cual, inevitablemente, sucederá—. El turismo fluctúa. El margen fiscal se reduce. Las crisis climáticas perturban las infraestructuras y las cadenas de suministro. En ese contexto, la verdadera pregunta que se planteaban los responsables de la toma de decisiones no era «¿funcionó esto?», sino «¿se mantendrá esto?».

    Esa pregunta queda fuera de la evaluación retrospectiva a menos que se la incluya deliberadamente.

    El mismo patrón se observó en el trabajo sobre economía circular con el Banco Asiático de Desarrollo y el FMAM en todo el sudeste asiático. Estábamos analizando sistemas del tipo de responsabilidad ampliada del productor: preparación de políticas, acuerdos institucionales, implementación piloto. Todos los ingredientes adecuados. Pero, de nuevo, la fragilidad no estaba en el diseño. Estaba en las condiciones futuras en las que ese diseño tendría que funcionar. Las fluctuaciones de los precios de las materias primas, los ciclos de aplicación de la normativa, los cambios políticos: no son casos extremos. Son el entorno operativo. Y, sin embargo, rara vez ocupan un lugar central en el diseño de la evaluación.

    Incluso en los primeros trabajos de diseño y evaluación de proyectos del FMAM, incluido el asesoramiento a nivel de los PIF en colaboración con la Organización de las Naciones Unidas para la Alimentación y la Agricultura, la Teoría del Cambio seguía una lógica familiar y reconfortante: los resultados conducen a la capacidad, la capacidad conduce a una mejor gestión, y una mejor gestión conduce a resultados medioambientales. Es clara. Es lógica. También es, en la mayoría de los casos, incompleta. Porque da por sentado un entorno propicio relativamente estable. No se pregunta, de manera estructurada, en qué condiciones futuras se mantiene esa cadena —y dónde se rompe.

    En todo este trabajo, sigue surgiendo la misma limitación. La evaluación retrospectiva es muy buena para validar lo que se ha logrado. Es mucho más débil a la hora de evaluar lo que perdurará. Y guarda silencio en gran medida sobre lo que está a punto de fracasar.

    Aquí es donde entra en juego la previsión, no como un complemento abstracto, sino como una necesidad práctica. Y, según mi experiencia, alcanza su máximo potencial no al final de un programa, sino en medio de él: durante la corrección del rumbo, durante las revisiones intermedias, en esos momentos confusos e incómodos en los que los sistemas claramente no se comportan como se esperaba, pero aún no han fallado por completo.

    Ahí es donde ahora realizo la mayor parte de este trabajo.

    En una revisión intermedia, la tentación es siempre estabilizar la narrativa. Explicar las desviaciones. Ajustar las calificaciones. Recomendar soluciones incrementales. Pero si se trata una revisión intermedia como un punto de control estático, se pierde su verdadero valor. Una revisión intermedia es el último momento creíble para cambiar de rumbo antes de que un programa se encierre en su propia lógica.

    Así que mi enfoque es diferente.

    Empiezo por trazar el sistema no como un marco lógico, sino como un camino. De la evidencia a la decisión. De la decisión a la cartera de proyectos. De la cartera de proyectos a la financiación. De la financiación a la implementación. De la implementación a los resultados. Y luego me hago una pregunta sencilla en cada paso: ¿hacia dónde se mueve esto y dónde se atasca?

    No en teoría. En la práctica.

    ¿Dónde no se están tomando decisiones, a pesar de que existen pruebas? ¿Dónde se quedan estancados los conceptos de los proyectos sin pasar a carteras de proyectos listas para la inversión? ¿Dónde no fluye la financiación, a pesar de que las prioridades están claras? ¿Dónde se está fallando en la implementación porque no se ha asegurado la legitimidad, especialmente a nivel comunitario?

    Este no es el terreno de la evaluación tradicional. Pero es donde los programas realmente triunfan o fracasan.

    Una vez que ves el sistema de esta manera, la previsión surge de forma natural. Porque la siguiente pregunta no es «¿qué ha pasado?», sino «¿qué pasará después si nada cambia?». Y luego: «¿qué pasa en diferentes futuros plausibles?».

    En la práctica, eso significa someter el sistema a pruebas de resistencia. No mediante modelos elaborados, sino a través de un cuestionamiento estructurado. ¿Qué ocurre con este modelo de financiación si se contraen los presupuestos públicos? ¿Qué ocurre con este mecanismo de ejecución ante perturbaciones climáticas extremas? ¿Qué ocurre con esta política si su aplicación se debilita tras un cambio político? No se necesitan escenarios perfectos. Se necesitan escenarios plausibles.

    Y luego se incorpora eso a la evaluación.

    Las recomendaciones dejan de ser genéricas —«fortalecer la capacidad», «mejorar la coordinación»— y se vuelven orientativas. Cambia esta parte del proceso porque no aguantará en condiciones previsibles. Reequilibra esta estructura de financiación porque está demasiado expuesta a un único riesgo. Invierte en esta relación o mecanismo de legitimidad porque, sin él, la implementación se estancará independientemente del diseño técnico.

    En otras palabras, la evaluación deja de centrarse en juzgar el pasado y se centra más en reorientar el futuro.

    Este es exactamente el ámbito en el que estoy trabajando ahora en el contexto del Paquete Nacional de Papúa Nueva Guinea. Aquí, el problema no es la falta de actividad. Es que el avance a lo largo del sistema es desigual y a menudo invisible. Las decisiones no se traducen de manera sistemática en procesos. Los procesos no se traducen de manera sistemática en financiación. La financiación no se traduce sistemáticamente en una implementación a gran escala. Y subyacente a todo ello hay un factor crítico que la evaluación tradicional suele subestimar: la legitimidad, especialmente en un contexto en el que la propiedad consuetudinaria de la tierra define lo que es posible.

    Si se analiza esto desde una perspectiva retrospectiva, se obtendrá una evaluación perfectamente razonable que contribuye muy poco a cambiar los resultados. Si se analiza desde una perspectiva prospectiva —identificando dónde es probable que el sistema se estanque a continuación—, se empieza a ver dónde la intervención realmente importa.

    No se trata de abandonar los criterios del CAD de la OCDE. Se trata de ampliarlos. La relevancia se vuelve prospectiva: ¿seguirá siendo relevante en futuros plausibles? La sostenibilidad se vuelve condicional: ¿en qué condiciones se mantiene? La eficacia se vuelve dinámica: no solo si se lograron los resultados, sino si el sistema es capaz de seguir produciéndolos.

    Y quizás lo más importante es que la evaluación cambia de función. Deja de ser principalmente un mecanismo de información y se convierte en una herramienta de apoyo a la toma de decisiones.

    Parece un pequeño cambio. No lo es. Requiere que los evaluadores sean más explícitos sobre la incertidumbre, más comprometidos con la dinámica de los sistemas y más dispuestos a salir ligeramente de la zona de confort del juicio puramente retrospectivo. También requiere que las instituciones acepten que la evaluación más útil no siempre es la más segura.

    Si soy sincero, muchas de las ideas más valiosas de mi trabajo han surgido de los momentos en los que hicimos exactamente eso: cuando dejamos de preguntarnos «¿qué fue?» y empezamos a preguntarnos «¿y si…?» En los que seguimos el sistema hacia adelante en lugar de hacia atrás. En los que tratamos la incertidumbre no como algo que hay que minimizar, sino como algo con lo que hay que trabajar.

    Ahí es donde la evaluación vuelve a ser útil.

    Porque en un mundo que ya no es estable —y que no va a serlo—, la cuestión no es si podemos comprender perfectamente el pasado.

    Es si podemos actuar, de forma inteligente y a tiempo, ante lo que viene después.

    Leer en una página aparte