EvalXchange 2025: Impulsando Decisiones mediante Evidencia, Eficiencia e IA

Sesión 1: EvalX Live - El programa de entrevistas sobre evaluación: más allá del informe 

Con un formato de un programa de entrevistas, esta interesante sesión reunió a usuarios y profesionales de evaluación de alrededor del mundo.  Juntos, debatieron cómo las funciones de evaluación pueden aprovechar mejor la evidencia disponible para satisfacer de forma más eficiente las necesidades organizacionales y adaptarla a las demandas específicas de diversos temas y países.

Manteniendo a los usuarios como protagonistas, el primer segmento se centró en la evidencia en acción. Este segmento destacó a usuarios dentro del PMA que hacen uso de productos innovadores y sesiones de aprendizaje específicas para informar no solo el desarrollo de políticas y estrategias, sino también el diseño de modelos de implementación. Si bien los informes de evaluación siguen siendo recursos importantes para el aprendizaje, leerlos y asimilarlos requiere tiempo. La Oficina de Evaluación está respondiendo de manera innovadora al facilitar la generación de nuevas ofertas de evidencia, Resúmenes de Evidencia (SEE por sus siglas en inglés), que maximizan el uso de los informes de evaluación existentes para respaldar los aprendizajes que satisfacen las necesidades inmediatas de evidencia de los usuarios para la toma de decisiones con visión al futuro. Las sesiones de aprendizaje específicas también son un recurso fundamental para resumir la evidencia en los informes de evaluación. Permiten la interacción con los responsables técnicos para agilizar los aprendizajes y ayudar a impulsar decisiones basadas en evidencia.

Evaluadores de UNICEF, Konterra Group y PMA detallaron enfoques para el uso de la evidencia durante el segundo segmento. Pasar del uso instrumental al conceptual requiere identificar usuarios clave como intermediarios de la evaluación, quienes pueden aprovechar su posición internacional y liderar debates sobre los hallazgos de una evaluación con un grupo más amplio de partes interesadas. Los profesionales destacaron varias lecciones aprendidas del desarrollo de SEE rigurosas: 1) Ser claros con los comisionados sobre lo que las SEE pueden y no pueden hacer. Las SEE no son evaluaciones nuevas, sino que están limitadas por las evaluaciones de las que se nutren; 2) Buscar patrones mágicos, no fórmulas mágicas. Las SEE deben analizar los patrones que surgen en múltiples evaluaciones; 3) Cuanto más amplio, mejor: hacer un análisis a los largo de una región y del sistema puede generar patrones más interesantes; 4) Formular las preguntas correctamente: las preguntas más conceptuales tienden a ser más interesantes para los usuarios; y 5) Involucrar al líder o equipo de SEE, ya que poseen una comprensión más matizada del tema y pueden aprovechar los eventos de aprendizaje para dinamizar la conversación. Las mejores SEE son aquellas que están explícitamente vinculadas a un evento de aprendizaje con un alcance temático más amplio.

Sesión 2: Descifrando la eficiencia: opciones, desafíos y lecciones para evaluación

Un total de 127 profesionales de evaluación de agencias de las Naciones Unidas (ONU), ONG, instituciones financieras internacionales, gobiernos, donantes y el mundo académico reflexionaron sobre las diferentes perspectivas y experiencias sobre cómo evaluar la eficiencia en contextos humanitarios y de desarrollo.

Los profesionales de evaluación reconocieron que, en el contexto actual, las organizaciones están operando en un entorno donde las necesidades crecen mientras que la financiación para la respuesta humanitaria y los programas de desarrollo está disminuyendo. Por lo tanto, existe una creciente presión, demanda y exigencia para que las organizaciones sean más eficientes, eficaces y tengan mayor impacto. En consecuencia, existe una mayor demanda de evaluar la eficiencia de los programas para ayudar a las organizaciones a determinar en qué medida están optimizando el uso de los recursos disponibles para alcanzar los objetivos y resultados deseados.

El CAD/OCDE y ALNAP ofrecen orientación útil sobre cómo evaluar la eficiencia de los programas, pero no siempre es sencillo. Existen diversos enfoques, métodos y herramientas para evaluar la eficiencia, lo cual presenta oportunidades y desafíos para los evaluadores. Las diferentes dimensiones de la eficiencia (incluidas la economía y la relación coste-efectividad) no siempre son independientes entre sí. Por lo tanto, deben analizarse en conjunto con otros criterios de evaluación (como la pertinencia y la eficacia). Los evaluadores deben ser conscientes de que existen compromisos entre la eficiencia y otras consideraciones, como los principios humanitarios (imparcialidad, humanidad), la protección y la huella ambiental, entre otros. Además, los evaluadores se enfrentan al reto de evaluar la relación coste-efectividad de una intervención, cuando no todos los costes y beneficios son fácilmente medibles.

En esta sesión se destacó que, para diseñar y elegir enfoques y métodos apropiados para evaluar la eficiencia de los programas en diferentes contextos, los evaluadores deberían complementar el uso de la orientación del CAD/OCDE con ejemplos prácticos y lecciones sobre cómo abordar los desafíos de evaluar la eficiencia.

Sesión 3: Explorando la frontera de la IA: La Aventura

La sesión destacó cómo las herramientas de la IA pueden optimizar la evaluación al mejorar la credibilidad y la transparencia. Los participantes coincidieron en que la IA ofrece oportunidades reales para acelerar y optimizar el uso y la reutilización de la evidencia, y enfatizaron que el éxito depende de asegurar que estas soluciones estén alineadas a las necesidades de evaluación. Aprovechar la IA en las evaluaciones es un proceso complejo pero valioso que requiere aprendizaje, colaboración y adaptación continua. Los evaluadores han dedicado esfuerzos considerables para comprender la IA y para conectarla con la ciencia de datos, aunque se sigue trabajando para desarrollar herramientas que proporcionen evidencia para una toma de decisiones más eficaz.

La colaboración entre evaluadores y científicos de datos se consideró esencial para fomentar una comprensión conjunta y confianza, lo que contribuye a garantizar que las herramientas sean técnicamente sólidas y prácticas en contextos de evaluación reales. Las lecciones aprendidas a partir del desarrollo y el uso de la IA en situaciones reales demuestran que el éxito depende del diseño cuidadoso de las herramientas, la garantía de información precisa y la difusión de los resultados de forma que sea fácil de usar y comprender. Estos elementos son esenciales para integrar eficazmente la IA en el trabajo de evaluación.

La participación de equipos y socios diversos facilita la integración con los sistemas existentes y las iniciativas futuras, evitando soluciones aisladas. Un diseño modular ofrece la flexibilidad de actualizar o reemplazar componentes a medida que la tecnología evoluciona, lo que reduce riesgos como la dependencia de un proveedor. Mantener la eficiencia operativa equilibrando la asequibilidad con costos predecibles y la planificación de expertos especializados (especialmente en operaciones de machine-learning) es fundamental para garantizar la sostenibilidad a largo plazo.

Por último, compartir experiencias, lecciones aprendidas y desafíos es esencial para navegar por este panorama cambiante y aprovechar mejor las soluciones impulsadas por la IA.