Senior Evaluation Specialist in the UN system (FAO, IAEA, WFP)
Food security analysis and Humanitarian assistance programmes management in the field with international NGOs (1999- 2003)
Publicado el 20/02/2024
Estimada Muriel,
Estoy de acuerdo en que la inteligencia artificial (IA) tiene un gran potencial y plantea muchas preguntas para la evaluación.
En la Oficina de Evaluación del Programa Mundial de Alimentos (PMA) hemos procurado mejorar nuestra capacidad para obtener más evidencias y satisfacer así las necesidades de nuestros colegas. Los avances recientes en el campo de la IA nos ofrecen la oportunidad de cumplir este propósito. A continuación me complace compartir algunas experiencias y reflexiones sobre la labor que hemos realizado en este ámbito.
En primer lugar, hemos asumido que nuestra capacidad para aprovechar los conocimientos adquiridos en nuestras evaluaciones es limitada y no permite satisfacer todas las necesidades de aprendizaje de nuestros colegas. En gran medida, esto se debe a la gran cantidad de tiempo y esfuerzo que necesitamos para obtener y sintetizar evidencias sobre un determinado tema de interés.
De ahí que estemos trabajando en desarrollar una solución basada en la IA para automatizar la búsqueda de evidencias con herramientas de procesamiento del lenguaje natural. De forma similar a lo que hacemos cuando utilizamos un buscador en Internet, pretendemos formular consultas en lenguaje natural para encontrar evidencias relevantes. Aprovechando los avances tecnológicos más recientes en el campo de la IA generativa —como ChatGPT— la solución también podría crear contenido (p. ej. resúmenes) basado en la información obtenida.
Asimismo y, a fin de contribuir al análisis y la presentación de informes, esperamos que este proceso automático para obtener información pueda etiquetar documentos por sí mismo de forma más sistemática. También confiamos en que la IA nos permitirá sugerir contenido relevante para los usuarios sobre la base de su actividad, intereses y ubicación, al igual que hacen Spotify o Netflix.
Estamos intentando desarrollar una solución que ofrezca resultados precisos de búsqueda y pueda replicarse posteriormente para satisfacer necesidades similares.
Más allá de estos usos que estamos explorando específicamente en la Oficina de Evaluación del PMA, creo que la IA puede tener otros beneficios para la evaluación:
- Automatizar procesos rutinarios en las evaluaciones, como la síntesis de evidencias para generar resúmenes breves que pueden ser utilizados como datos secundarios.
- Mejorar el acceso a conocimientos u orientación y facilitar la recopilación de evidencias para la presentación de informes (p. ej. para informes anuales).
- Facilitar la elaboración de resúmenes y la identificación de patrones a partir de ejercicios de evaluación o examen.
- Mejorar la edición con herramientas automatizadas de revisión de textos que ayuden a pulir el lenguaje.
Espero que esta información sea útil. Estoy deseando conocer las experiencias de otros miembros. Todos estamos aprendiendo sobre la marcha y parece evidente que la IA —repleta de esperanzas y riesgos— nos hará salir de nuestra zona de confort.
Un cordial saludo,
Aurelie
Italy
Aurelie Larmoyer
Senior Evaluation officer
WFP
Publicado el 22/08/2025
Estimada Mónica, estimados colegas:
Muchas gracias por plantear esta discusión y todas las contribuciones. Muy interesante.
Aumentar la influencia de las evidencias en la toma de decisiones es un desafío prolongado para quienes trabajamos en el ámbito del seguimiento o la evaluación, relacionado con una serie de factores en todos los niveles de nuestras organizaciones, incluso cuando la importancia de las evidencias se reconoce ampliamente.
En el Departamento de Evaluación del Programa Mundial de Alimentos (PMA) hemos aplicado estrategias específicas para alentar a nuestras partes interesadas a utilizar evidencias en la adopción de decisiones. Tras varios años de experiencia, puedo compartir algunas reflexiones sobre lo que consideramos eficaz.
Sin duda, estoy de acuerdo con gran parte de las observaciones formuladas en relación con los factores que impiden integrar las evidencias en la toma de decisiones. Entre otros, la calidad deficiente de los datos; la fragmentación de los sistemas de información; una cultura organizativa que sigue considerando el seguimiento o la evaluación como meros requisitos, en lugar de oportunidades de aprendizaje; o la importancia del personal directivo superior en la promoción.
En cuanto a las opciones para mejorar la integración de las evidencias en la adopción de decisiones, coincido con el punto de vista de Brilliant Nkomo: formalizar los procesos es un primer paso fundamental. Si numerosas organizaciones cuentan con marcos de seguimiento y evaluación claros y elaboran orientaciones y desarrollan capacidades relacionadas, también es importante institucionalizar en cierta forma la incorporación de conocimientos basados en evidencias en cualquier debate sobre políticas o programas, integrándolos formalmente en la planificación estratégica o en procesos periódicos de balance y examen de programas.
En relación con lo anterior, nuestra experiencia ha demostrado que los esfuerzos por sincronizar nuestra generación de evidencias con las necesidades de nuestras partes interesadas merecen la pena: como generadores de evidencias y conocimientos, hemos sido más proactivos colaborando con aquellos cuyas decisiones podemos apoyar, para escuchar las dificultades a las que se enfrentan y saber cuáles son sus carencias. En paralelo, hemos desarrollado la capacidad de responder a las necesidades según van surgiendo, reutilizando las evidencias existentes en nuevos productos. Apreciamos un cambio cultural lento: la evaluación se considera ahora una aliada que proporciona conocimientos.
Por último, cuando pedimos a nuestras partes interesadas que valoraran las evidencias proporcionadas, hemos confirmado nuevamente que la comunicación personalizada también merece la pena: sabemos que existen distintas preferencias en lo que respecta al tipo de evidencias y en cuáles de ellas centrarse. Por lo tanto, cuanto más nos adaptemos a la variedad de necesidades de aquellos a quienes servimos, mejor acogida tendrán nuestros productos y mayor será la probabilidad de que sean utilizados.
Les deseo lo mejor a todos.