Experienced international consultant in evaluation, agriculture, environment, research, technology and innovation. Throughout 15+ years of my career I've been collaborating with various clients on the efficient acquisition and delivery of financial instruments targeting investments in food, agriculture and environment sectors around the world. These included various international agencies (such as the EU, IFAD, FAO), non-governmental organizations and private sector companies. As an evaluator, I gained experience in working with rural communities and decision makers at all administrative levels. Addressing development challenges through building capacities of stakeholders, MEL and participatory approaches are at heart of my practice. I like to seek out of the box solutions for complex problems and connecting the dots.
Publicado el 22/02/2024
Estimada Muriel, estimados colegas,
Muchas gracias por las preguntas y las contribuciones a esta discusión. Me gustaría compartir algunas experiencias de mi labor con una gran base de datos de miles de proyectos. Para extraer una cartera de proyectos para una evaluación de impacto se utilizaron algoritmos de aprendizaje automático, una rama de la inteligencia artificial (IA).
Se adoptó un enfoque doble: por un lado, los expertos desarrollaron un algoritmo de aprendizaje automático y, por otro, se realizó una búsqueda semimanual. Con el primer enfoque, la cartera incluía menos proyectos de lo esperado, pero éstos eran muy precisos y estaban relacionados con el tema de interés. Sin embargo, la cartera era demasiado pequeña para obtener estadísticas sólidas. Con el segundo enfoque, la cartera tenía muchos más proyectos, pero hubo que quitar una gran parte de ellos, ya que guardaban poca relación con el tema en cuestión. Hubo que recurrir a un experto para definir las palabras clave y perfeccionar la cartera. Y fue necesario un experto en programación para desarrollar una aplicación personalizada. Las actividades posteriores fueron muy fructíferas gracias al procesamiento basado en el lenguaje y las evidencias disponibles en Internet (extracción de información de sitios web, incluidas redes sociales).
La metodología empleada planteó los siguientes desafíos:
- Sesgo lingüístico. El enfoque es más eficaz cuando el inglés es el idioma predominante (en los informes de los proyectos, los medios de comunicación y otros canales) y éste se utiliza de forma activa en el día a día. La complejidad semántica —que puede diferir mucho de un idioma a otro— requiere algoritmos diferentes, con niveles distintos de sofisticación.
- Jerga del proyecto. Puede variar mucho de un proyecto a otro y algunas palabras de moda se pueden utilizar indistintamente. Además, los programas de los distintos donantes pueden estar redactados de forma diferente. Esto se debe de tener en cuenta a la hora de diseñar los algoritmos. Un proyecto se puede clasificar como climático, pero puede estar mucho más centrado en la ingeniería civil, el agua, los residuos, etc. Esto influye también en el funcionamiento de los algoritmos con la semántica relacionada.
- Disponibilidad de datos en Internet. Es más probable que haya más información sobre proyectos más recientes que sobre otros más antiguos. También puede haber una cantidad desproporcionada de datos, dependiendo del contenido generado y compartido por cada proyecto.
- Fenómeno de la caja negra. En algún momento, los evaluadores pueden perder el control de los algoritmos. Esto puede plantear dificultades en materia de seguridad y gobernanza.
- Arquitectura de la base de datos. Se debe tener en cuenta durante la fase de elaboración de conjuntos y bases de datos para la presentación de informes del proyecto. La estructura y el contenido de una base de datos —incluidos posibles errores como erratas— tienen una importancia fundamental para la eficacia del trabajo con IA.
- Costes. Dado que el programa de código abierto entraña problemas de seguridad, invertir en el desarrollo de una aplicación personalizada y el apoyo de expertos en tecnologías de la información puede ser útil.
Como conclusión, creo que la IA puede ser muy útil cuando se dispone de grandes conjuntos de datos y carteras de proyectos para el análisis. Y cuando hay abundante información en Internet. Aunque la IA puede ser de gran ayuda, requiere conocimientos especializados y buenos sistemas de garantía de la calidad.
Me preocupan la privacidad y la seguridad. Si armonizar el enfoque en la cooperación internacional —en especial con proyectos de distintos donantes y diferentes sistemas jurídicos a nivel internacional y nacional, o incluso institucional— es ya de por sí difícil, alinear posturas en este ámbito se me antoja muy complicado. ¡Pero aun así debemos intentarlo!
Un cordial saludo,
Anna Maria Augustyn
Poland
Anna Maria Augustyn
International consultant
Publicado el 22/04/2025
Dear Ram,
Thank you for initiating this insightful and important discussion.
Based on my experience, the answer to these questions is far from straightforward. As an evaluator, I have observed that the success of a project is heavily dependent on the context in which it is implemented. It is not uncommon for smaller projects to yield significant impact, while larger ones may fall short. Often, the determining factors are not merely the volume of funding but rather the skillset of the implementing teams and the enabling environment surrounding the project.
For example, I once analyzed a portfolio comprising both large-scale (multi-million euro) and small-scale (approximately 50,000 euro) projects. Interestingly, the smaller projects were typically focused on delivering market-scalable solutions and demonstrated a strong capacity to generate tangible results and compelling data, which in turn facilitated scaling. Conversely, the larger projects, often implemented through multi-stakeholder platforms, tended to prioritize coordination and harmonization efforts. These processes consumed substantial resources in decision-making and administrative overheads, and as a result, their actual outcomes were often diluted or obscured by multiple narratives and the diverse interests of various partners. In another case, I observed that relatively modest investments in infrastructure (around 20,000 euros) were sufficient to create tangible and visible benefits within local communities, gaining their strong applause. At the same time, larger projects leveraging extensive networks were able to amplify their impact by enhancing dissemination efforts across multiple channels.
Regarding Monitoring and Evaluation (M&E) systems, I believe a key area for improvement lies in strengthening the self-evaluation capacities and fostering a data-informed culture within project implementation teams. While some have dedicated M&E personnel, others do not, and evaluators are often brought in only when required to produce progress assessment reports. Ideally, continuous support from a MEL officer or some form of coaching should be provided from the project inception phase. In-depth studies of local needs and challenges for the project legitimacy are also the key. Furthermore, there could be more space created for collaborative learning and knowledge exchange among projects funded under similar thematic areas or regions.
Best wishes,
Anna Maria Augustyn