Experienced international consultant in evaluation, agriculture, environment, research, technology and innovation. Throughout 15+ years of my career I've been collaborating with various clients on the efficient acquisition and delivery of financial instruments targeting investments in food, agriculture and environment sectors around the world. These included various international agencies (such as the EU, IFAD, FAO), non-governmental organizations and private sector companies. As an evaluator, I gained experience in working with rural communities and decision makers at all administrative levels. Addressing development challenges through building capacities of stakeholders, MEL and participatory approaches are at heart of my practice. I like to seek out of the box solutions for complex problems and connecting the dots.
Posté le 22/02/2024
Chère Muriel, chers collègues,
Merci pour vos questions et vos idées. Je souhaiterais partager quelques expériences vécues lors d'un travail sur une importante base de données (comprenant des milliers de projets) dont il fallait extraire un portefeuille pour une évaluation de l'impact. La méthodologie s'appuyait sur des algorithmes automatiques, qui constituent une branche de l'IA.
L'approche était double: 1) Un algorithme d'apprentissage automatique a été développé par des experts; 2) une recherche semi-manuelle a été réalisée. Dans le premier cas, le portefeuille a été plus petit que prévu, mais les projets étaient très précis et concernaient ce qui nous intéressait. Néanmoins, le portefeuille était trop restreint pour en extraire des statistiques solides. Dans la seconde approche, le portefeuille était beaucoup plus grand mais beaucoup de projets ont dû être retirés de l'ensemble des données car ils correspondaient de manière marginale à ce qui nous intéressait. Il a été nécessaire de recourir à un expert pour définir les mots clés et affiner le portefeuille ainsi qu'à un expert en programmation pour développer une application personnalisée. Les activités ultérieures qui se sont basées sur un traitement linguistique des projets et des preuves disponibles sur internet (mise au rebut du web, y compris les médias) se sont montrées très fructueuses.
Les difficultés méthodologiques suivantes ont été observées:
- Un biais linguistique – l'approche se révèle plus efficace lorsque la langue dominante est l'anglais (dans les rapports du projet, les médias et les autres communications) et dans les pays qui l'utilisent activement dans la vie quotidienne. La complexité sémantique, qui peut différer considérablement d'une langue à l'autre, demande différents algorithmes, qui peuvent être plus ou moins sophistiqués selon les cas.
- Le jargon du projet – il peut varier considérablement d'un projet à l'autre et certains mots-clés peuvent être utilisés de manière interchangeable. Les différents donateurs utilisent parfois également des formulations différentes dans leurs programmes, ce qui doit être pris en compte lors de la conception des algorithmes. Un projet peut être classé comme un projet relatif au climat bien qu'il soit beaucoup plus centré sur l'ingénierie de construction, l'eau, les déchets, etc., ce qui a également un impact sur la manière dont la machine travaillera en relation avec la sémantique.
- La disponibilité des données sur internet – Il est probable qu'elle sera supérieure pour les projets les plus récents par rapport aux plus anciens. Elle peut aussi être disproportionnée, selon les contenus qui ont été produits et partagés par chaque projet.
- Le phénomène de la boîte noire – À un moment donné, les évaluateurs peuvent perdre le contrôle des algorithmes. Cela peut poser des problèmes en termes de sécurité et de gouvernance.
- Architecture de la base de données – Des dispositions doivent déjà avoir été prises au moment du développement des ensembles de données et des bases de données aux fins de l'élaboration des rapports lors de la mise en œuvre du projet. La structure et le contenu de la base de données, y compris les erreurs comme les fautes de frappe ont une importance considérable sur l'efficacité du travail recourant à l'IA.
- Coûts – les logiciels libres posant des problèmes en matière de sécurité, il pourrait être utile d'investir dans le développement d'une application personnalisée et d'obtenir le soutien d'experts en technologie de l'information.
En conclusion, j'ai trouvé l'IA très utile là où des ensembles de données et des portefeuilles importants étaient disponibles pour l'analyse et où les données sur internet étaient abondantes. Elle peut apporter une aide considérable, mais elle nécessite également une bonne assurance de la qualité et une expertise spécialisée.
Je suis préoccupée par les questions de confidentialité et de sécurité dans l'utilisation de l'IA. Il est déjà difficile d'harmoniser l'approche dans la coopération internationale, en particulier pour des projets de différents donateurs et dans différents systèmes juridiques aux niveaux international, national voire institutionnel. Mais nous devrions essayer!
Bien à vous
Anna Maria Augustyn
Poland
Anna Maria Augustyn
International consultant
Posté le 22/04/2025
Dear Ram,
Thank you for initiating this insightful and important discussion.
Based on my experience, the answer to these questions is far from straightforward. As an evaluator, I have observed that the success of a project is heavily dependent on the context in which it is implemented. It is not uncommon for smaller projects to yield significant impact, while larger ones may fall short. Often, the determining factors are not merely the volume of funding but rather the skillset of the implementing teams and the enabling environment surrounding the project.
For example, I once analyzed a portfolio comprising both large-scale (multi-million euro) and small-scale (approximately 50,000 euro) projects. Interestingly, the smaller projects were typically focused on delivering market-scalable solutions and demonstrated a strong capacity to generate tangible results and compelling data, which in turn facilitated scaling. Conversely, the larger projects, often implemented through multi-stakeholder platforms, tended to prioritize coordination and harmonization efforts. These processes consumed substantial resources in decision-making and administrative overheads, and as a result, their actual outcomes were often diluted or obscured by multiple narratives and the diverse interests of various partners. In another case, I observed that relatively modest investments in infrastructure (around 20,000 euros) were sufficient to create tangible and visible benefits within local communities, gaining their strong applause. At the same time, larger projects leveraging extensive networks were able to amplify their impact by enhancing dissemination efforts across multiple channels.
Regarding Monitoring and Evaluation (M&E) systems, I believe a key area for improvement lies in strengthening the self-evaluation capacities and fostering a data-informed culture within project implementation teams. While some have dedicated M&E personnel, others do not, and evaluators are often brought in only when required to produce progress assessment reports. Ideally, continuous support from a MEL officer or some form of coaching should be provided from the project inception phase. In-depth studies of local needs and challenges for the project legitimacy are also the key. Furthermore, there could be more space created for collaborative learning and knowledge exchange among projects funded under similar thematic areas or regions.
Best wishes,
Anna Maria Augustyn