Aller au contenu principal
Olivier Cossée

Italy

Olivier Cossée Member since 12/09/2019

FAO

Senior Evaluation Manager
Website
I am an evaluator with over 20 years of evaluation practice, mainly as part of the central evaluation offices of two United Nations agencies: FAO and UNDP. Prior to that, I have worked for 10 years for NGOs and for the UN Capital Development Fund (UNCDF) as a rural development expert and programme manager in Afghanistan, Ethiopia and Mauritania. An agronomist by training and a generalist by inclination, I have evaluated programmes a wide array of domains and sectors beyond rural development and natural resource management, such as in the “humanitarian-development nexus” and resilience building, or assistance to democratic governance, rule of law and elections. I have also evaluated development approaches and strategies, such as participatory approaches, programme approach, and global development goals and agendas (MDGs, SDGs).

My contributions

  • Discussion

    How are we progressing in SDG evaluation?

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 02/02/2024

      Pour répondre à la question de Chris, je ne suis pas certain qu'il y aura un nouveau cadre de développement mondial après 2030. Le multilatéralisme n'est pas dans une bonne position en ce moment. Les ODD ont été approuvés après la fin de la guerre froide, mais malheureusement, la guerre froide est en train de revenir...  Il reste donc à voir s'il y aura suffisamment de bonne volonté entre les nations en 2030 pour parvenir à un nouvel agenda.

      Read on a separate page
  • Discussion

    How are mixed methods used in programme evaluation?

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 27/09/2023

      Voici la réponse à la question de Jean Providence: avez-vous observé des cas dans la pratique professionnelle de l'évaluation où les méthodes quantitatives ont PRÉCÉDÉ les méthodes qualitatives? Je répondrais ainsi: 1) Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure. Si ma femme se trouve dans un magasin de meubles et m'envoie le message suivant: «Chéri, j'ai trouvé ce merveilleux article pour la cuisine, qui coûte 500 et mesure 2 m de long sur 1,5 m de large. Tu es d'accord?» Je ne saurais pas quoi répondre, car, malgré tous les nombres qu'elle m'a fournis, je ne sais pas du tout de quoi elle parle, qualitativement. Est-ce qu'elle parle d'une table, d'un placard ou d'un tapis? Il est absurde de quantifier une chose sans la qualifier au préalable.

      2) Ceci étant, des approches qualitatives peuvent également avoir leur place après des activités de quantification. Vous avez entièrement raison à ce propos: dans certains cas, une enquête peut donner des résultats qui paraissent étranges, et l'une des manières de leur donner du sens est de «zoomer» sur ce problème particulier en menant des entretiens qualitatifs complémentaires.

      J'espère que cette réponse est utile.

      Read on a separate page
    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 21/09/2023

      Bonjour Jean, et merci pour cette question !

      Je pense que toutes les questions d'évaluation demandent une approche mixte. Les outils de collecte de données ne sont que des outils; il faut les utiliser de manière opportuniste -- quand ca marche -- mais surtout pas les idolâtrer. Ce serait comme un plombier qui adore les clés à molette mais n'aime pas les tournevis, et qui chercherait à tout faire avec une clé à molette, y compris visser des vis... Ca serait absurde: un bon plombier utilise plusieurs outils, quand et comme nécessaire, et il ne se pose pas la question de savoir quelles type de plomberie ne nécessite qu'un seul outil...

      De même un bon évaluateur doit savoir utiliser une boite à outils, avec plusieurs outils dedans et pas seulement clé à molette.

      Je suis d'accord avec Vincente, sur le fait qu'un travail qualitatif doit toujours PRÉCÉDER un effort quantitatif. Avant de mesurer quelque chose, il faut savoir pourquoi et comment la mesurer, et pour cela il faut une compréhension QUALITATIVE de l'objet de la mesure. Une des erreurs les plus fréquentes des "randomistas" est précisément de dépenser beaucoup de temps et d'argent dans des enquêtes trop longues et trop complexes, parce qu'ils ne savent pas ce qu'il est important de mesurer. Donc ils essayent de tout mesurer avec des questionnaires sans fin, et échouent régulièrement.

      Read on a separate page
  • Blog

    The skeptical turn in evaluation (and what to do with it)

    Dans leur discours introductif très fourni en données et donnant matière à réflexion lors de la 14e conférence à Copenhague le mois dernier, Peter Dahler-Larsen et Estelle Raimondo ont demandé aux participants de reconnaître que l'évaluation est parfois plus un problème qu'une solution. Dressant le bilan de l'essor de l'évaluation en tant que pratique et discipline, ils ont préconisé un meilleur équilibre entre les bénéfices et les coûts des systèmes d'évaluation. Que se passe-t-il quand les évaluateurs posent leur regard sur eux-mêmes? Cela peut parfois virer au nombrilisme et à l...
    Lire plus
  • Discussion

    Evaluating agroecology: what is your experience?

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 10/05/2022

      Merci Seda d'avoir mis en évidence l'outil TAPE. J'en avais entendu parler dans le cadre de l'examen de l'ODD 2 que nous avons effectué en 2019/20 et auquel vous avez fait référence.

      Les lignes directrices TAPE fournissent de très bons exemples de questionnaires en annexe, qui pourraient être adaptés localement et utilisés par les évaluateurs (et autres) pour construire leur propre outil ou questionnaire. Les questions qui y sont incluses aident non seulement à mesurer mais aussi à définir l'agro-écologie en explicitant un certain nombre de variables clés.

      Ainsi, les lignes directrices TAPE aident à répondre à la remarque de Laurent sur la nécessité de définir ce qu'est le succès dans la transition vers l'agroécologie. Je pense que c'est une question importante.

      Il y a eu très peu de progrès dans la transition vers une agriculture plus durable, et l'une des raisons peut être que nous ne sommes pas nécessairement d'accord sur ce à quoi ressemble le succès. Si elle a donné lieu à des expériences intéressantes de la part de la société civile et des organisations d'agriculteurs depuis les années 1980, l'agroécologie n'a pas réussi jusqu'à présent à convaincre les décideurs des ministères de l'agriculture - sauf dans une poignée de pays comme le Sénégal, grâce aux efforts incessants d'ENDA Pronat, de sa secrétaire Mariam Sow et de bien d'autres.

      L'agroécologie est même perçue comme idéologique ou militante par certains gouvernements, en raison de ses racines historiques en tant qu'alternative à la révolution verte. Une définition plus objective de l'approche permettrait donc de l'ancrer fermement dans la science, et TAPE peut y contribuer également.

      Il est évident que la forme que prendra le succès dépendra du contexte agro-écologique. Cela n'aurait aucun sens d'appliquer exactement les mêmes critères partout dans le monde. Cela contredirait également un principe de base de l'agro-écologie, à savoir qu'elle est censée être ascendante.

      Il me semble donc que la bonne façon de définir le plus précisément possible un produit ou un système agroécologique est de le faire localement, sur la base de normes minimales convenues avec les producteurs, les commerçants et les organisations de consommateurs locaux. C'est par exemple ce que le Nicaragua a fait avec sa loi pour la promotion de la production agroécologique et biologique (2011), suivie de normes techniques obligatoires approuvées et adoptées en 2013 pour caractériser, réglementer et certifier les unités de production agroécologiques. De nombreux pays ont fait de même, dans le but de promouvoir l'agroécologie par l'éducation des consommateurs et l'étiquetage des aliments.

      Read on a separate page
  • Discussion

    Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 08/02/2022

      Chère Umi,

      Merci beaucoup d'avoir partagé cet excellent article de Carol Weiss [contribution antérieure ici]. Il s'agit d'un vieil article, mais d'un article en or. Je viens de le terminer et je veux graver certaines de ses phrases dans le béton des murs de mon bureau. Par exemple :

      Weiss met en lumière une série impressionnante d'hypothèses cuites dans la pratique de l'évaluation. Toutes ne sont pas toujours considérées comme vraies, mais je pense qu'elle a raison de dire qu'elles ont tendance à "aller de soi", c'est-à-dire à être acceptées silencieusement et même inconsciemment la plupart du temps. Voici une liste de ces hypothèses, basée sur son article :

      1. La sélection des programmes ou des politiques qui seront évalués et de ceux qui ne le seront pas se fait de manière équitable - c'est-à-dire qu'il n'y a pas d'agenda caché dans le plan d'évaluation et qu'aucun programme n'est protégé de l'évaluation.
      2. Le programme à évaluer avait des objectifs raisonnables, souhaitables et réalisables, de sorte qu'il peut être évalué sur la base de ces objectifs.
      3. Les objectifs explicites du programme peuvent être considérés comme vrais ; il n'y a pas d'agenda caché, ils reflètent les objectifs réels de l'intervention.
      4. Le programme évalué est un ensemble cohérent d'activités, raisonnablement stable dans le temps et indépendant d'autres programmes ou politiques similaires, de sorte qu'il est logique de se concentrer sur lui dans une évaluation - c'est une unité d'analyse valable.
      5. Les parties prenantes du programme, les bénéficiaires et les évaluateurs sont tous d'accord sur ce qui est bon et souhaitable ; toute différence de valeurs peut être conciliée, de sorte que la discussion se limite généralement aux moyens d'y parvenir.
      6. Les résultats du programme sont importants pour le personnel du programme et pour les décideurs, dont on peut s'attendre à ce qu'ils tiennent compte des preuves recueillies par l'évaluation afin d'améliorer les résultats.
      7. Les questions figurant dans les termes de référence sont importantes et reflètent les préoccupations des bénéficiaires du programme, et pas seulement de ceux qui le mettent en œuvre.
      8. L'équipe d'évaluation, telle qu'elle est composée, peut atteindre un bon degré d'objectivité (neutralité-impartialité-indépendance...) dans son analyse.
      9. Dans la plupart des programmes, ce qu'il faut pour améliorer les résultats, c'est un changement progressif (efforts renouvelés, ressources accrues), plutôt que de supprimer complètement le programme ou de modifier radicalement son approche.
      10. Cette dernière hypothèse repose sur le fait que la plupart des recommandations émanant des évaluations concernent des ajustements mineurs dans la mise en œuvre des programmes. Mme Weiss établit un lien avec le type de messages qui peuvent être acceptés par les commissaires d'évaluation.

      Dans la pratique, ils sont tous problématiques, au moins occasionnellement, et Weiss fait un excellent travail pour montrer comment certains d'entre eux ne sont souvent pas soutenus par les faits. Par exemple, en ce qui concerne l'hypothèse 1, elle montre que les nouveaux programmes sont généralement soumis à une pression évaluative plus forte que les anciens programmes bien établis.

      Merci encore pour cet article très pertinent. L'évaluation est en effet de nature politique et les évaluateurs ne peuvent que bénéficier de cette clarification.

      Olivier

      Read on a separate page
    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 04/02/2022

      Je suis d'accord [avec Steven Lam ci-dessous]. Il est toujours important d'essayer et de s'efforcer d'atteindre la neutralité, l'indépendance et l'impartialité (en prenant ces concepts comme des synonymes approximatifs) même si nous savons qu'en pratique ces "idéaux" peuvent ne pas être atteints à 100%. Il est toujours important d'essayer de contrôler les préjugés, de procéder à de larges consultations, etc., même si nous savons qu'une neutralité parfaite est humainement impossible à atteindre. Et la raison pour laquelle il est important de le faire est liée à l'obtention d'un résultat plus convaincant, plus crédible et plus utile. Une évaluation biaisée reste souvent inutilisée, et à juste titre.

      Read on a separate page
    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 01/02/2022

      Je suis également d'accord. Il n'existe pas d'être humain ou de méthodologie parfaitement neutre, et si c'est ce que nous visons, nous sommes voués à l'échec.

      Le mieux que nous puissions faire est d'essayer d'être conscient de nos propres partis pris, croyances et présupposés, d'être conscient des limites et des partis pris impliqués dans telle ou telle méthode, et d'essayer de gérer ces limites et ces partis pris.

      Ainsi, au lieu de dire "des informations impartiales aideront à faire les corrections nécessaires", je dirais que pour qu'une évaluation soit crédible (et donc utile), toutes les parties prenantes doivent avoir confiance dans le fait que les évaluateurs et le processus sont ***raisonnablement*** neutres, c'est-à-dire qu'ils ne sont pas trop fortement influencés par une partie prenante particulière, qu'aucune partie prenante n'est marginalisée ou réduite au silence pendant le processus, et que les évaluateurs ne sont pas idéologiquement coincés dans un point de vue particulier mais gardent plutôt "un esprit ouvert" à l'égard de divers points de vue et interprétations. À mon avis, cela se rapprocherait davantage d'une norme d'indépendance de l'évaluation plus réalisable que l'objectivité parfaite.

      Merci,

      Olivier

      Read on a separate page
  • Blog

    SDG evaluations: How to eat an elephant

    Ainsi, j'ai cru bon de partager certaines des leçons que nous avons apprises dans le cadre de notre Évaluation de la contribution de la FAO à l'ODD 2 – Faim zéro [1]. J'ai discuté récemment des défis posés par l'évaluation du soutien aux ODD avec Ian Goldman de CLEAR et Dirk Troskie du département de l'agriculture du gouvernement du Cap occidental, en Afrique du Sud. Ils semblaient quelque peu surpris que nous nous soyons lancés dans une entreprise aussi importante. Les liens de causalité entre le Programme de développement durable à l'horizon 2030 et l'action au niveau des pays étant ténus et...
    Lire plus
  • Discussion

    Reporting and supporting evaluation use and influence

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 15/09/2021

      Bonjour Silvia et tous,

      Je suis d'accord sur le fait que les évaluateurs ne sont pas les seuls à essayer de trouver des solutions, et que les gestionnaires de programmes et les décideurs ne devraient pas être tirés d'affaire, mais je pense que les évaluateurs doivent proposer des solutions valables aux problèmes qu'ils soulèvent. 

      Sinon, je ne vois pas leur valeur ajoutée, ni ce qui différencie l'évaluation de la recherche. De plus, une évaluation qui se garderait de proposer des solutions serait à mon avis un exercice plutôt facile et négatif : il n'est pas si difficile de repérer les questions et les problèmes, tout le monde peut le faire ; la partie difficile est de proposer quelque chose de mieux, de manière constructive. Se forcer à proposer des alternatives raisonnables est souvent un exercice d'humilité, dans la mesure où il oblige à réaliser que "la critique est facile, mais l'art est difficile".

      Je vous souhaite bonne chance,

      Olivier

      Read on a separate page
    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 10/09/2021

      Bonjour à tous !

      J'ai moi aussi suivi la discussion avec beaucoup d'intérêt. Je suis tout à fait d'accord avec Lal sur la nécessité de clarté, de concision et d'absence de jargon. Si vous n'êtes pas capable d'expliquer en quelques mots simples le projet que vous avez évalué à quelqu'un qui n'y connaît rien (comme votre grand-mère ou votre oncle), alors vous ne l'avez pas encore évalué. Vous avez juste collecté des données, c'est tout. Vous devez encore digérer ces données, voir ce qu'elles signifient, les synthétiser en un diagnostic clair et utilisable des problèmes et des solutions possibles. La capacité de résumer une évaluation en un "discours d'ascenseur" clair et convaincant est la clé de son utilité. Il est également important pour l'évaluateur d'être capable de marteler ce message clair encore et encore, de manière cohérente auprès de différents publics. 

      A la vôtre,
      Olivier
       

      Read on a separate page
  • Blog

    Les indicateurs globaux de développement ne sont pas que des chiffres

    Cette année, le thème du rapport est « Transformer les systèmes alimentaires pour une alimentation saine et accessible ». Le rapport SOFI 2020 examine le coût d’une alimentation saine dans le monde, par région et dans différents contextes de développement. La qualité des aliments est un facteur important de la sécurité alimentaire. Le rapport utilise un certain nombre d’indicateurs, et je voudrais saisir cette occasion pour parler des dimensions politique et culturelle des indicateurs de développement, en analysant brièvement deux indicateurs portant sur la cible ODD 2.1 qui vise à éliminer la...
    Lire plus
  • Discussion

    Enhancing funding and service delivery in agriculture: any ideas?

    • Olivier Cossée

      Italy

      Olivier Cossée

      Senior Evaluation Manager

      FAO

      Posté le 12/09/2019

      Thanks to Christine for launching this interesting topic. It has been a worry for some time for me. I work in the FAO evaluation office and lead country programme evaluations in African countries. From this work, it seems to me that the Agriculture Ministry is often seen as one of the most bureaucratic and least effective in government, the one least likely to make good use its funding. I venture that the lack of funding for agriculture may be linked to this perception. Consequently, an organization such as mine (FAO) should crank up its assistance to Agriculture Ministries, not to use their programme delivery system without question but rather to ***reform*** it and make them less bureaucratic and more efficient, and therefore more attractive for national and international donors.

      This is certainly the picture we got in Uganda, where half of all national treasury funding for agriculture goes to Operation Wealth Creation implemented by the Prime Minister Office and the Army, not by MAAIF (ag. ministry). When we asked why, the response we got was that MAAIF needed to get its act together rather than operate as an unstructured collection of departments competing for resources... The same picture emerges in Ethiopia, where the Government created the Agriculture Transformation Agency in 2010 precisely because they did not trust the Ministry of Agriculture to change, reform and deliver. ATA is getting massive funding from donors, far more than the Ministry of Agriculture, and the two institutions see one another as competitors.

      In other words, there may be more funding to agriculture than meet the eye. Some of it doesn't flow through the 'regular' channels, because these channels are seen as problematic by donors and governments. I think this diagnostic applies to FAO itself. There is currently a debate among donors about creating a global fund for agriculture on the model of the GFATM, and the rationale for it is: the current delivery channels can't absorb more funding and make good use of it.

      I don’t know if this resonates with others' experience, and welcome both rejoinders and rebuttals!

      Olivier

      Read on a separate page