Una contribución a la comunidad de EvalforEarth del Departamento de Evaluación del Servicio independiente de asesoramiento y evaluación (IAES, por sus siglas en inglés) del Grupo Consultivo sobre Investigaciones Agrícolas Internacionales (CGIAR). Este artículo se basa en un estudio realizado por Ibtissem Jouini, Irene Toma y Daniela Maciel Pinto.
Para su redacción se han utilizado herramientas de inteligencia artificial.
En 2024, iniciamos una discusión en esta plataforma (“La gestión es importante: explorar el vínculo entre los modelos de gestión y el uso de las evaluaciones”). Muchos de ustedes compartieron reflexiones valiosas sobre el papel de los responsables de las evaluaciones, su nivel de participación y las condiciones en las que deben utilizarse los resultados de las evaluaciones. Este artículo retoma esta discusión y comparte los resultados del estudio que inspiró.
Aunque las normas y estándares de evaluación se han ido armonizando progresivamente en los últimas décadas, hay una dimensión fundamental que no se ha estandarizado aún: la gestión de la evaluación. ¿Quién redacta los términos de referencia? ¿Quién diseña la metodología? ¿Deberían participar los gestores de una evaluación en las misiones sobre el terreno? ¿Quién supervisa si se aplican o no las recomendaciones? Nuestro estudio examinó estas prácticas y exploró cómo se relacionan con el uso de las evidencias evaluativas.
Para responder a estas preguntas, realizamos una encuesta entre profesionales que gestionan evaluaciones independientes en organizaciones internacionales de desarrollo e investigación. Recibimos 66 respuestas de representantes de organismos de las Naciones Unidas (36 %), entidades gubernamentales (27 %), organizaciones internacionales de investigación (15 %), organismos donantes y de ejecución (8 %), fondos multilaterales y un banco de desarrollo. Complementamos la encuesta con un examen bibliográfico sobre el uso de la evaluación en la investigación agrícola para el desarrollo, un análisis de 100 informes de evaluación de nueve organizaciones homólogas —entre ellas la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO), el Fondo Internacional de Desarrollo Agrícola (FIDA), el Programa Mundial de Alimentos (PMA), el Programa de las Naciones Unidas para el Desarrollo (PNUD), ONU Mujeres, el Fondo para el Medio Ambiente Mundial (FMAM), el Fondo Verde para el Clima (FVC), el Banco Africano de Desarrollo (BAfD) y el Banco Mundial— y las reflexiones compartidas en la discusión de EvalforEarth.
No existe un modelo único de gestión de la evaluación. Las organizaciones toman decisiones diferentes en relación con el diseño de las evaluaciones, el trabajo de campo, la contratación, el uso de la inteligencia artificial y el seguimiento. Esas elecciones determinan cómo se utilizan los resultados de la evaluación en última instancia.
¿Quién diseña la evaluación? En la mayoría de los casos el responsable de la evaluación, aunque no en todas las organizaciones
El 77 % de los encuestados afirmó liderar la elaboración de los términos de referencia de las evaluaciones. Asimismo, el 70 % señaló que el responsable de evaluación es el encargado principal de diseñar el enfoque, la metodología y las preguntas fundamentales. Sin embargo, el panorama varía considerablemente según el tipo de organización. Todos los encuestados de organismos de las Naciones Unidas, organismos donantes y fondos multilaterales indicaron que lideraban la elaboración de los términos de referencia. Ese porcentaje desciende al 67 % en organizaciones ejecutoras y a menos del 40 % en entidades gubernamentales, en las que la responsabilidad suele recaer en otras personas.
La rapidez con la que se redactan los términos de referencia de una evaluación también varía entre organizaciones. Los organismos donantes y de ejecución suelen hacerlo en máximo cinco días, mientras que los organismos de las Naciones Unidas, los gobiernos y los fondos multilaterales dedican —por lo general— más de seis días. En conjunto, el 73 % de los encuestados finaliza los términos de referencia en un plazo de 10 días.
Los análisis de evaluabilidad continúan siendo la excepción. Solo el 35 % de los encuestados los lleva a cabo de forma sistemática o habitual, a pesar de que la norma 4.2 del Grupo de Evaluación de las Naciones Unidas (UNEG, por sus siglas en inglés) recomienda realizarlos como primer paso.
Contratación: los organismos de las Naciones Unidas prefieren consultores independientes, mientras que las demás organizaciones encuestadas eligen en función de cada caso concreto
Los organismos de las Naciones Unidas mostraron una clara preferencia por los consultores independientes: resultan más económicos, su contratación es más rápida y suelen adaptarse mejor a evaluaciones a nivel de proyecto con presupuestos reducidos. Las demás organizaciones encuestadas adoptan un enfoque más pragmático, decantándose entre consultores independientes y empresas en función de la evaluación, su objetivo y el contexto. De la empresas valoran su garantía de calidad, apoyo técnico y credibilidad en evaluaciones complejas o a gran escala.
Con independencia de la modalidad elegida, la contratación supone un desafío. Aunque la satisfacción con los profesionales contratados fue positiva en todos los casos, el 60 % de los encuestados describió la búsqueda y contratación del equipo adecuado como algo muy difícil. La escasez de tiempo se considera la dificultad principal (29 %), seguida de la escasa disponibilidad de expertos en la materia, las restricciones presupuestarias (21 %) y los prolongados procesos burocráticos (21 %). Los encuestados indicaron que el perfil más difícil de encontrar es el del consultor con experiencia en el sector, conocimientos en materia de evaluación y habilidades analíticas y de redacción sólidas.
Trabajo de campo: cuando la implicación y la participación se convierten en un dilema
Prácticamente todos los encuestados contribuyen al diseño de las actividades de recopilación de datos, a excepción de los representantes de fondos multilaterales, la mitad de los cuales afirmó participar en contadas ocasiones. En lo que respecta a la participación sobre el terreno, aproximadamente la mitad de los encuestados de organismos de las Naciones Unidas y organizaciones internacionales de investigación se desplaza a los lugares en los que se realizan las evaluaciones, mientras que el porcentaje asciende a un 30 % en el caso de entidades gubernamentales. Por el contrario, los encuestados de organismos donantes, organismos de ejecución y fondos multilaterales casi nunca o nunca se desplazan para participar sobre el terreno. Aun así, dos tercios de los encuestados participan en entrevistas y grupos de discusión. Y aproximadamente la mitad desempeña un papel activo formulando preguntas, en lugar de limitarse a observar.
Es en este tema donde la discusión de EvalforEarth aportó más matices. Los encuestados que participan en el trabajo de campo destacaron beneficios como la mejora en la calidad de los datos, una mayor rapidez en la resolución de problemas, una mayor credibilidad ante las partes interesadas y la identificación con los resultados de las evaluaciones. Sin embargo, algunos participantes en la discusión —entre ellos Gebril Mahjoub Osman— advirtieron sobre los sesgos y los conflictos de intereses que puede entrañar la participación directa, abogando en su lugar por un papel facilitador y de apoyo. A pesar de estas perspectivas divergentes, hubo consenso en la necesidad de definir claramente las funciones y responsabilidades durante la fase inicial de una evaluación para evitar tensiones posteriores.
Inteligencia artificial: su uso se generaliza, aunque no ocurre los mismo con el control de calidad
Algo más de la mitad de los encuestados indicaron que utilizaban la inteligencia artificial en su labor de evaluación. Los encuestados de los organismos de las Naciones Unidas son los más propensos a usar la inteligencia artificial directamente para tareas específicas. Los donantes, los gobiernos y los fondos multilaterales señalaron que la inteligencia artificial es utilizada principalmente por consultores externos, mientras que las organizaciones internacionales de investigación son las menos propensas a emplearla en absoluto. Cuando se utiliza la inteligencia artificial para tomar notas y elaborar resúmenes, solo la mitad de los encuestados revisa la calidad de los resultados. Este tipo de comprobaciones son más habituales entre organismos de las Naciones Unidas.
La publicación de informes de evaluación es lo habitual, aunque no así su uso
Alrededor del 80 % de los encuestados afirmó que sus informes de evaluación se publican siempre o casi siempre. Los organismos de las Naciones Unidas y los organismos de ejecución son los que tienen prácticas de publicación más sistemáticas. Casi el 60 % publicó sus informes en un plazo de tres meses tras su correspondiente validación. Entre los encuestados, los organismos de las Naciones Unidas y las organizaciones de investigación son los que registran plazos de publicación más corto.
El uso de los informes de evaluación es otra historia. Cuando se preguntó a los encuestados sobre la eficacia con la que sus organizaciones utilizan los datos de las evaluaciones para la toma de decisiones, la puntuación media fue de 3,3 puntos (sobre un total de cinco). La puntuación más alta correspondió a los organismos donantes (3,8), seguidos de los organismos de las Naciones Unidas (3,5) y organizaciones de investigación y fondos multilaterales (3,0). La puntuación más baja (2,8) correspondió a las entidades gubernamentales. Los encuestados destacaron dos patrones recurrentes: i) los exámenes a mitad de período suelen considerarse más útiles que las evaluaciones finales, ya que ofrecen la oportunidad de actuar en función de los resultados durante la ejecución; ii) realizar demasiadas evaluaciones puede diluir la atención y mermar la disposición a adoptar las recomendaciones.
Respuesta de la dirección: ¿se realiza un seguimiento de las recomendaciones?
El 76 % de los encuestados afirmó elaborar respuestas de la dirección para todas las evaluaciones. Se trata de una práctica habitual en organismos de las Naciones Unidas, organismos ejecutores y fondos multilaterales. Así lo indicaron alrededor del 60 % de las entidades gubernamentales y las organizaciones de investigación encuestadas, pero solo el 25 % de los organismos donantes encuestados.
Se observa un patrón similar con los sistemas de seguimiento. Existen en el 94 % de los organismos de las Naciones Unidas, frente al 57 % de las organizaciones de investigación, el 50 % de las entidades gubernamentales y los fondos multilaterales, y el 25 % de los donantes. La publicación sistemática de la respuesta de la dirección sigue una dinámica parecida. Se produce en el 90 % de organismos de las Naciones Unidas encuestados, frente al 50 % de los fondos multilaterales, alrededor del 30 % de las entidades gubernamentales y organizaciones de investigación, y solo una pequeña minoría de los organismos donantes.
Cabe destacar un dato: solo el 30 % de las organizaciones encuestadas cuenta con un sistema de seguimiento de acceso público, mientras que el de todas las entidades gubernamentales encuestadas no lo es. Para un sector que promueve la transparencia y la rendición de cuentas —y en un momento en el que se hace cada vez más hincapié en la investigación y la evaluación responsables— resulta cada vez más difícil justificar que el seguimiento de las recomendaciones no sea de acceso público.
Diez recomendaciones para el ciclo de evaluación
Sobre la base de los resultados de la encuesta, el examen bibliográfico, el análisis de 100 evaluaciones y las contribuciones de la discusión de EvalforEarth, hemos formulado diez recomendaciones, organizadas en torno a las cinco fases de una evaluación independiente. Consulte el estudio para ver la lista completa.
En las diez recomendaciones se aplica una lógica común: el uso de los datos de las evaluaciones corresponde —ante todo— al ámbito de la gestión. Es más probable que las evaluaciones influyan en las decisiones cuando se diseñan teniendo en cuenta el contexto y los recursos disponibles, se apoyan en análisis de evaluabilidad y se rigen por funciones claramente definidas que preservan la independencia sin menoscabar la calidad. Hacer más accesibles los informes de evaluación, realizar exámenes a mitad de período en momentos oportunos y establecer sistemas de seguimiento abiertos contribuye a que los resultados de las evaluaciones se utilicen y se tengan en cuenta.
Pueden consultar el estudio completo (Toma, I., Jouini, I., y Maciel Pinto, D. 2025. Mapping Evaluation Management Practices in International Research and Development Organizations) aquí.
Iniciar sesión y participar¿Aún no es miembro? Regístrese aquí