I have been involved in evaluation of research quality for the past 12 year (research papers as an editor also of projects and programs
Publicado el 26/05/2023
Gracias, Seda, por tu importante pregunta. Como se indica en varias ocasiones, las Directrices se basan en el Instrumento de Evaluación RQ+ (www.idrc.ca/RQplus) del Centro Internacional de Investigaciones para el Desarrollo (CIID). De ahí que algunas ideas y sugerencias útiles de una organización de desarrollo formen parte integrante de las Directrices.
Quizás la forma más sencilla de responder a su pregunta sea utilizar la Tabla 8 de la pág. 20 Temas e indicadores de datos cualitativos por dimensión de la QoS, con criterios de evaluación (enlace). Esta tabla se elaboró para evaluar los proyectos de investigación para el desarrollo del CGIAR. En mi opinión, la mayoría de los temas e indicadores de calidad de un proyecto de investigación científica para el desarrollo son igualmente pertinentes para evaluar la calidad de un proyecto de desarrollo. En cuanto al diseño, como evaluadora querría saber si el diseño es coherente y claro y si las metodologías se ajustan a las intervenciones previstas. En cuanto a las aportaciones, me fijaría en la base de conocimientos y la diversidad del equipo del proyecto, si la financiación disponible era suficiente para completar el proyecto satisfactoriamente y si el desarrollo de capacidades era adecuado para las actividades previstas y sería suficiente para garantizar la sostenibilidad del impacto una vez finalizado el proyecto. En cuanto a los procesos, mis principales preguntas serían el reconocimiento y el carácter integrador de las asociaciones, si las funciones y responsabilidades estaban bien definidas y si había riesgos o consecuencias negativas que yo debiera conocer. Por último, en cuanto a los resultados, me interesaría saber si los métodos y herramientas de comunicación eran adecuados, si el trabajo en red previsto incluía la participación de las partes interesadas apropiadas y necesarias, si el proyecto era suficientemente consciente de si el entorno propicio favorecía el éxito del proyecto, en su caso, si se establecían vínculos con los responsables políticos y si la preparación para la ampliación formaba parte de la participación de las partes interesadas.
La sección 4 de las Directrices sobre los pasos clave para evaluar la calidad de la ciencia en la investigación para el desarrollo propone métodos que también son pertinentes para los proyectos de desarrollo. Entre ellos se incluyen la revisión de documentos, las entrevistas, los debates en grupos de discusión, el análisis de redes sociales, la teoría del cambio y el uso de rúbricas para reducir la subjetividad al utilizar indicadores cualitativos. El uso de rúbricas es una piedra angular del Instrumento de Evaluación RQ+ del IDRC.
United Kingdom
Jillian Lenne
Consultant
Independent consultant
Publicado el 14/11/2023
Me gustaría contribuir al debate con el siguiente artículo. Ha sido publicado recientemente por Outlook on Agriculture en un número especial sobre agroecología:
“Measuring agroecology and its performance: An overview and critical discussion of existing tools and approaches” (en inglés)
Matthias S Geck, Mary Crossland y Christine Lamanna
Outlook on Agriculture 52:349-359
https://journals.sagepub.com/doi/full/10.1177/00307270231196309
Resumen
Los sistemas agrarios y alimentarios (SAA) son intrínsecamente multifuncionales y representan uno de los principales motores de las crisis mundiales, pero al mismo tiempo encierran un enorme potencial para abordar múltiples retos simultáneamente y contribuir de forma sistémica a la consecución de los objetivos de desarrollo sostenible. Las actuales mediciones del rendimiento de los sistemas agrarios y alimentarios a menudo no tienen en cuenta esta multifuncionalidad, centrándose desproporcionadamente en la productividad y la rentabilidad, excluyendo así las "externalidades", es decir, los valores medioambientales y sociales clave creados por los sistemas agrarios y alimentarios. La agroecología se reconoce cada vez más como un enfoque prometedor para la sostenibilidad del sistemas agrarios y alimentarios, debido a su naturaleza holística y transformadora. Este creciente interés y compromiso con la agroecología por parte de diversos actores implica la necesidad de enfoques armonizados para determinar cuándo una práctica, un proyecto, una inversión o una política pueden considerarse agroecológicos, así como enfoques que garanticen que los múltiples valores económicos, medioambientales y sociales creados por los sistemas agrarios y alimentarios se capturan adecuadamente, creando así igualdad de condiciones para comparar la agroecología con las alternativas. En esta contribución al número especial sobre agroecología, presentamos una visión general de las herramientas y marcos existentes para definir y medir la agroecología y sus resultados, y debatimos críticamente sus limitaciones. Identificamos varias deficiencias, como la escasez de enfoques que permitan medir la agroecología y su rendimiento a escala de paisaje y de sistema alimentario, y el uso de indicadores estandarizados para medir la integración de la agroecología, a pesar de su especificidad contextual. Estas reflexiones ponen de relieve la necesidad de evaluaciones centradas en estas escalas ignoradas y de investigación sobre la mejor manera de conciliar la necesidad de enfoques comparables a nivel mundial con la evaluación de la agroecología de una manera localmente relevante. Por último, esbozamos las iniciativas en curso en nombre de la Alianza para la Transformación de la Agroecología que pretenden superar estas deficiencias y ofrecen una vía prometedora para trabajar en la armonización de los enfoques. Invitamos a todos los lectores a contribuir a estos esfuerzos de colaboración de acuerdo con el principio agroecológico de participación y cocreación del conocimiento.