Publicado el 19/09/2023
Gracias a Jean por plantear esta discusión.
Estimados colegas,
Por favor, tengan paciencia conmigo mientras comparto contenido académico con el fin de ampliar un poco la discusión.
En definitiva, ¿qué son los métodos mixtos? Creo que el debate entre métodos cualitativos y cuantitativos es bastante reduccionista. Y, sinceramente, no puedo creer que aún estemos discutiendo si los ensayos controlados aleatorios son el estándar de referencia.
Me gustaría compartir un enfoque que me llamó la atención. Del profesor Paul Shaffer, de la Universidad de Trent (Canadá), se centra en el uso de métodos mixtos para la evaluación de impacto, pero entiendo que puede extrapolarse a otros tipos de estudios, como la evaluación de resultados. Lo que me gusta de su propuesta es que va más allá del debate entre métodos cuantitativos y cualitativos.
En su opinión, las categorías que supuestamente diferencian los enfoques cuantitativos y cualitativos se están diluyendo. Por ejemplo: (a) en muchas ocasiones los datos cualitativos se cuantifican; (b) los grandes estudios cualitativos permiten la generalización (si bien se trata de una característica de los estudios cuantitativos); y (c) casi siempre recurren a dos modos de inferencia: la inducción y la deducción.
En vista de lo anterior, ¿qué son los “métodos mixtos”?
Una combinación de enfoques que puedan aportar solidez a un diseño, diferentes perspectivas para analizar una misma cuestión. En función de las preguntas que se deseen responder o probar, los “métodos mixtos” para la evaluación de impacto podrían consistir en la conjunción de dos o más métodos cuantitativos. Por tanto, se podrían utilizar diferentes métodos cualitativos para mejorar la solidez de una evaluación/investigación. A esta combinación también se la denominaría “métodos mixtos”.
Y yendo un poco más allá, ¿no podríamos considerar la combinación de enfoques “colonizadores” con enfoques “indígenas” como “métodos mixtos” también?
Espero que esta aportación pueda contribuir a la reflexión.
Un cordial saludo,
Emilia
Emilia Bretan
Evaluation Specialist
FAO Office of Evaluation (OED)
Italy
Emilia Bretan
Evaluation Manager
FAO
Publicado el 15/02/2024
Estimados colegas,
Muchas gracias por su participación e interacción en esta discusión. Comparto unos breves comentarios sobre las contribuciones más recientes:
Nea-Mari, gracias por la información y los enlaces sobre el SyE finlandés de los ODS a nivel subnacional. ¡Son ejemplos inspiradores para otros países y ciudades! Esosa, muchas gracias por destacar el papel fundamental de la evaluación en los programas de desarrollo basados en evidencias. Mark, coincido contigo en que reconocer las limitaciones de nuestros estudios/evaluaciones es siempre una buena práctica. Gracias por poner de relieve esta reflexión.
Esta discusión llega a su fin, pero habrá más oportunidades en el futuro para seguir compartiendo ideas y conocimientos sobre el apoyo a los avances hacia el cumplimiento de los ODS por medio de la evaluación.
Les deseo a todos lo mejor. Estén atentos a futuras actualizaciones.
Emilia
Italy
Emilia Bretan
Evaluation Manager
FAO
Publicado el 06/02/2024
Estimados colegas,
Gracias por contribuir a esta animada discusión.
Comento algunas cuestiones, no con la intención de agotar la conversación (¡ni tampoco de resumirla!), sino con la esperanza de inducir alguna reflexión adicional.
1. No nos deberíamos limitar a medir la contribución/los progresos hacia el cumplimiento de los Objetivos de Desarrollo Sostenible (ODS). Existen diversos estudios/evaluaciones e indicadores específicos (incluidos indicadores indirectos) que contribuyen también a conocer los avances en materia de desarrollo. Los ODS no son algo aislado y puede haber varias vías y caminos que lleven a un mismo lugar. Dorothy y John Akwetey expusieron este asunto, aunque también se aborda en otras contribuciones. Asimismo, pusieron de relieve la importancia de las evaluaciones a nivel nacional, institucional y subnacional, más allá de las evaluaciones a gran escala de los ODS.
El enfoque utilizado por el estudio sobre evidencias evaluativas compartido por Mark Engelbert —que utilizó las evaluaciones de impacto como elemento fundamental— parece abordar esta cuestión.
En la misma línea, cabría mencionar también la labor que está desarrollando la Coalición mundial para la síntesis de evidencias evaluativas sobre los ODS. La síntesis se puede utilizar como alternativa a una evaluación centrada en los ODS, o como parte de un estudio más amplio. Las síntesis siguen un enfoque sistemático y transparente para identificar, recopilar y evaluar la calidad de evaluaciones individuales. Y, posteriormente, sintetizar las conclusiones y lecciones extraídas de los conjuntos de evidencias evaluativas. El enfoque incluye mapas de carencias de evidencias y otras herramientas, incluido un proceso riguroso (y su marco correspondiente) para incluir/excluir estudios.
2. Los desafíos para evaluar los ODS a los que se enfrentan la mayoría de países y actores del desarrollo —y que Ram Khanal Lovemore Mupeta y Hadera Gebru comparten con diferentes enfoques— incluyen recursos limitados, datos insuficientes, falta de técnicas de evaluación adecuadas y metas complejas interrelacionadas. En vista de estos desafíos, deberíamos: i) considerar/buscar otros enfoques (la síntesis es uno de ellos), en lugar de realizar evaluaciones que pueden ser desalentadoras; ii) empezar poco a poco; y iii) planificar acertadamente estudios que puedan ser útiles. La participación en el proceso de profesionales nacionales (evaluadores y encargados de la ejecución, de diferentes sectores) podría contribuir a concienciar a la población y crear capacidad evaluativa.
Desafortunadamente, los grandes disturbios y desafíos políticos pueden dar al traste con cualquier intento de evaluar los progresos hacia el cumplimiento de los ODS. Un ejemplo de esto es la situación en Etiopía, donde las crisis posteriores a la pandemia de la enfermedad por coronavirus (COVID-19) y la guerra civil han socavado todos los avances en materia de desarrollo.
3. El nivel subnacional (en particular el nivel local) es otro desafío reconocido, mencionado en muchas contribuciones. Nea-Mari, tengo curiosidad por conocer algún ejemplo de lo que ha estado haciendo Finlandia a nivel local: ¿qué tipos de soluciones digitales habéis adoptado para el seguimiento y evaluación (SyE) de los avances hacia el cumplimiento de los ODS? También me sorprende positivamente la influencia de la evaluación en las elecciones parlamentarias y la planificación del nuevo programa de gobierno. Nea-Mari, ¿cuáles dirías que son los elementos fundamentales que hacen que la evaluación sea tan poderosa en Finlandia?
4. Ejemplos de informes. Pelagia Monou, Fabandian Fofana: me pregunto si los informes de las evaluaciones en las que habéis participado son públicos y podríais compartir los enlaces con nosotros. Pelagia, ¿pudisteis ir más allá del número de proyectos y presupuesto para aprovechar las contribuciones/resultados? Fabandian, ¿medisteis las contribuciones a los ODS a nivel local? ¿Quién participó y de qué manera?
5. Y, por último, aunque no por ello menos importante, una especie de nota al margen sobre un hallazgo del informe de la Iniciativa internacional para la evaluación del impacto (3ie), compartido por Mark: se ha descuidado la labor de evaluación sobre los ODS relacionados con el planeta (ODS 6, ODS 12, ODS 13, ODS 14 y ODS 15). El informe sostiene que se han realizado muy pocas evaluaciones de impacto del ODS 12 (Producción y consumo responsables), el ODS 14 (Vida submarina) y el ODS 15 (Vida de ecosistemas terrestres). Aunque tengo mi propia hipótesis para justificar este hallazgo, me pregunto si Stefano D'Errico, Ram Khanal y otros colegas con experiencia en el sector medioambiental querrían compartir alguna explicación😊.
Aún queda mucho camino por recorrer: ¡Chris, Olivier y Lal nos recuerdan lo poco que queda para el marco posterior a la Agenda 2030!
¡¡Gracias a todos por vuestras contribuciones!!
Un cordial saludo,
Emilia