I am a Monitoring, Evaluation, and Learning (MEL) expert with over 15 years of related work experience gained in international and national Non-Governmental Organizations (NGOs) and Governments in East and West Africa. My MEL experience has been in the roles of management, advisory, consultancy, and volunteerism.
Publicado el 05/05/2023
Estimados miembros,
Este es un debate interesante.
Informar forma parte de la comunicación y un informe es una de las herramientas de comunicación. Idealmente, todo proyecto, programa o intervención debería contar con un plan de comunicación claro basado en un análisis de las partes interesadas ( ...que identifique claramente las funciones, la influencia y la estrategia de gestión). También puede elaborarse un plan de comunicación específico para las evaluaciones. Un plan de comunicación suele tener líneas de actividad y presupuesto y responsabilidades y debe formar parte del presupuesto general del proyecto, programa o intervención. Puede que no sea práctico que el evaluador asuma todas las responsabilidades del plan de comunicación de la evaluación, pero puede asumir algunas, sobre todo las principales, ya que la comunicación puede ser algo de largo recorrido, especialmente si tiene como objetivo influir en las políticas o cambiar comportamientos y, como todos sabemos, los evaluadores suelen tener limitaciones de tiempo. La comunicación de la evaluación secundaria puede ser gestionada por los gestores y comisarios de la evaluación con el apoyo técnico de los socios de comunicación.
Mi opinión.
Gordon
Kenya
Gordon Wanzare
Monitoring, Evaluation, & Learning Expert
Publicado el 09/10/2023
Estimado Jean, estimados colegas,
Gracias por aclarar que la discusión no se limita a programas, sino que también incluye proyectos o cualquier intervención humanitaria o de desarrollo. Está siendo muy instructiva y enriquecedora. ¡Y estoy aprendiendo mucho!
Cuando sostengo que, en el contexto de una evaluación, “cuando algo es demasiado complicado o complejo, la simplicidad es la mejor estrategia”, quiero decir que no es necesario utilizar varias metodologías y fuentes de datos para tener en cuenta la complejidad. Los datos cuantitativos y cualitativos se pueden centrar en los objetivos y las preguntas de la evaluación. Por ejemplo, utilizar enfoques de evaluación que tienen en cuenta la complejidad —como la recolección de resultados, el seguimiento de procesos, el análisis de contribuciones, el análisis de redes sociales, etc.— no implica necesariamente que haya que emplear varios métodos de recopilación de datos cuantitativos y cualitativos. Por ejemplo, en la recolección de resultados, se puede recurrir a la revisión de documentos y las entrevistas a informadores clave para elaborar descriptores de resultados. Y, posteriormente, durante la fundamentación, realizar una encuesta y entrevistar a informadores clave. He utilizado análisis de redes sociales y entrevistas a informadores clave para evaluar el cambio en las relaciones entre agentes de un sistema de mercado. Asimismo, he realizado análisis de redes sociales y entrevistas en profundidad en un estudio de impacto social de un programa de desarrollo de la iniciativa empresarial para jóvenes rurales. En esencia, basta con utilizar tres métodos de recopilación de datos (el concepto del taburete de tres patas o del triángulo) para alcanzar los objetivos de evaluación con información concreta y precisa. Mucho se ha escrito sobre cómo superar la complejidad con simplicidad en diferentes esferas de la vida, la gestión, el liderazgo, etc.
En relación con la pregunta sobre quién decide la metodología, un plan de seguimiento, evaluación y aprendizaje es muy claro en lo que respecta a las mediciones y los métodos de evaluación, al menos según mi experiencia. Este tipo de planes son elaborados por el equipo del programa. Se pide a los evaluadores que propongan una metodología de evaluación en las propuestas técnicas con un doble propósito: valorar su competencia técnica e identificar la que mejor se ajusta al plan de evaluación. Por lo general, el evaluador y el equipo del programa se ponen de acuerdo sobre la metodología más adecuada durante la fase inicial de la evaluación. Esto forma parte del informe inicial que normalmente suscribe el equipo del programa.
Mi punto de vista sobre estas cuestiones.
Gordon
Kenya
Gordon Wanzare
Monitoring, Evaluation, & Learning Expert
Publicado el 29/09/2023
¡Muy buena pregunta de Jean! ¡Y contribuciones muy perspicaces!
En primer lugar, creo que la pregunta de esta discusión es muy concreta: ¿cómo se utilizan los métodos mixtos en la evaluación de PROGRAMAS? ¿Verdad? Sabemos que un programa consta de dos o más proyectos. Es decir, se trata de un conjunto de proyectos. Por tanto, los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos. Según el diccionario Oxford de la lengua inglesa, un método es un procedimiento particular para realizar o abordar algo. En los procedimientos se utilizan herramientas. Soy de los que creen que, cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!
En función del contexto, el diseño y el plan de evaluación del programa, y los objetivos y las preguntas de la evaluación, el evaluador y el equipo del programa pueden acordar el mejor método —o métodos— que contribuya a alcanzar los objetivos de la evaluación y dé respuesta detallada a las preguntas de ésta. Me gusta el enfoque que se adopta en los hospitales. A excepción de algunas situaciones de emergencia, a los pacientes se les realiza un triaje, una evaluación clínica y una revisión de sus antecedentes médicos, un análisis de laboratorio, unas pruebas radiológicas, etc. El médico analiza y utiliza estas fuentes de información para hacer un diagnóstico, dar un pronóstico y establecer un tratamiento. En función de las circunstancias y los recursos, se decide si todas estas fuentes de información son esenciales o no.
Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos. Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea.
En cualquier caso, puede que se haya realizado una evaluación exhaustiva de determinados proyectos de un programa y se haya documentado su contribución a los objetivos de éste. En tal caso, a nivel de programa bastaría con realizar algo sencillo como un examen o revisión.
Cuando algo sea complicado o complejo, simplifiquen y limítense a unos pocos datos.
Mi punto de vista.
Muchas gracias.
Gordon