Evaluar el aumento de esfuerzos: medir aquello que importa

La urgente necesidad de ampliar el impacto en sectores críticos como la seguridad alimentaria, la agricultura, el desarrollo rural y el cambio climático presenta tanto desafíos como oportunidades. Como evaluadores, cada vez más se nos encarga la tarea de proporcionar información rigurosa para guiar y apoyar estos esfuerzos de ampliación.

Basándome en mi experiencia profesional, he estado profundamente involucrado en la ampliación de un programa de extensión agrícola comunitario y en la evaluación del impacto de una iniciativa de agricultura climáticamente inteligente en múltiples regiones. Estas experiencias me han brindado valiosas perspectivas sobre las complejidades inherentes a la ampliación de iniciativas y han subrayado el papel crítico de una evaluación sólida para impulsar resultados sostenibles.

Reflexionando sobre mi experiencia con el proyecto del CIFOR, "Ampliación de los enfoques jurisdiccionales en el sector del aceite de palma", que se centró en mejorar la preparación de cuatro grandes regencias productoras de aceite de palma en Indonesia, pude observar que la ampliación en este contexto implica expandir enfoques e innovaciones exitosas a través de diferentes jurisdicciones, asegurándose de que se adapten a los contextos locales.

Durante la fase de implementación, involucramos a las partes interesadas en procesos participativos, fomentando sólidas colaboraciones multiactor para codiseñar una Teoría del Cambio, una Teoría de la Acción y un Marco de Monitoreo y Evaluación específicos de cada jurisdicción, y escalando soluciones efectivas como recomendaciones adaptables al plan de acción regional a nivel de jurisdicciones e integradas en políticas como los Planes de Acción Regionales y Nacionales para el Aceite de Palma Sostenible (RAD KSB y RAN KSB) para asegurar la sostenibilidad a largo plazo.

Para medir y evaluar los esfuerzos de ampliación, establecimos mecanismos robustos con indicadores específicos para rastrear el progreso. Aseguramos la integración de las políticas alineando nuestros esfuerzos con el RAD KSB y el RAN KSB para apoyar objetivos de sostenibilidad más amplios, y llevamos a cabo una documentación sistemática, elaboramos la historia del cambio e identificamos vías viables para la implementación de programas jurisdiccionales, fomentando así el aprendizaje y la adaptabilidad a lo largo del proceso de ampliación.

Estimado Hezekiah,

Hemos evaluado diversos programas e intervenciones de la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO) y sus asociados, destinados a mejorar la seguridad alimentaria y la agricultura sostenible. Los informes correspondientes están disponibles en nuestro sitio web: https://www.fao.org/evaluation/es

En muchos casos, nuestras evaluaciones proporcionaron información a las partes interesadas sobre si se habían realizado esfuerzos para ampliar los programas y, en caso afirmativo, si la ampliación había funcionado o no. Hemos aprovechado los resultados de las evaluaciones para formular recomendaciones prácticas para este proceso, destacando los principales factores clave de éxito que han dado lugar a estrategias de adopción más amplias a mayor escala o en otros lugares.
 

A continuación, se incluyen algunos casos ilustrativos:

1. Manejo integrado de plagas (MIP). Una evaluación de la implementación del MIP por parte de la FAO en varias regiones mostró mejoras significativas en el control de plagas y el rendimiento de los cultivos. La evaluación puso de relieve cómo la capacitación de los agricultores locales y la adaptación de las estrategias de MIP dieron lugar a resultados positivos. Esto proporcionó información a las partes interesadas sobre los posibles beneficios de ampliar los programas de MIP a otras zonas agrícolas, en particular a países que se enfrentan a desafíos similares. Los principales factores de éxito identificados incluyeron los enfoques participativos que implicaron a las comunidades locales y el aprovechamiento de los conocimientos tradicionales.

2. La iniciativa “Mejora de la gobernanza mundial para la seguridad alimentaria”. Este programa tuvo como objetivo mejorar la cooperación entre las partes interesadas en materia de seguridad alimentaria. Las evaluaciones revelaron que la mejora de las estructuras de gobernanza fue fundamental para permitir una mayor participación de las partes interesadas y una mejor asignación de recursos. Los resultados recomendaron ampliar la capacitación en materia de gobernanza a nivel local, identificándola como una de las mejores prácticas que se podrían adoptar en otras regiones. La evaluación subrayó la importancia de establecer canales de comunicación y marcos de colaboración claros, que resultaron fundamentales para lograr resultados positivos en materia de seguridad alimentaria.

3. Agricultura climáticamente inteligente. Las evaluaciones de los programas de agricultura climáticamente inteligente de la FAO demostraron de qué manera la integración de la resiliencia climática en las prácticas agrícolas benefició a campesinos en varios países. Las evaluaciones señalaron que la ampliación de estas intervenciones mejoró la productividad y la sostenibilidad. Los principales factores de éxito incluyeron la prestación de asistencia técnica, el acceso a información climática y la creación de parcelas de demostración. Como resultado, se formularon recomendaciones para ampliar iniciativas similares de agricultura climáticamente inteligente a otras zonas agrícolas vulnerables.

4. Programa de seguridad alimentaria y nutricional en Etiopía. La evaluación de este programa polifacético mostró mejoras notables en la diversidad dietética y el acceso a los alimentos en los hogares beneficiarios. Asimismo, destacó la importancia de la participación comunitaria y el contenido localizado de los módulos de capacitación, que resultaron fundamentales para implementar la iniciativa con éxito. Las recomendaciones formuladas abogaron por ampliar el programa a otras regiones de Etiopía y otros países, sobre la base de los resultados positivos observados, subrayando así el papel crucial de las intervenciones específicas para cada contexto.

5. Apoyo a los pequeños agricultores. Una evaluación centrada en iniciativas de la FAO destinadas a apoyar a los pequeños agricultores mediante el acceso a los recursos y los mercados concluyó que estos programas tenían índices elevados de éxito a la hora de mejorar la seguridad alimentaria y los niveles de ingresos. Los modelos exitosos fueron identificados para su posible ampliación a diferentes contextos en África y Asia. El informe de evaluación destacó la importancia de crear asociaciones locales y mecanismos de apoyo constante para garantizar la sostenibilidad y eficacia a largo plazo.

Entre otros, estos ejemplos ilustran la forma en que la FAO y sus asociados utilizan las evaluaciones para obtener información práctica que facilite la ampliación de programas destinados a mejorar la seguridad alimentaria y promover prácticas agrícolas sostenibles en todo el mundo. Las conclusiones proporcionan una hoja de ruta para reproducir y adaptar las iniciativas en diversos contextos, contribuyendo en última instancia a esfuerzos más amplios para alcanzar objetivos en materia de seguridad alimentaria.
Enseñanzas adquiridas

Una de las enseñanzas principales es la importancia de las evaluaciones específicas para cada contexto, que tienen en cuenta las condiciones locales y la dinámica de las partes interesadas. Además, la participación de las comunidades locales en todo el proceso de evaluación mejora la apropiación y pertinencia de las iniciativas de ampliación. Algunos criterios que se podrían utilizar para evaluar una ampliación exitosa: 
- Evidencias de mayor acceso a /adopción de innovaciones.
- Cambios positivos en los resultados previstos (p. ej. mejora de los medios de vida, mejora de la seguridad alimentaria).
- Sostenibilidad de los esfuerzos de ampliación a lo largo del tiempo.

¡Espero que sigamos debatiendo y aprendiendo juntos sobre este importante tema!

Estimado Hezekiah:

Profundizando en mis respuestas y atendiendo a tus preguntas, las siguientes consideraciones son importantes de señalar. La Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO) emplea varios enfoques de evaluación sensibles al contexto para evaluar eficazmente el éxito de sus iniciativas. A continuación, se detallan algunas estrategias específicas que la FAO ha utilizado:

Participación de los actores involucrados: La FAO involucra activamente a actores en diversos niveles, incluidas comunidades locales, organismos gubernamentales y ONGs, en el proceso de evaluación. Este enfoque participativo ayuda a recopilar perspectivas diversas, asegurando que las evaluaciones estén fundamentadas en las realidades y necesidades de quienes son directamente afectados.

Análisis contextual: Antes de realizar evaluaciones, la FAO lleva a cabo análisis contextuales exhaustivos para entender los factores socioeconómicos, ambientales y culturales que influyen en las prácticas agrícolas y la seguridad alimentaria en regiones específicas. Esto ayuda a adaptar las evaluaciones para reflejar las condiciones y desafíos locales.

Utilización de métodos mixtos: La FAO emplea una combinación de métodos cualitativos y cuantitativos en sus evaluaciones. Al integrar encuestas, estudios de caso, discusiones en grupos focales y entrevistas, la organización puede captar una visión holística de los resultados e impactos, teniendo en cuenta las complejidades de los contextos locales.

Asegurar el éxito y la sostenibilidad en el escalamiento de proyectos agrícolas es fundamental para lograr un impacto a largo plazo. Varios indicadores pueden ayudar a evaluar la sostenibilidad de los esfuerzos de escalamiento en estas iniciativas. A continuación, se presentan algunos indicadores clave a considerar:

1. Viabilidad Económica:
   • Relación Costo-Beneficio: Medir los retornos económicos del proyecto en relación con los costos incurridos.
   • Margen de Ganancia: Evaluar la rentabilidad de las operaciones escaladas.
   • Acceso al Mercado e Integración en la Cadena de Valor: Evaluar la capacidad de los agricultores para acceder a mercados y participar en cadenas de valor.
2. Impacto Ambiental:
   • Salud del Suelo: Monitorear la fertilidad del suelo, las tasas de erosión y el contenido de materia orgánica.
   • Biodiversidad: Medir la diversidad de cultivos y fauna en el área influenciada por el proyecto.
   • Uso del Agua: Evaluar la eficiencia en el uso del agua y la sostenibilidad de los recursos hídricos empleados en las prácticas agrícolas.
3. Equidad Social:
   • Participación Comunitaria: Evaluar el nivel de participación y compromiso de los actores locales en la toma de decisiones.
   • Acceso a Recursos: Monitorear el acceso equitativo a la tierra, el crédito y los insumos para todos los agricultores, especialmente los grupos marginados.
   • Inclusión de Género: Evaluar la participación de mujeres y grupos marginados en la agricultura, la toma de decisiones y los beneficios del proyecto.
4. Resiliencia y Adaptabilidad:
   • Prácticas de Gestión del Riesgo: Evaluar la adopción de prácticas que mejoren la resiliencia frente al cambio climático, las plagas y las fluctuaciones del mercado.
   • Diversificación de Ingresos: Analizar la diversificación de las fuentes de ingresos de los agricultores involucrados en el proyecto.
5. Adopción Tecnológica e Innovación:
   • Uso de Prácticas Sostenibles: Medir la adopción de prácticas agrícolas sostenibles, como la agricultura orgánica, la agricultura de conservación y la agroforestería.
   • Transferencia de Innovación: Evaluar la efectividad de los mecanismos de transferencia de conocimientos y tecnologías.
6. Desarrollo de Capacidades y Educación:
   • Programas de Capacitación y Apoyo: Evaluar la disponibilidad y efectividad de los programas de capacitación para los agricultores.
   • Acceso a Información: Monitorear la disponibilidad y accesibilidad a la investigación agrícola y a los servicios de extensión.
7. Impacto en las Comunidades Locales:
   • Seguridad Alimentaria: Medir los cambios en los niveles de seguridad alimentaria de los hogares en el área objetivo.
   • Mejora Nutricional: Evaluar las mejoras en la diversidad dietética y la nutrición de las poblaciones locales.

Espero que esta información sea útil.

Con mis mejores saludos,

Serdar Bayryyev,
Oficial Superior de Evaluación, FAO

Querido Hezekiah,

Gracias por los comentarios y las preguntas de seguimiento.

Dado que las intervenciones del proyecto se centran más en influir en la planificación que en la implementación directa, mi explicación anterior (involucrar a las partes interesadas en procesos participativos y fomentar sólidas colaboraciones entre múltiples partes interesadas para el codiseño) es esencial para garantizar que el enfoque tenga un impacto real. Si bien aún no hemos realizado una evaluación independiente para este proyecto, las historias de cambio nos han ayudado a autoevaluar su impacto hasta cierto punto. Las Historias de Cambio (HC) documentan las prácticas exitosas y los desafíos como referencia para la replicación en otros contextos, al tiempo que apoyan la evaluación basada en evidencia de la efectividad de la estrategia. (Se publicarán próximamente)

Las métricas establecidas para seguir el progreso incluyen: (1) monitoreo del proceso para rastrear el logro de los objetivos a nivel de resultados, (2) medición de los indicadores de progreso para los objetivos a nivel de impacto, y (3) Historias de Cambio para describir el impacto del proyecto en partes interesadas o instituciones individuales.

De un evaluador que evalúa los procesos participativos y la colaboración de las partes interesadas, esperaría que prestara atención a la representación e inclusión de todos los grupos, incluidos los vulnerables, asegurando que la participación sea sustantiva con aportes significativos, transparencia y equidad, sinergias para alinear objetivos y resultados colaborativos que reflejen el consenso compartido en forma de productos o planes de acción.

Cualquier persona que quiera echar un vistazo a los productos del proyecto y nuestros productos de conocimiento puede acceder a ellos a través del siguiente enlace: https://www.cifor-icraf.org/project/scaling-JA-palmoil/#home

Gracias. Esto es muy valioso.

Espero que Hezekiah considere mirar la ampliación en términos de:

• Desarrollo de políticas para permitir innovaciones afines, además de
• "Expansión" horizontal de factores de éxito.

Ambos tienen ventajas y desventajas que la discusión puede aprender basándose en su experiencia y la de otros también.

Mis mejores deseos. 

Kudzai Chatiza PhD. (Mudombi) 

Investigador y Consultor Senior de Desarrollo

Medir lo que Importa – Parámetros Críticos de Evaluación Pasados por Alto

Basándome en el subtítulo de esta evaluación, permítanme profundizar en un par de parámetros críticos pero generalmente pasados por alto que, una vez incluidos, podrían cambiar sustancialmente la manera en que asistimos a las comunidades de pequeños agricultores y quizás mejorar la forma en que ampliamos la aceptación de innovaciones destinadas a ayudarlos a mejorar su bienestar. Estos parámetros pueden posiblemente observarse sin necesidad de entrevistar a los agricultores, o al menos pueden confirmarse visualmente con los datos obtenidos en entrevistas.

El parámetro crítico es “el momento de las operaciones de campo”. ¿Alguien ha considerado esto alguna vez? ¿Cuánto tiempo les toma a los agricultores completar tareas básicas como el establecimiento de cultivos, el deshierbe, la cosecha y la trilla? ¿Cómo se compara esto con lo que anticipan los especialistas en desarrollo? ¿Por qué hay tales retrasos? Típicamente, se espera que el tiempo para el establecimiento del cultivo sea de solo dos semanas; sin embargo, si se evalúa cuidadosamente en la agricultura manual —como todavía lo hacen la mayoría de los pequeños agricultores—, se identificaría con precisión que se extiende por más de ocho semanas. Esto va mucho más allá del tiempo previsto para la implementación óptima de actividades intermedias como el deshierbe, lo que conlleva una disminución en el potencial de rendimiento. Una simple observación física de los campos asociados con una comunidad del proyecto mostraría fácilmente esta extensión en el tiempo de establecimiento del cultivo. El retraso suele ser notado casualmente por el personal de desarrollo, pero no se evalúa y se atribuye a una falta de motivación, educación sobre la importancia de una siembra temprana o a la dispersión del riesgo. Yo tiendo a descartar todas estas explicaciones y añado otra posibilidad más probable: los agricultores tienen una ingesta calórica limitada en comparación con lo que se necesita para una jornada completa de trabajo agronómico en el campo.

Reconocemos que los agricultores son pobres y pasan hambre, pero no consideramos el hambre como un obstáculo para la gestión de cultivos. Este sería otro parámetro críticamente pasado por alto, con sorprendentemente pocos datos sólidos. Los datos limitados disponibles muestran que los pequeños agricultores, con suerte, tienen acceso a 2,500 kcal/día, lo que, después de destinar 2,000 kcal/día para el metabolismo básico, deja solo 500 kcal/día para el esfuerzo físico. En comparación, la necesidad dietética para una jornada completa de trabajo agronómico es de 4,000 kcal. Con solo 500 kcal, la jornada laboral se limita a un par de horas de diligencia, quizás extendida a algunas horas más con menor intensidad. En una introducción al tema en Kenia, se mencionó que la jornada laboral casual en ese país es de solo 5 horas. Si añadimos esto a nuestros parámetros de evaluación, ¿podríamos entender mejor los desafíos que enfrentan los pequeños agricultores y proporcionar orientación para mejorar el escalamiento en la gestión de cultivos y la seguridad alimentaria? Sin embargo, es necesario reconocer esto como un obstáculo importante para el escalamiento de la adopción agronómica antes de que se incluya como un parámetro necesario en las evaluaciones.

Otra manera rápida de abordar el problema, y quizás confirmar la necesidad de atender esta cuestión, es realizar una visita de campo donde sea posible observar una variedad de granjas y ver cuántas personas trabajan en el campo por la mañana y nuevamente después del almuerzo. Espero que habrá una disminución sustancial en la observación de la tarde. Ese fue el caso en Madibira, Tanzania, el proyecto de arroz irrigado de 3,000 hectáreas en el que trabajé, lo que estimuló mi interés en el equilibrio energético dietético.

Si el equilibrio energético dietético es un problema crítico en el escalamiento de la producción agrícola, ¿cuán crucial será facilitar el acceso de los pequeños agricultores a la mecanización por contrato para reducir el esfuerzo físico y acelerar el tiempo de establecimiento del cultivo, permitiéndoles concentrarse en otras actividades importantes de gestión de cultivos? La importancia de la mecanización para la pequeña agricultura puede verse fácilmente en Asia productora de arroz, donde hace más de 30 años los agricultores pasaron del búfalo de agua a los motocultores. Aunque hay datos limitados sobre su impacto, me da la impresión de que redujo a la mitad el período de establecimiento del cultivo, aumentó el área que un agricultor podía gestionar, facilitó el doble cultivo de arroz irrigado y, con la adición de pequeñas cosechadoras, permitió cinco cosechas de arroz cada dos años. También podemos observar Egipto, donde la preparación de tierras con tractores por contrato ha sido una práctica común durante al menos 40 años que puedo documentar. ¿Es posible escalar la producción de los pequeños agricultores sin facilitar el acceso a la mecanización? Vale la pena señalar que una visita de retorno a Madibira, cinco años después de que terminó el esfuerzo de asesoría, mostró que los agricultores habían adquirido 50 motocultores asiáticos para el esquema de riego de arroz y 4 tractores de cuatro ruedas para las áreas de secano adyacentes. Si la comunidad de desarrollo tiene poco interés en la mecanización, los agricultores ciertamente lo tienen. La necesidad crítica es contar con arreglos financieros que permitan a los propietarios-operadores individuales obtener los tractores necesarios para servir a sus comunidades.

Por favor, tengan en cuenta el artículo de referencia que preparé, en el que reflexiono sobre mis 50+ años trabajando con comunidades de pequeños agricultores. El artículo se centra en la precisión de los hechos más que en la corrección política, con una sección importante sobre el equilibrio energético dietético y la necesidad crítica de mecanización para estas comunidades. El enlace es: https://agsci.colostate.edu/smallholderagriculture/wp-content/uploads/sites/77/2023/03/Reflections.pdf

Gracias.

Hola a todos,

Permítanme presentarles la Comunidad de Práctica de Escalamiento (CoP), una red voluntaria de profesionales del desarrollo y el cambio climático que trabajan para lograr impacto a gran escala. La CoP fue fundada en 2015 por Larry Cooley y Johannes Linn como una plataforma para compartir experiencias y aprendizajes sobre escalamiento en distintos sectores, y ha crecido hasta contar con más de 2,000 miembros de todo el mundo. La misión de la CoP es integrar, sintetizar y consolidar la experiencia en escalamiento con el objetivo de mejorar la calidad de los esfuerzos de escalamiento e incentivar a más actores del desarrollo y del clima a adoptar una mentalidad y mejores prácticas de escalamiento.

Todos son bienvenidos a unirse a la CoP y a sus grupos de trabajo afiliados:

• Agricultura y Desarrollo Rural
• Cambio Climático
• Educación
• Estados Frágiles
• Salud
• Transversalización
• Monitoreo y Evaluación
• Nutrición

La CoP ha producido varios informes que podrían interesar a los colegas de EvalForward. Los informes pueden consultarse [aquí]. El informe de 2022 sobre Principios y Lecciones de Escalamiento (Kohl y Linn) puede ser de particular interés. Este informe responde a la necesidad de una declaración concisa de principios y lecciones de escalamiento que se aplican ampliamente en distintos sectores y están diseñados para orientar a los profesionales del desarrollo. El documento presenta ocho principios de escalamiento y 21 lecciones que desglosan esos principios, agrupados en seis preguntas amplias sobre cómo abordar el desafío del escalamiento.

El Manual de Escalamiento de 2019 (Cooley y Howard) se centra en el escalamiento en el sector agrícola, específicamente en programas internacionales de investigación y desarrollo agrícola. El Capítulo 6, titulado "Adaptación de Métricas, Monitoreo y Evaluación para Apoyar Resultados Sostenibles a Escala", aborda aspectos relevantes para esta discusión. Por ejemplo:

“…pocos proyectos de investigación o piloto generan la información crítica necesaria para ir más allá de la prueba de concepto y proporcionar una base para evaluar la escalabilidad, optimizar la implementación, informar la incidencia y guiar el escalamiento. Sin embargo, la experiencia en escalamiento demuestra que se necesitan los siguientes tres tipos o niveles de información, que son superpuestos pero distintos:

1. Información de Nivel 1 se genera para probar la eficacia de las intervenciones, a menudo en condiciones controladas o semicontroladas.
2. Información de Nivel 2 se utiliza para perfeccionar, simplificar y adaptar las intervenciones a consideraciones políticas, financieras y operativas del mundo real.
3. Información de Nivel 3 se produce durante el proceso de escalamiento para monitorear la fidelidad e informar los ajustes necesarios en el diseño de la intervención y la estrategia de escalamiento."

Es tentador ver estos niveles como una secuencia de necesidades de información a lo largo del tiempo, en la medida en que el enfoque de escalamiento pasa de la eficacia a la eficiencia y a la expansión. Sin embargo, la experiencia sugiere la necesidad de incorporar consideraciones de eficiencia y expansión y de probar los resultados en condiciones realistas lo antes posible, en lugar de posponer estas cuestiones hasta que se establezca la prueba de concepto. De no hacerlo, se corre un grave riesgo de sumar tecnologías “probadas” pero inviables para su escalamiento.”

Además, uno de los documentos de referencia clave (y reciente, de 2024) citado en esta discusión fue desarrollado por otro coautor del Grupo de Trabajo de Agricultura y Desarrollo Rural de la CoP, Lennart Woltering, titulado “Stuck on Scale: Rethinking Scaling and Systems Change for AR4D”.

Woltering afirma que: “Las organizaciones de AR4D están, en gran medida, atrapadas en nociones simplistas, lineales y tecnocéntricas de cómo ocurre el cambio, lo cual se manifiesta en la omnipresente idea de escalar innovaciones.” Argumenta que se necesita un enfoque sistémico (en lugar de un enfoque lineal) para abordar problemas complejos persistentes como la inseguridad alimentaria y la pobreza, y para comprender mejor cómo los sistemas alimentarios pueden transformarse para ser más sostenibles ambientalmente, contribuir a la seguridad alimentaria y mejorar la equidad económica.

Mi conclusión es que nuestras prácticas actuales de Monitoreo y Evaluación son insuficientes para abordar incluso la visión más simple y lineal del escalamiento, y mucho menos las dimensiones sistémicas críticas discutidas por Woltering.

Me alegra que EvalForward haya convocado esta discusión para que podamos unir esfuerzos y mejorar el M&E relacionado con el escalamiento en AR4D. Espero leer y contribuir a la conversación en las próximas semanas. Mientras tanto, ¡una cordial invitación para que todos se unan a la Comunidad de Práctica de Escalamiento!

Hola a todos,

Al reflexionar sobre mi experiencia, mi trabajo se ha centrado principalmente en tres líneas clave de evaluación para la innovación y el escalamiento:

1. Evaluación de Sistemas

El escalamiento requiere puntos de referencia claros de éxito que reflejen necesidades y contextos específicos. Por ejemplo, intervenciones localizadas pueden no aplicarse de manera universal, y algunas innovaciones podrían quedar obsoletas o volverse contraproducentes con el tiempo.

Dada la naturaleza multidimensional del escalamiento —que abarca aspectos socioeconómicos, ecológicos y culturales— los marcos de trabajo deben alinear estrategias a lo largo de contextos y componentes diversos.

Evaluación del valor de los esfuerzos de escalamiento mediante la medición de los posibles beneficios, costos y consecuencias no intencionadas.

Las mecánicas de difusión, como los patrones de adopción modelados a través de herramientas como el modelo de Bass, ayudan a comprender la trayectoria desde la adopción temprana y el crecimiento hasta una eventual saturación.

Las evaluaciones de riesgo basadas en escenarios y las simulaciones son útiles para identificar las condiciones de éxito, anticipar desafíos y perfeccionar estrategias de escalamiento.

2.Evaluación de Redes

Comprender el ecosistema de los actores interesados —ya sea que estén estrechamente conectados o dispersos— puede ayudar a identificar a los primeros adoptantes y a impulsar una estrategia de escalamiento más amplia.

Abordar los diversos intereses y agendas de los actores involucrados, como el gobierno, el sector privado y los líderes locales, es crucial para alinear incentivos y asegurar su compromiso.

Mitigar la resistencia de aquellos que se benefician del statu quo es esencial para superar las barreras.

Explorar oportunidades de cocreación, como el financiamiento colaborativo, las alianzas estratégicas y las asociaciones público-privadas.

3.Evaluación de la Adaptabilidad

Incorporar la evaluación dentro de enfoques adaptativos fomenta el aprendizaje continuo a través del diseño iterativo, pruebas, adaptación y bucles de retroalimentación ejecutados en ciclos cortos.

Herramientas como el Enfoque de Resultados Rápidos (ERR) utilizan procesos estructurados para mejorar el enfoque y la colaboración entre los equipos de ejecución, con la evaluación estableciendo métricas de desempeño para impulsar resultados de manera iterativa.

Gracias a todos los que han contribuido hasta ahora. La profundidad y el alcance de la experiencia son impresionantes, y ponen de manifiesto por qué el escalamiento es tan difícil: se lleva a cabo de muchas maneras, en contextos diversos, con diferentes propósitos y a través de múltiples vías.

Cuando Rob McLean y yo escribimos Scaling Impact: Innovation for the Public Good, queríamos entender qué consideraban los innovadores del Sur Global como un escalamiento exitoso. Aprendimos mucho. También aprendimos cuánto nos queda por aprender.

Un área de aprendizaje es cómo evaluar los esfuerzos de escalamiento. Esto es diferente de evaluar si una innovación, programa, política, etc., funciona (en algún sentido) a diferentes escalas. Eso es importante. Pero, según mi punto de vista, al evaluar el escalamiento, la pregunta es: ¿qué tan bien se ha realizado el escalamiento para lograr el mejor impacto (en algún sentido)?

Parte de mi dificultad para responder a esta pregunta evaluativa radica en la perspectiva. Creo que siempre queremos responderla desde la perspectiva de las personas que se ven afectadas por el escalamiento. Además, podríamos querer responderla desde la perspectiva del innovador que guía una innovación a través de su ciclo de vida, canalización, difusión, etc. O podríamos responderla desde la perspectiva de las organizaciones que implementan programas, venden productos o promueven políticas que fomentan el uso y/o los beneficios de una innovación o conjunto de innovaciones. Por otra parte, podríamos considerar las muchas variaciones de una innovación que pueden surgir a partir de un descubrimiento (por ejemplo, la inteligencia artificial) y cómo, colectivamente, su competencia y complementariedad generan impactos que, para bien o para mal, suelen ser imprevistos. Y luego está la perspectiva más amplia de los sistemas, en la que la innovación es solo uno de muchos factores. Esta no es una lista completa.

¿Qué perspectivas importan? ¿Qué tan factible es considerar más de una al mismo tiempo? ¿Cómo tomamos en cuenta que algunos pueden beneficiarse de una innovación y otros no? ¿O es más simple que esto?

Al finalizar 2024, pensé que sería un buen momento para compartir más recursos gratuitos sobre escalamiento (ver a continuación). Además, me complace anunciar que en 2025 el IDRC planea lanzar un MOOC (curso masivo abierto en línea) sobre escalamiento del impacto. La fecha de lanzamiento aún está por determinarse. Mientras tanto...

Libro, manual y más recursos sobre el escalamiento del impacto en el IDRC

Inglés: https://idrc-crdi.ca/en/scalingscience Francés: https://idrc-crdi.ca/fr/misealechelle Español: https://idrc-crdi.ca/es/scalingscience

Video

Escalamiento del impacto: Cinco grandes ideas (Gargani, 2024)  https://www.youtube.com/watch?v=_k49xuTZyu0

Artículos

Ciencia del escalamiento (Gargani & McLean, 2017)  https://ssir.org/articles/entry/scaling_science

Evaluación dinámica de la investigación agrícola para el desarrollo apoya la innovación y el escalamiento responsable mediante la inclusión de alto nivel (Gargani, Chaminuka & McLean, 2024)  https://www.sciencedirect.com/science/article/pii/S0308521X24001823

Sitio web

scalingXchange Un llamado a la acción desde el Sur Global https://www.scalingxchange.org/

¡Nos vemos en el nuevo año!

John

Ampliando el Impacto: Retos, Perspectivas y Enfoques para una Evaluación Efectiva

Ampliar el impacto de las innovaciones, programas y políticas en áreas como la seguridad alimentaria, la agricultura, el desarrollo rural y el cambio climático es un desafío urgente. A medida que los evaluadores son cada vez más solicitados para apoyar estos esfuerzos, el campo de la evaluación está evolucionando para abordar las complejidades de la ampliación. Este documento explora en detalle el proceso de escalamiento, ofreciendo perspectivas basadas en experiencias profesionales, criterios de evaluación, metodologías y la incorporación de contextos y actores diversos. A través de preguntas orientadoras y recursos de referencia, busca fomentar una comprensión más profunda del escalamiento y su evaluación.

Comprendiendo el Escalamiento

El escalamiento se refiere a expandir el alcance y el impacto de innovaciones, programas o políticas para lograr beneficios sociales más amplios. Este proceso implica aumentar la adopción, adaptar las intervenciones a diferentes contextos y garantizar resultados sostenibles.

Dimensiones del Escalamiento

• Escalamiento Vertical: Incrementar el tamaño o el alcance de una intervención para llegar a una población más grande.
• Escalamiento Horizontal: Expandirse a nuevas áreas geográficas o demográficas.
• Escalamiento Profundo: Cambiar normas culturales, sociales o sistémicas subyacentes para sostener el impacto.

Experiencias Profesionales en Escalamiento

Los evaluadores desempeñan un papel crucial al evaluar y apoyar los esfuerzos de escalamiento. Algunos ámbitos clave incluyen:

Evaluación de Innovaciones para Informar Decisiones de Escalamiento

Los evaluadores suelen analizar programas, políticas o intervenciones para determinar su escalabilidad. Esto incluye examinar:

• Efectividad: ¿La innovación logra los resultados previstos?
• Eficiencia: ¿Se utilizan los recursos de manera óptima para obtener resultados?
• Sostenibilidad: ¿Puede la innovación mantener su impacto a lo largo del tiempo?

Evaluación en Diferentes Niveles o Tipos de Escala

Los esfuerzos de escalamiento ocurren en distintos niveles, desde proyectos piloto locales hasta implementaciones nacionales o globales. Los evaluadores analizan:

• Factores Contextuales: ¿Cómo afectan los contextos geográficos, culturales y económicos la escalabilidad?
• Preparación de los Actores: ¿Están las comunidades, instituciones y responsables políticos listos para adoptar la innovación?

Evaluación del Éxito en los Esfuerzos de Escalamiento

Los criterios de éxito varían, pero a menudo incluyen:

• Tasas de Adopción: El grado en que las poblaciones objetivo adoptan la innovación.
• Métricas de Impacto: Mejoras medibles en resultados como la seguridad alimentaria o la reducción de gases de efecto invernadero.
• Equidad e Inclusión: Asegurar que los beneficios lleguen a grupos marginados o vulnerables.

Apoyo a los Esfuerzos de Escalamiento

Más allá de la evaluación, los profesionales contribuyen mediante:

• Fortalecimiento de Capacidades: Capacitar a los actores para implementar y sostener las intervenciones.
• Intercambio de Conocimientos: Difundir mejores prácticas y lecciones aprendidas.
• Defensa de Políticas: Influir en los tomadores de decisiones para apoyar iniciativas de escalamiento.

Lecciones Aprendidas en la Evaluación de Esfuerzos de Escalamiento

Desafíos

• Complejidad: El escalamiento a menudo implica sistemas interconectados con dinámicas impredecibles.
• Sensibilidad al Contexto: Las intervenciones que funcionan en un lugar pueden fracasar en otro.
• Sostenibilidad: Mantener el impacto a lo largo del tiempo requiere recursos y compromiso continuos.

Perspectivas Clave

• La Adaptación es Clave: La replicación rígida rara vez funciona; las intervenciones deben evolucionar para adaptarse a nuevos contextos.
• Involucrar a los Actores desde el Inicio: Una planificación inclusiva asegura relevancia y aceptación.
• Monitorear Continuamente: El escalamiento es un proceso dinámico que requiere ajustes en tiempo real.

Preguntas Pendientes

• ¿Cómo medimos el cambio sistémico a largo plazo derivado del escalamiento?
• ¿Qué marcos capturan mejor la interacción entre los esfuerzos de escalamiento y los ecosistemas locales?

Métodos para Evaluar Esfuerzos de Escalamiento

Métodos Tradicionales

• Marcos Lógicos: Definir insumos, actividades, productos, resultados e impactos.
• Estudios de Caso: Análisis detallados de éxitos o fracasos en el escalamiento.
• Encuestas y Entrevistas: Recolectar datos cualitativos y cuantitativos de los actores clave.

Enfoques Innovadores

• Pensamiento Sistémico: Mapear interdependencias en sistemas complejos.
• Evaluación de Desarrollo: Adaptar los procesos de evaluación a esfuerzos de escalamiento en evolución.
• Métodos Participativos: Involucrar a las comunidades en el diseño de criterios de evaluación.

Conclusión

Ampliar el impacto es un desafío multifacético que requiere enfoques innovadores de evaluación. Compartir experiencias, adoptar métodos adaptativos y centrar a las comunidades afectadas permite a los evaluadores desempeñar un papel crucial en la promoción de soluciones escalables para los problemas globales urgentes.

Exploración Adicional

• Scaling Impact: Innovation for the Public Good de Robert McLean y John Gargani (2019).
• Stuck on Scale de Lennart Woltering (2024).
• Innovation Portfolio Management de Schut et al. (2024).

Estimados colegas,

Creo que una innovación, un programa o una política bien elaborada, especialmente siguiendo el enfoque de la teoría del cambio, necesita muy pocos esfuerzos para su escalamiento. Basada en un problema pertinente o una restricción real, analizado de manera participativa, la innovación, el programa o la política que tiene éxito se propaga rápidamente, en términos de adopción y cambio de comportamiento social. El impacto es fácilmente visible y se extiende con mayor facilidad. El esfuerzo de escalamiento de la innovación, el programa o la política puede medirse en tres niveles.

1. A nivel de los adoptantes de la innovación o de la contribución del programa o la política. ¿Cuántos son los que adaptan la innovación? ¿Qué usos se hacen de la innovación o de esta contribución del programa o la política implementada?
2. A nivel de los beneficiarios de la explotación de la innovación adoptada. Porque la adopción de la innovación genera necesidades que son satisfechas por aquellos que son capaces de proveerlas y que, por lo tanto, son los beneficiarios directos de la adopción de la innovación o de la contribución del programa o la política implementada. Además de los beneficiarios directos de la explotación de la innovación adoptada, también existen los beneficiarios indirectos y los beneficiarios de los efectos inducidos que deben ser inventariados. ¿Quiénes son? ¿Cuántos son? ¿Cuál es su distribución geográfica?
3. A nivel del impacto producido por la innovación, el programa o la política implementada. También están los beneficiarios directos, los beneficiarios indirectos del impacto. ¿Quiénes son? ¿Cuántos son? ¿Cuál es su distribución geográfica?

Muchas gracias.

Estimados colegas,

La evaluación de los esfuerzos de escalamiento es un desafío crucial, especialmente en el contexto guineano, donde las innovaciones y los programas de desarrollo juegan un papel esencial en la mejora de la seguridad alimentaria, la agricultura y el desarrollo rural. En Guinea, donde los recursos suelen ser limitados y las necesidades inmensas, es imperativo medir el impacto real de nuestras iniciativas para garantizar que realmente beneficien a las poblaciones locales.

Tomemos el ejemplo de la agricultura sostenible. En Guinea, varios proyectos innovadores buscan mejorar los rendimientos agrícolas y promover prácticas agrícolas sostenibles. Sin embargo, evaluar el éxito de estos proyectos no se limita a medir los rendimientos agrícolas. Es esencial considerar el impacto en las comunidades locales, la sostenibilidad ambiental y la inclusión social. Los evaluadores deben adoptar un enfoque integral, que integre las perspectivas de los agricultores, las organizaciones locales y los responsables políticos [1][2].

Otro aspecto crucial es la complejidad de los sistemas en los que se implementan estas innovaciones. En Guinea, los proyectos de desarrollo a menudo implican múltiples socios, cada uno con sus propios objetivos y contextos. Evaluar el escalamiento en este contexto requiere métodos adecuados para capturar esta complejidad. Los evaluadores no solo deben medir los resultados inmediatos, sino también comprender las dinámicas subyacentes y las interacciones entre los diferentes actores [3][4].

También es crucial asegurar que las personas afectadas por estas innovaciones sean quienes lideren el esfuerzo para amplificar el impacto. En Guinea, esto significa involucrar activamente a las comunidades locales en el proceso de evaluación. Sus voces y experiencias deben estar en el centro de nuestros análisis para garantizar que las innovaciones realmente respondan a sus necesidades y aspiraciones [2][5].

En conclusión, la evaluación de los esfuerzos de escalamiento en Guinea requiere un enfoque integrado y participativo. Debemos ir más allá de los indicadores tradicionales para capturar el verdadero alcance e impacto de nuestras iniciativas. Juntos, podemos desarrollar métodos de evaluación más robustos y adaptados, garantizando así que nuestros esfuerzos de escalamiento contribuyan verdaderamente al desarrollo sostenible e inclusivo de Guinea.

Los invito a compartir sus experiencias y reflexiones sobre este tema crucial. Juntos, podemos enriquecer nuestra comprensión y mejorar nuestras prácticas para lograr un impacto duradero y significativo.

Atentamente,
Jonas Sagno

Referencias:
[1] https://mptf.undp.org/sites/default/files/documents/rapport_final_evaluation_finale_projet_isp_vf.pdf
[2] https://www.evalforward.org/fr/discussions/levaluation-des-actions-de-mise-lechelle-mesurer-ce-qui-compte
[3] https://gret.org/appel-doffres/evaluation-finale-du-projet-doperationnalisation-de-lapproche-one-health-a-lechelle-communale-en-guinee-forestiere/
[4] https://www.globalpartnership.org/fr/node/document/download?file=document%2Ffile%2F2020-06-06-evaluation-sommative-appui-du-pme-guinee.pdf
[5] https://unesdoc.unesco.org/ark:/48223/pf0000375769
[6] https://mptf.undp.org/sites/default/files/documents/25000/pbf-irf-104_gpi2_final_evaluation.docx
[7] https://webapps.ifad.org/members/ec/121/docs/french/EC-2023-121-W-P-3.pdf

 ¡Feliz Año Nuevo!

¡Gracias por proponer este tema tan importante! En Uruguay llevamos a cabo un proyecto muy exitoso del FMAM-FAO sobre producción ganadera climáticamente inteligente.

Ahora el país desea escalarlo, y me pregunto: ¿cómo se evaluará este esfuerzo de escalamiento?

El primer punto es entender que el proyecto ya finalizado fue un "proyecto piloto" para validar algunas hipótesis. Y esas hipótesis fueron validadas, pero bajo un entorno algo "controlado":

(i) Los productores involucrados eran menos heterogéneos que el universo total de productores nacionales.
(ii) Por lo tanto, fue posible utilizar una única metodología para trabajar con ellos.
(iii) Los incentivos de los productores para participar en el proyecto también eran menos heterogéneos que todos los posibles incentivos a considerar al incluir a todos los tipos de productores del país.
(iv) Los entornos biológicos considerados en el "proyecto piloto" eran una muestra representativa, pero no todos los entornos biológicos a nivel nacional.

Así que, al pensar en escalar la intervención, ¡varios desafíos llegan a la mesa del equipo del proyecto!

¡Disculpen que no aporte soluciones, sino solo desafíos!

Tengo algunas ideas, pero me gustaría escuchar voces más experimentadas.

Quedo atento a los comentarios de nuestros colegas.

Atentamente,
Vicente Plata

IICA participó en colaboración con la FAO, el CTA y el FIDA en el desarrollo, mejora y prueba de una metodología que ahora se conoce como "capitalización". Esta metodología es útil para fines como evaluación, mercadeo, comunicación, entre otros, y se diferencia de la sistematización. Nos enfocamos en las "experiencias" y, sí, buscamos escalarlas. Tres elementos son fundamentales y, sin ellos, la tarea de escalar se vuelve más difícil:

1. Participación real: Los "dueños" de la experiencia, así como aquellos interesados en escalarla, deben estar presentes.
2. Concreción de la experiencia: Cuando un proyecto se vuelve demasiado grande, las diferencias de tiempo y contexto pueden jugar en nuestra contra.
3. Instituciones: El proceso de adopción requiere, en muchos casos, instituciones dispuestas a continuar el trabajo que otros han dejado.

Evaluar el éxito es cuestión de aquellos que han adoptado, adaptado y aumentado el uso de "una solución".

Existen numerosos materiales desarrollados bajo la alianza con FIDA, FAO y CTA. IICA ha puesto a disposición un documento en español e inglés para fines de cooperación, también disponible públicamente: https://repositorio.iica.int/handle/11324/21455

Soy Johannes Linn y tengo el honor de servir como Co-Presidente, junto con Larry Cooley, de la Comunidad de Práctica sobre Escalamiento (Scaling Community of Practice) (www.scalingcommunityofpractice.com), ya presentada por Julie Howard. Invitamos a todas las personas interesadas en el escalamiento a unirse a nuestra comunidad.

Como parte de una importante iniciativa de investigación-acción sobre la incorporación del escalamiento en las organizaciones financiadoras (Mainstreaming Scaling in Funder Organizations) (https://scalingcommunityofpractice.com/mainstreaming-initiative/), Ezgi Ilmaz y yo hemos publicado recientemente un documento que analiza las metodologías y prácticas de evaluación de las agencias oficiales de financiamiento para el desarrollo desde una perspectiva de escalamiento. El documento está disponible aquí: https://scalingcommunityofpractice.com/wp-content/uploads/2024/12/Evaluation-Guidelines-of-Official-International-Development-Funders-December-2024-1.pdf.

A continuación, se presenta el resumen del documento. En resumen: con algunas excepciones, el escalamiento no se trata de manera efectiva en las prácticas de evaluación de los financiadores del desarrollo, incluidas las directrices de evaluación de la OCDE-CAD. Esto debe cambiar.

Resumen:

Los financiadores del desarrollo desempeñan un papel importante en el logro de impactos sostenibles por parte de los implementadores de programas de desarrollo. Esto requiere integrar sistemáticamente el objetivo de escalamiento, es decir, alcanzar impactos sostenibles a gran escala, en su misión y prácticas operativas. Las evaluaciones y las directrices de evaluación son instrumentos clave para lograrlo.

El documento propone un marco indicativo sobre cómo las directrices de evaluación podrían abordar el escalamiento. Posteriormente, analiza las directrices de la OCDE-CAD (EvalNet), la metodología de revisiones entre pares de la OCDE-CAD y la metodología de evaluación de la MOPAN, así como las directrices públicas de evaluación de 18 grandes agencias bilaterales y multilaterales.

Los hallazgos revelan que, si bien el escalamiento no está completamente ausente, no se aborda de manera eficaz y no se proporciona orientación útil a los evaluadores. Dado que muchas directrices de las agencias se basan en las de la OCDE-CAD, esto representa una oportunidad perdida para influir en sus prácticas y fortalecer los incentivos para incluir el escalamiento.

Las evaluaciones de las agencias indican que:

• En diez agencias, las directrices no mencionan el escalamiento.
• En cuatro, se menciona de manera limitada.
• En cuatro agencias, el escalamiento es parte central de las directrices, con orientaciones variables.

El documento concluye con recomendaciones sobre cómo abordar el escalamiento de manera sistemática en las evaluaciones.

Se agradecen comentarios sobre este documento de trabajo, los cuales pueden enviarse a Johannes F. Linn al correo jlinn@brookings.edu antes del 28 de febrero de 2025.

Estimados colegas,

Es un placer conectarme aquí y observar el compromiso de los distintos sectores de la comunidad dedicada al escalamiento. Me llamo Marc Schut y trabajo como asesor principal en gestión de portafolios de innovación en el CGIAR. También estoy afiliado a la Universidad de Wageningen como investigador principal en innovación y escalamiento. Me alegra ver que algunos de nuestros trabajos están en su lista de lecturas recomendadas :-)

Durante los últimos 10 años, hemos trabajado para posicionar el escalamiento en la agenda del CGIAR y más allá. Esto surgió de una falta de realismo sobre lo que implica el escalamiento responsable y lo necesario para lograr impacto a gran escala. Un instrumento clave en este sentido es el enfoque Scaling Readiness, que ayuda a los equipos de innovación a perfilar sus innovaciones, diseñar y evaluar paquetes y soluciones adaptadas al contexto, y co-crear estrategias de escalamiento para superar los principales obstáculos.

Más allá de Scaling Readiness, hemos intentado avanzar en la práctica y la ciencia del escalamiento de diversas formas, incluyendo:

• Número especial sobre la ciencia del escalamiento: https://www.sciencedirect.com/special-issue/108MNQ3QF2N
• Curso en línea sobre innovación y escalamiento: https://innovationandscaling.thinkific.com/
• Gestión de portafolios de innovación para el escalamiento: https://www.sciencedirect.com/science/article/pii/S0308521X2400057X
• Semana anual del escalamiento: https://sajili.io/events/2b19-cgiar%E2%80%99s-scaling-week-2024
• Directorio de expertos en escalamiento: https://www.cgiar.org/scalingdirectory/
• Fondo de escalamiento para invertir en el escalamiento: https://www.cgiar.org/news-events/news/announcing-the-winners-of-a-first-round-of-funding-to-take-agricultural-innovations-to-scale-in-africa/
• Programa CGIAR Scaling for Impact: https://hdl.handle.net/10568/162816

Nuestro equipo está muy interesado en expandir este trabajo y aprender de otros, ¡así que no duden en contactarnos e incluirnos en intercambios y aprendizajes cruzados!

Hola a todos,

He disfrutado mucho leyendo las numerosas respuestas en esta comunidad y tengo muchas ganas de explorar métricas de escalamiento más efectivas y diversas con ustedes. Soy especialista en investigación para el proyecto Accelerating Impacts of CGIAR Climate Research in Africa (AICCRA), que tiene como objetivo cerrar la brecha entre la investigación y la práctica, y escalar la agricultura climáticamente inteligente y los servicios de información climática, mediante compromisos específicos y procesos de diseño colaborativo a nivel local, nacional y regional en África. Además, estoy escribiendo mi doctorado sobre el «escalamiento responsable», examinando modelos que integren trayectorias responsables – aquellas que sean inclusivas – en el proyecto AICCRA.

El mantra, quizás defectuoso, de nuestro ecosistema de investigación agrícola para el desarrollo es que el escalamiento siempre es bueno y debe priorizarse. Nos empujan los incentivos institucionales internos (número de publicaciones, fondos obtenidos) a buscar «éxitos rápidos» o «frutos fáciles de alcanzar». Las organizaciones donantes nos presionan para presentar nuestras teorías del cambio como modelos lineales y replicables de éxito. Sin embargo, muchos han cuestionado esta lógica, incluidos los autores de los recursos de referencia mencionados anteriormente. Por supuesto, esto no significa que debamos detener por completo el escalamiento. Hay grandes ventajas en aprovechar los conocimientos y éxitos desarrollados en otros lugares para acelerar la implementación y aumentar las probabilidades de éxito. Además, debemos dejar de asumir que, como «innovadores» o «investigadores», tenemos las mejores soluciones. Debemos considerar los modelos existentes y las prácticas comunes, aprender de ellas y complementarlas en lugar de reemplazar los conocimientos tradicionales con enfoques científicos.

Para lograr un cambio sistémico sostenible, debemos abandonar las nociones poco realistas de éxito – como reducir la pobreza o mejorar la seguridad alimentaria con un solo proyecto. Es fundamental definir desde el inicio objetivos (y «anti-objetivos») alineados con una dirección deseada, pero acompañados de indicadores adaptativos que permitan enfocar mejor a los usuarios finales y anticipar impactos negativos potenciales del escalamiento. Esto implica también establecer un plan de monitoreo y evaluación capaz de reflejar los cambios sistémicos transformadores a lo largo del tiempo y el espacio, examinando no solo la eficiencia en la implementación de los resultados, sino también los cambios profundos. Aunque el escalamiento y el cambio sistémico no son lo mismo, deben aprender mutuamente.

El M&E Sandbox del PNUD destaca que «cómo y para quién medimos influye enormemente en nuestra capacidad para aprender, adaptarnos y evaluar si nuestras intervenciones están en línea con los sistemas complejos que buscamos transformar.» Para promover sistemas agrícolas efectivos, debemos colaborar con aquellos más cercanos a los problemas para encontrar soluciones conjuntas.

El escalamiento es complejo, y los contextos heterogéneos requieren enfoques dinámicos y diversos, que respondan a los desafíos locales y las prioridades. Debemos anticipar los riesgos potenciales desde el principio y definir colectivamente visiones de éxito con las comunidades objetivo, para diseñar soluciones no únicas, sino pluralistas – conjuntos de innovaciones sociotécnicas que puedan responder de manera efectiva a las necesidades identificadas. También es necesario ser reflexivos y cuestionar nuestros propios sesgos y suposiciones como investigadores. Estas dimensiones de la innovación responsable (ver Stilgoe et al., 2013) pueden transferirse a la ciencia del escalamiento (ver Wigboldus y Brouwers, 2016).

¡Revisen las publicaciones recientes que he coescrito con increíbles colegas para más información!

A systems approach for more effective and inclusive agricultural innovation for sustainable transformation: A call to action, reflection and five research commentaries | CGIAR GENDER Impact Platform
https://www.nature.com/articles/s44264-024-00044-y

La ampliación en áreas de seguridad alimentaria, agricultura, desarrollo rural y cambio climático representa desafíos significativos. No obstante, la ampliación no es un proceso simple, ya que implica abordar complejidades como los diversos contextos regionales, las limitaciones de recursos y la necesidad de garantizar la sostenibilidad a largo plazo. Los evaluadores deben desarrollar enfoques innovadores para medir y evaluar la efectividad de los esfuerzos de ampliación, convirtiendo este ámbito en un campo dinámico y en constante evolución.

El desafío principal de la ampliación radica en que lo que funciona adecuadamente en una región, como África o un país específico como Uganda, puede no ser igual de efectivo en otras áreas debido a diferencias culturales, de infraestructura o en los recursos disponibles. Por ello, los evaluadores deben considerar estas variaciones para asegurar que las estrategias de ampliación estén adaptadas y sean efectivas en diversos entornos.

Por otra parte, la sostenibilidad no solo debe enfocarse en alcanzar resultados inmediatos, sino también en mantener su impacto a lo largo del tiempo. Esto requiere una planificación y un monitoreo rigurosos, teniendo en cuenta factores como la salud de la población. Es fundamental que los evaluadores definan claramente qué constituye el éxito en el contexto de la ampliación.

La evaluación participativa debe incluir la participación activa de las partes interesadas en distintos niveles, con el fin de co-crear marcos de evaluación que respondan tanto a las necesidades locales como internacionales. Este es un enfoque positivo que debemos adoptar y fomentar.

¡Estimados colegas!

Me complace unirme a la comunidad de EvalForward para compartir mi experiencia y las lecciones aprendidas en los sistemas agroalimentarios sostenibles y el desarrollo de cadenas de valor. Mi enfoque enfatiza el diseño y la implementación participativos, involucrando a los pequeños agricultores y las comunidades locales a lo largo del ciclo del proyecto, incluidas las fases de evaluación y aprendizaje, para crear intervenciones inclusivas, eficientes, sostenibles y escalables.

Preparé y dirigí al equipo del FIDA en la elaboración de las siguientes publicaciones, destinadas a un amplio uso para compartir experiencias y lecciones:

• el informe técnico final consolidado del programa cofinanciado por el FIDA y la UE "Poner la investigación en uso para la nutrición, la agricultura sostenible y la resiliencia" (PRUNSAR), implementado de 2015 a 2023 por 13 proyectos dirigidos por ocho centros del CGIAR y la Organización Internacional del Bambú y el Ratán (INBAR);
• el Catálogo de Innovaciones y el Directorio de Conocimientos (Directorio de Conocimientos PRUNSAR: Poner la investigación en uso para la nutrición, la sostenibilidad y la resiliencia | Conocimiento para las políticas (europa.eu) con Agrinatura, basado en los logros y recomendaciones del PRUNSAR
• los datos finales sobre la carga de valores agregados de indicadores en el Sistema Operativo Online de la UE (OPSYS) (Logros / indicadores de objetivos del PRUNSAR)

El programa PRUNSAR, financiado por la UE y el FIDA, compuesto por 13 proyectos dirigidos por el CGIAR, ha producido en 2023 y 2024 valiosos recursos que destacan las lecciones aprendidas, los desafíos y las recomendaciones para la ampliación y evaluación de las innovaciones agrícolas.

PRUNSAR, un programa de 39 millones de euros que se desarrolló entre 2015 y 2023, apoyó innovaciones que mejoraron los medios de vida, la nutrición y la resiliencia de los pequeños agricultores en el sudeste asiático, África y América Latina.

Las publicaciones y productos de conocimiento del PRUNSAR están accesibles en los sitios web del FIDA y la UE. Proporcionan información útil, incluidos enfoques de evaluación, indicadores transversales para rastrear y agregar resultados, y métricas específicas del proyecto. Reflejan los esfuerzos de colaboración entre el CGIAR, el FIDA, los socios nacionales y los beneficiarios a lo largo del ciclo del proyecto, lo que garantiza un seguimiento, una evaluación y un aprendizaje sólidos para informar futuras intervenciones de impacto.

¿Con qué criterios se debe juzgar el éxito de los esfuerzos para ampliar el impacto? ¿Fracaso?

Se pueden considerar diversos criterios, entre ellos las tasas de adopción, que dependen de numerosos factores en diferentes contextos y del tipo de innovación, así como la sostenibilidad y la escalabilidad. Se pueden encontrar ejemplos de estos criterios en el Directorio de Conocimientos del PRUNSAR mencionado anteriormente.

¿Los métodos actuales de monitoreo y evaluación son suficientes para juzgar el éxito de los esfuerzos de ampliación? ¿Necesitamos nuevos métodos para afrontar este nuevo desafío de evaluación?

Una vez más, no existe un conjunto único de métodos o criterios para todas las situaciones. Los métodos adecuados deben estar alineados con los objetivos tanto de la evaluación como de los esfuerzos de ampliación (ya sea un programa, proyecto o iniciativa) teniendo en cuenta su contexto específico. Se debe realizar previamente un análisis DAFO de las metodologías existentes que puedan ser aplicables, y se deben realizar los ajustes necesarios para garantizar que cumplan con el propósito previsto.

¿Cómo debemos evaluar la ampliación cuando comienza o continúa después de un proyecto financiado?

Para un proyecto recién financiado o en curso, el desarrollo de una metodología/marco de evaluación de la escalabilidad o la ampliación -completo con indicadores y metas- debe tener en cuenta limitaciones como las restricciones presupuestarias, la disponibilidad de recursos humanos calificados y el plazo de ejecución del proyecto.

Si es necesario, estos aspectos se pueden negociar con socios financieros y técnicos/de implementación existentes o potenciales.

Otro enfoque para abordar dichas limitaciones y mejorar la eficiencia es adoptar un enfoque integrado. Esto podría implicar la incorporación de la evaluación de la ampliación del proyecto dentro de los marcos de evaluación de proyectos o programas marco más amplios que cubran las mismas áreas geográficas objetivo, poblaciones y actores clave. Dicha integración también permitiría la agregación de datos e información de evaluación pertinentes.

Sin embargo, estos enfoques generales pueden tener limitaciones en términos de la granularidad necesaria para informar políticas de ampliación específicas. Por ejemplo, puede ser necesaria una recopilación de datos detallada para abordar cuestiones relacionadas con el género, la inclusión de minorías y poblaciones con diversos niveles de pobreza, alfabetización, conocimiento, asistencia técnica, acceso a servicios de extensión agrícola, innovación, finanzas, TIC, IA y otros requisitos previos para la ampliación.

¿Cómo considerar la complejidad de la ampliación en sistemas con múltiples colaboradores en contextos diversos?

Es esencial un enfoque sistémico, junto con una cuidadosa priorización de la metodología de evaluación -ya sea cuantitativa, cualitativa o una combinación de ambas- y la selección de indicadores que sean más relevantes y efectivos. Esto debe estar alineado con el enfoque holístico requerido para abordar la complejidad y las interrelaciones, al tiempo que se garantiza la entrega de recomendaciones procesables sobre la mejor manera de navegar estos desafíos.

¿Cómo nos aseguramos de que las personas afectadas lideren el esfuerzo para ampliar el impacto?

El Directorio de Conocimientos del PRUNSAR mencionado anteriormente destaca varios enfoques exitosos y estudios de caso de proyectos que garantizaron que las personas afectadas en diferentes niveles desempeñaran un papel de liderazgo en la ampliación del impacto. También detalla los desafíos que enfrentaron, cómo los gestionaron y las compensaciones encontradas en ciertos contextos.

Referencias:

• Totobesola, M., Delve, R., Nkundimana, J.d. et al. A holistic approach to food loss reduction in Africa: food loss analysis, integrated capacity development and policy implications. 1 Food Sec.14, 1401–1415 (2022). https://doi.org/10.1007/s12571-021-01243-y   
• . www.icsf.net
• www.icsf.net
• https://www.fao.org/policy-support/tools-and-publications/resources-details/fr/c/1236154/
• https://elearning.fao.org/pluginfile.php/583006/block_mtmultimediadownload/content/PowerPoint%20Presentation%20-%20Carola%20Fabi%20-%20Webinar%2025.03.2020.pdf
• https://www.fao.org/fileadmin/user_upload/food-loss-reduction/SDG12.3_Workshop_Agenda.pdf
• https://food.ec.europa.eu/system/files/2023-05/fw_eu-platform_20230511_sub-flwm_pres09.pdf
• https://www.researchgate.net/publication/342960965_Capitalisation_of_Experience_CAPEX_on_the_Swiss_Agency_for_Development_and_Cooperation_Africa_Post-harvest_Management_Portfolio
• https://ioe.ifad.org/documents/d/new-ifad.org/prunsar-knowledge-directory.

Atentamente,

Mireille Totobesola

Perfil de LinkedIn: Mireille Totobesola, PhD