Objeto (¿Qué?)

CAMPO DE LA EVALUACIÓN

¿Qué es?

El campo de la evaluación es lo que se somete a juicio. Está definido según diversas dimensiones, tales como el territorio de referencia, el período considerado o el marco reglamentario, por ejemplo:

• Todas las financiaciones adjudicadas por la Unión Europea en América Latina desde 1998.
• Las acciones de desarrollo local programadas en Albania en los últimos cuatro años.

El campo central de la evaluación corresponde al contorno preciso de la intervención que está sometida a la evaluación. Un segundo perímetro más amplio precisa las acciones conexas y los elementos del contexto a tener en cuenta, sobre todo a los fines del análisis de la coherencia / complementariedad externa. Se trata del campo ampliado, contrariamente al campo central. 

El campo central está especificado en los términos de referencia y el campo ampliado en el informe inicial.

¿Para qué se debe precisar el campo de evaluación?

• Para ajustarse mejor a las expectativas del comanditario e inducirlo a definir prioridades más claras para la evaluación.
• Para que el equipo de evaluación externo se centre en lo que es crucial y no desperdicie recursos en áreas accesorias.

¿Cómo delimitar el campo central?

Por medio del perímetro territorial

• El mundo (evaluación global).
• Una región.
• Un país.
• Uno o varios territorios dentro de un país.

Por medio del período considerado

• Todo el período durante el que se implementó la intervención evaluada (caso de una evaluación ex post).
• O sólo el período en el que se implementó durante los años [n-4 a n-2] para asegurar que el equipo de evaluación pueda observar efectos reales en el terreno.
• O bien incluyendo el programa precedente y / o el próximo.

Por medio del marco reglamentario

• Un proyecto.
• Un programa de apoyo a una política sectorial.
• Una estrategia país.
• Un acuerdo de cooperación regional.
• Un instrumento.

Por medio de los sectores

Únicamente cuando sea pertinente:

• Un sector completo o área de intervención (educación, agricultura, etc.)
• O sólo un sub-sector.
• O, al contrario, un conjunto de sectores.

¿Cómo delimitar el campo ampliado?

Por medio de las políticas conexas

• Las intervenciones de las autoridades nacionales o de otros donantes que cubren los mismos territorios,
• … o que están dirigidas a los mismos públicos,
• … o que tratan los mismos problemas.

Por medio de las co-financiaciones

• Las intervenciones co-financiadas con las autoridades nacionales.
• Las intervenciones co-financiadas con otros donantes.

Recomendaciones

• Restringir la extensión del campo a fin de profundizar mejor el análisis de los efectos y la comprensión de los fenómenos.
• Cuando se trata de intervenciones co-financiadas y multisectoriales, seleccionar una parte del campo institucional y sectorial para una evaluación de calidad.

Atención:

No confundir una muestra (de individuos, empresas, etc.) seleccionada para realizar una encuesta con el campo de la evaluación. La muestra permite recabar información y deducir resultados de la misma para luego extrapolarlos al nivel de la totalidad de la población encuestada. En dicho caso, el campo de la evaluación es la población encuestada. No se debe confundir campo con pregunta. Ejemplos:

• campo = totalidad de una estrategia país, pregunta = efecto sobre la igualdad de géneros (pregunta).
• campo = programa de apoyo multi-donantes a la política nacional de educación, pregunta = sostenibilidad del impacto sobre la gestión del sistema educativo.

Un sector (por Ej.: educación) puede constituir una delimitación del campo, pero no sucede lo mismo con los aspectos transversales (Ej.: igualdad de oportunidades) que se asemejan a preguntas. Por ejemplo, se evaluará un programa de apoyo a la política nacional de educación (campo) desde el punto de vista de la igualdad de oportunidades entre hombres y mujeres (pregunta).

LAS EVALUACIONES DE PROYECTO, DE PROGRAMA, DE ESTRATEGIA

¿De qué estamos hablando?

La evaluación puede tratar sobre una intervención tan simple como un proyecto que produce directamente sus efectos sobre el terreno o sobre una intervención más compleja que produce sus efectos a través de otras intervenciones de nivel inferior. Según el objeto evaluado, las preguntas tratadas difieren manifiestamente.

¿Para qué cabe hacer la distinción?

• Para adaptar las preguntas planteadas y el proceso a la naturaleza de la intervención evaluada.
• Para comprender bien que una intervención compleja no se evalúa con los mismos métodos que una intervención simple.

¿Qué distingue los 3 tipos de evaluaciones?

Evaluación de un proyecto

Un proyecto es una operación no divisible, delimitada en cuanto al calendario y al presupuesto, y muy a menudo se encuentra bajo la responsabilidad de un solo operador. Los proyectos más simples a evaluar son homogéneos, es decir, están diseñados:

• Con una actividad principal.
• Con una implementación en un solo contexto.
• Para estar orientados hacia un solo público.
• Con un solo resultado directo esperado para dicho público.
• Y con un único impacto esperado a un nivel más global.

La evaluación de un proyecto simple está facilitada por el hecho de que se hace foco en una causa única (la actividad principal) y un solo efecto (resultado esperado para el público al que se dirige). Gracias a esta simplicidad, se pueden aplicar técnicas con facilidad, tales como los cuestionarios o los grupos de comparación. También se pueden plantear muchas preguntas diferentes y responderlas debidamente. La evaluación de un proyecto a menudo privilegia las preguntas que interesan a los responsables, a los operadores y al público al que se dirige.

Evaluación de un programa

Un programa es un conjunto de intervenciones homogéneas, reagrupadas para alcanzar objetivos globales. Está delimitado en cuanto al calendario y al presupuesto, y muy a menudo se encuentra bajo la responsabilidad de un comité de seguimiento. Un programa homogéneo está constituido por proyectos paralelos y similares entre ellos. La evaluación de un programa homogéneo puede realizarse por medio de síntesis de evaluaciones de proyectos o por extrapolación a partir de una muestra de proyectos.

Los programas conocidos como "integrados" reagrupan intervenciones heterogéneas pero complementarias y puestas al servicio de un objetivo común. Por lo tanto, estos programas son objetos complejos en la medida en que están diseñados:

• Con varias actividades (subvenciones, inversiones directas, asistencia técnica, etc.).
• Para ser implementados en varios contextos (zonas geográficas diferentes, sectores diferentes, etc.).
• En dirección hacia varios públicos.
• Con múltiples resultados esperados por dichos públicos diversos.
• Sin embargo, con un solo impacto esperado a un nivel más global.

La evaluación de un programa complejo y heterogéneo se vuelve difícil debido al hecho de que en teoría se deberían estudiar las causas múltiples (las actividades e instrumentos) y los efectos múltiples, sin contar el efecto de sinergia entre los diferentes componentes del programa que es la justificación misma de la existencia del programa.

Debido a esta complejidad, no se pueden utilizar determinadas técnicas clásicas de evaluación tales como los cuestionarios o los grupos de comparación; en cambio, los enfoques basados en el estudio de casos prácticos siguen siendo aplicables.

Para no aumentar aún más la complejidad, se debe limitar la cantidad de preguntas a tratar. De esta manera, es posible preservar la calidad de las respuestas.

La evaluación de un programa complejo no es la suma ni la síntesis de las evaluaciones de los componentes del programa. En efecto, la evaluación se concentra en preguntas que son pertinentes a nivel de los responsables del programa, pero que son poco tratadas o no son tratadas en las evaluaciones de nivel inferior (efectos de sinergia, pertinencia de la distribución de los recursos entre los componentes, contribución al logro del objetivo global).

Evaluación de una estrategia

Una estrategia cubre un vasto conjunto de intervenciones simples o complejas débilmente vinculadas entre sí. La misma está definida por las prioridades más que como un conjunto delimitado de intervenciones.

Contrariamente a un programa, por lo general una estrategia establece varios objetivos afectados por diferentes grados de prioridad.

Evaluar una estrategia presenta las mismas dificultades que se encuentran en la evaluación de un programa complejo. Estas dificultades se tratan con los mismos enfoques:

• Concentrar la evaluación en varias preguntas esenciales.
• Plantear preguntas que se refieren específicamente a la estrategia y no solamente preguntas sobre los componentes de la estrategia.
• Responder estas preguntas yendo más allá de la simple suma o síntesis de las evaluaciones de los componentes.

 SECTORES, TEMAS Y ASPECTOS TRANSVERSALES

¿De qué estamos hablando?

Las intervenciones públicas están comúnmente clasificadas por sectores. Además, se puede evaluar una intervención determinada o un conjunto de intervenciones desde el punto de vista transversal. En ambos casos, se habla también de una evaluación temática. Es necesario aclarar estos términos.

¿Cómo hacer la distinción?

Sectores

Las intervenciones están clasificadas en un sector o en otro en función de la naturaleza de las actividades y de los productos. Por ejemplo:

• Se clasifica una intervención que ayuda a formar a profesores de enseñanza primaria dentro del sector de la Educación.
• Se clasifica una intervención que brinda asesoramiento y ayuda a agrupaciones de agricultores dentro del sector de la Agricultura.

Aspectos transversales

Se define un aspecto transversal (u horizontal) según los impactos y no los resultados, tal como lo muestran los dos ejemplos en la tabla que figura a continuación:

Temas

Algunas veces se utiliza el término "tema" en el sentido de sector y otras en el sentido de aspecto transversal. Conviene entonces redefinirlo cada vez que se lo emplea.

Recomendaciones

• Tener en consideración los aspectos transversales en el momento de preparar las preguntas de evaluación. Las preguntas que tratan sobre aspectos transversales son particularmente interesantes cuando se evalúa una intervención compleja tal como una estrategia o un programa.

Atención:

Un mismo término puede designar de manera alternativa tanto un sector como un aspecto transversal, tal como lo muestra la siguiente: