Fase de documentación - Fase inicial (fase1a)

 

Esta sección está estructurada de la siguiente manera:

• Recopilación de los documentos de base
• Análisis de la razón de ser de la intevrención
• Análisis de la lógica de intervención
• Delimitación del campo ampliado
• Consulta de las bases de datos
• Misión piloto
• Propuesta de preguntas de evaluación
• Reunión inicial
• Finalización y validación de las preguntas
• Informe de inicio
• Check-lists

Cada etapa de la fase de preparación es descrita según el rol de:

	El responsable de evaluación
	El equipo de evaluación

Recopilación de los documentos de base

 

Se realiza el primer análisis de la intervención sobre la base de documentos oficiales únicamente, sin interferencia con los servicios de la Comisión.

Documentos analizados:

• Documentos de diseño y programación de la intervención evaluada.
• Documentos de base de las políticas en las que se inscribe la intervención (política de desarrollo, de cooperación o política exterior).
• Documentos pertinentes sobre la estrategia del país o países asociados.

Análisis de la razón de ser de la intervención

 

Reconstrucción de la razón de ser de la intervención:

• Contexto en el que se decidió la intervención, oportunidades y restricciones.
• Necesidades a satisfacer, problemas a resolver, desafíos a tratar.
• Justificación de que no se pueden tratar las necesidades, problemas o desafíos de manera más eficaz en otro marco (razón de ser).

Análisis de la lógica de intervención

 

Reconstrucción de la lógica de intervención:

• Prioridades políticas en las que se ubica la intervención.
• Objetivos, principios, prioridades.
• Categorías de actividades puestas en práctica.
• Traducción de los objetivos bajo la forma de realizaciones, resultados o impactos esperados.
• Presentación de las actividades y efectos esperados, así como de los supuestos causales deducidos de los documentos analizados.
• Comentarios sobre la lógica de intervención y análisis de su coherencia interna.
• Propuesta de reconstrucción de los supuestos causales no presentes, si fuera necesario.

Delimitación del campo ampliado

 

Identificación de las políticas conexas:

• Conducidas por la CE.
• Conducidas por los otros donantes.
• Conducidas por el país o países asociados.

Consulta de las bases de datos

 

Consulta de las bases de datos de la Comisión y recopilación de la información disponible para cada una de las ayudas concedidas a título de la intervención:

• Identificación de la ayuda.
• Datos presupuestarios.
• Datos sobre el avance de las realizaciones.
• Coordenadas de los potenciales informadores.
• Apreciaciones presentadas en el marco del "seguimiento orientado a los resultados" (ROM).
• Disponibilidad de los informes de avance y de evaluación.

Misión piloto

 

En esta etapa, y si la naturaleza de la evaluación se presta para ello, el líder del equipo de evaluación puede conducir una serie de entrevistas en el país asociado (o la región) a fin de:

• Establecer las relaciones de trabajo con los consultores nacionales / regionales.
• Completar la recopilación de los documentos de base.
• Preparar las preguntas de evaluación.

Propuesta de preguntas de evaluación

 

El equipo de evaluación prepara una primera versión de las preguntas de evaluación apoyándose en alguno de los siguientes elementos:

• Análisis de la estrategia de intervención (preguntas de pertinencia y de coherencia principalmente).
• Análisis de la lógica de intervención (preguntas de eficacia y de durabilidad principalmente).
• Expectativas de las personas con las que se reunieron.

Este sitio explica cómo derivar una pregunta a partir de la lógica de intervención y cómo redactar las preguntas correspondientes a los diferentes criterios de evaluación.

A esta altura, la cantidad de preguntas propuestas puede ser superior al máximo indicado en los términos de referencia. Las preguntas propuestas tienen en cuenta:

• La finalidad de la evaluación, tal como se la describe en los términos de referencia.
• La necesidad de llegar a un juicio global de la intervención evaluada.
• La necesidad de no olvidar las preguntas de eficiencia y de durabilidad que tienden a ser descuidadas.

Cada pregunta está sujeta a un comentario explicativo que trata todas o parte de las siguientes cuestiones:

• Campo de la pregunta.
• Aclaración de los términos empleados.
• Modalidades de tratamiento que eventualmente incluyan las sub-preguntas que el equipo de evaluación prevé tratar.
• Utilidad potencial de la respuesta.

Reunión inicial

 

El primer paso conduce al debate de los primeros trabajos realizados por el equipo de evaluación externo en la reunión inicial del grupo de referencia. Se presentan los siguientes elementos con la ayuda de transparencias como soporte visual:

• Objetivos, principios, prioridades y desafíos.
• Traducción de los objetivos en efectos esperados y presentación de la lógica de intervención in a diagram of expected effects.
• Análisis de la lógica de intervención y de su coherencia interna, propuesta de reconstrucción de supuestos causales no presentes.
• Listas de preguntas de evaluación propuestas y comentarios explicativos sobre cada una de las preguntas.

El responsable envía una copia de la presentación a los miembros del grupo, incluso a los miembros asociados a distancia. Los miembros del grupo de referencia disponen de una semana para hacer comentarios sobre los elementos que obran ante sí. 

El responsable transmite los comentarios recibidos al equipo de evaluación, que los toma en consideración y finaliza la lista de preguntas. Los miembros del grupo de referencia validan la lista de preguntas de evaluación, las que se convierten en un anexo de los términos de referencia.

 

Situación(es) específica(s)

Evaluación a nivel país:

En el momento de la contratación del equipo de evaluación se acuerda que el responsable contacte a la delegación para facilitar una visita piloto de varios días al país asociado por parte del líder del equipo de evaluación. Dicha visita puede llevarse a cabo inmediatamente después de la reunión de inicio.

Finalización y validación de las preguntas

 

Se prepara una segunda versión de la lista de preguntas en forma de nota, sobre la base de los siguientes elementos:

• Comentarios recibidos durante y después de la reunión de inicio.
• Entrevistas con algunas personas clave en la sede de la Comisión y/o en el país o países asociados.

Llegado este momento, la cantidad de preguntas respeta el número máximo indicado en los términos de referencia. 

Los miembros del grupo de referencia validan las preguntas, que luego se transforman en un anexo de los términos de referencia.

Informe de inicio (inception)

 

El equipo de evaluación

El equipo de evaluación prosigue con sus entrevistas y análisis de documentos y profundiza sus primeros trabajos con respecto a:

• El contexto y la estrategia de intervención.
• La lógica de intervención.
• Las otras políticas de la C.E., otros donantes y país o países asociados.

Se desarrolla cada una de las preguntas validadas según los siguientes puntos:

• La pregunta y su comentario explicativo.
• Criterio o criterios de juicio (también denominados "criterios de evaluación razonada") relativos a la pregunta.
• Indicador(es) posibles para cada criterio.
• El método previsto para responder a la pregunta.

Esta guía explica e ilustra los pasos a seguir para pasar de una pregunta a un criterio de juicio o varios y luego a un indicador o varios.

A esta altura, el equipo también busca afinar su método y en especial:

• Los supuestos sobre la posibilidad de responder a cada pregunta fundándose en:
  • El tratamiento de eventuales sub-preguntas.
  • Los documentos y habilidades técnicas disponibles.
  • Una recopilación de información específica con la ayuda de herramientas adecuadas.
• La estrategia global prevista para la recopilación de información y análisis, y la verificación de que esta estrategia permita:
  • Cruzar varios tipos de datos para la respuesta de cada pregunta según el principio de triangulación.
  • Formular un juicio global más allá de la respuesta a cada pregunta.
  • Respetar el presupuesto y calendario previstos.
• El plan de trabajo detallado para recabar la información disponible en la Comisión durante la etapa siguiente.
• El país a visitar si la evaluación cubre varios países.
• El borrador de la lista de acciones a estudiar en mayor profundidad durante las etapas siguientes.

Se redacta una primera versión de su informe de inicio con el contenido requerido y se lo somete ante un experto ajeno al equipo de evaluación a los fines del control de calidad

 

Se prepara una versión final para tener en cuenta los comentarios recibidos.

El responsable de evaluación

En el transcurso de la segunda etapa, el equipo de evaluación termina la producción de su informe inicial. Se redacta una carta oficial a fin de facilitar los contactos del equipo de evaluación dentro de la Comisión y ante las otras instituciones europeas que han de ser contactadas. 

El informe inicial retoma los elementos ya validados, a los que se agregan los siguientes:

• Recordatorio del contexto en el que se emprende la evaluación, con especial referencia a la situación de las políticas relacionadas.
• Recordatorio de las preguntas de evaluación.
• El o los criterios de juicio relativos a cada pregunta (denominados también "evaluación razonada").
• Los indicadores concebibles relativos a cada criterio de juicio.
• El método y el plan de trabajo para llevar a cabo la recopilación de información disponible.
• La estrategia prevista para la recolección y análisis de la información.
• En anexo, la construcción del diagrama de efectos esperados y el método para la elaboración de las preguntas, criterios de juicio e indicadores.

El responsable de la evaluación verifica que el contenido del informe esté correcto y que el nivel de calidad sea bueno. 

Le pide a los miembros del grupo de referencia que formulen comentarios sobre el informe, ya sea mediante el intercambio de emails o, si fuera necesario, en el transcurso de una reunión, una semana después de la recepción del informe, como plazo máximo.

El responsable transmite los comentarios recibidos al equipo de evaluación y detalla su pedido de modificación. El equipo de evaluación dispone entonces de una semana adicional para producir la versión final del informe. 

El informe queda aprobado formalmente mediante una carta oficial que autoriza la prosecución del trabajo. 

Si en los términos de referencia no se precisan cuáles son los países a visitar, la selección de los mismos se debe efectuar lo antes posible, a más tardar al inicio de la fase de recolección de datos en la sede.

Situación(es) específica(s)

Evaluación a nivel regional/global sectorial o temática:

Si no se hubiera precisado qué países se habría de visitar en los términos de referencia, la selección de los mismos se efectúa lo antes posible, a más tardar al inicio de la recolección de información disponible en la Comisión, y preferentemente dentro del marco del informe inicial.

Check lists

 

Reunión inicial

Por lo general esta es la primera reunión del grupo de referencia.

Orden del día

• Presentación del marco regulatorio de la evaluación, de su contexto, de los principales usuarios y utilidades esperadas.
• Explicación del rol del grupo de referencia, de la elección de los servicios invitados, de las reglas de funcionamiento del grupo, de las relaciones con los miembros asociados a distancia.
• Presentación de los primeros trabajos del equipo de evaluación externo con la ayuda de diapositivas:
  • Preguntas susceptibles de ser tratadas por la evaluación y criterios de juicio correspondientes.

• Debate del grupo de referencia sobre las preguntas y criterios de juicio propuestos. Luego los miembros del grupo validan las preguntas de evaluación.
• Debate acerca de las preguntas prioritarias.

 

Informe de inicio

Introducción

• Origen de la evaluación.
• Delimitación del campo central de la evaluación.
• Expectativas expresadas en los términos de referencia.
• Proceso de evaluación.

Texto principal

• Objetivos, principios, prioridades y desafíos.
• Traducción de los objetivos en impactos esperados y presentación de la lógica de intervención en forma de diagrama de efectos esperados.
• Análisis de la lógica de intervención y de su coherencia interna, reconstrucción de los supuestos causales no presentes.
• Preguntas de evaluación y comentarios explicativos sobre cada una de las preguntas.
• Criterios de juicio relativos a cada pregunta.
• Indicadores previstos para cada criterio.
• Método y plan de trabajo para la recolección de la información disponible en la Comisión.
• Estrategia prevista para la recolección de la información de terreno y su análisis.

Anexos

(indicativo)

• Documentos utilizados.
• Términos de referencias.
• Siglas y abreviaturas.
• etc.

 

Calidad del informe inicial

1. Satisfacción de las necesidades

El informe expresa de manera clara y lo suficientemente completa la manera en la que el equipo de evaluación entiende los elementos que se detallan a continuación:

• Los requisitos que figuran en el marco regulatorio de la evaluación (accountability).
• Las expectativas expresadas en los términos de referencia.
• Las solicitudes expresadas por los miembros del grupo de referencia.

Las preguntas de evaluación propuestas y los criterios de juicio correspondientes reflejan los requisitos identificados y la utilidad potencial de la evaluación.

Sobre estos diversos puntos, el informe señala los que quedan por aclarar, si fuera necesario.

2. Pertinencia del campo

El informe presenta el campo central de la evaluación y justifica las elecciones efectuadas a fin de delimitarlo. Especifica cuáles son las interferencias con las políticas conexas que serán estudiadas y justifica dicha elección.

Las preguntas de evaluación propuestas y los criterios de juicio correspondientes reflejan:

• Los resultados e impactos identificados durante la reconstrucción de la lógica de intervención.
• Los diferentes sectores, temas e instrumentos.
• Los criterios de evaluación del CAD, sin olvidar la eficiencia y la durabilidad, así como la coherencia y el valor agregado comunitario.

3. Justificación del método

• El informe describe el método de recolección y análisis de los datos que se aplicará durante la fase de documentación, así como la estrategia de recolección y análisis prevista para la fase de terreno. 
• Muestra cómo este método va a permitir el tratamiento del conjunto de preguntas de evaluación de manera adecuada, luego, a partir de ello, se realizará una síntesis para emitir un juicio global. Se debaten las elecciones hechas con respecto a otras opciones.

Recomendación

• La experiencia muestra que existe una tendencia a utilizar determinados términos clave para definir los objetivos, redactar las preguntas o delimitar el campo, sin asegurarse antes de que todas las personas los entiendan del mismo modo (por ejemplo: entorno propicio para la producción, educación básica, etc.).
• Los malos entendidos pueden permanecer ocultos durante las fases subsecuentes y aparecer en el momento del debate del informe final, con efectos devastadores sobre la calidad de la evaluación. Por lo tanto, conviene asegurarse de que los términos clave estén definidos con gran precisión.