published
Evaluation methodological approach > ES: Bases metodológicas y enfoque > Métodos de evaluación > Garantía de calidad

Garantía de calidad

.

Esta sección está estructurada de la siguiente manera:

.

ELEMENTOS CLAVE

.

¿Qué es?

Se trata de establecer puntos de control de calidad en las principales etapas del proceso, de definir las responsabilidades de garantía de calidad y de establecer cuáles serán las reglas de juego en caso de fallas en la calidad.

La garantía de calidad está organizada como si fuera una cremallera:

en cada paso se aseguran aspectos sucesivos de calidad a fin de avanzar sobre bases sólidas hacia la siguiente etapa.

¿Qué hay que procurar?

  • Reforzar las conclusiones de la evaluación ante los usuarios mostrando que se trata de un trabajo imparcial y riguroso que respeta los estándares de la profesión.
  • Construir la calidad progresivamente y evitar encontrarse con un defecto de calidad en la etapa del informe final.
  • Aclarar las relaciones entre el responsable de la evaluación, el grupo de referencia y el equipo de evaluación.

Reglas del juego

Se especifican las reglas de garantía de calidad en los términos de referencia y se las recuerda en el momento de contratar al equipo de evaluación externo.

Estas reglas están relacionadas con:

  • La aprobación de los documentos.
  • Los criterios de calidad.
  • La difusión de la evaluación de calidad del informe final.

El proceso de garantía de calidad se beneficia del aporte de todos los actores mientras limita los potenciales conflictos que pueden surgir entre ellos, por ejemplo:

  • Los actores que tienen responsabilidades en la intervención evaluada (los evaluados) están en una buena posición para evaluar la pertinencia de los datos recabados y la imparcialidad de las interpretaciones. Su apreciación, sin embargo, puede ser sensible al sesgo de confirmación. Por lo tanto deben tener un rol consultivo, por ejemplo a través de su participación en el grupo de referencia.
  • El líder del equipo de evaluación externo cumple una función preponderante en la garantía de la calidad, en particular diseñando un método adecuado y asegurándose de la precisión y la imparcialidad del informe. Sin embargo corre el riesgo de sobrestimar los puntos de vista de las partes interesadas influyentes, en especial los de aquéllas susceptibles de solicitarle otras evaluaciones en el futuro. La evaluación de calidad del responsable de la evaluación contribuye a evitar dicho riesgo.

Etapas clave

Informe de inicio

En la etapa del informe de inicio, la evaluación de calidad permite asegurarse de que el equipo de evaluación haya comprendido claramente el campo y la finalidad de la evaluación, así como la lógica de la intervención evaluada y las preguntas a tratar.

Informe de la primera fase (desk)

En la etapa del informe de la primera fase (desk), la evaluación de calidad verifica tanto la calidad del análisis de la documentación como la adecuación del método propuesto para la fase de terreno, incluidos los indicadores, las fuentes de información y las etapas del análisis.

Informe final

En la etapa del informe final, la evaluación de calidad verifica que la evaluación aporte respuestas válidas e imparciales a las preguntas planteadas, y que la forma del informe se adapte a las necesidades de los usuarios previstos.

En esta etapa, el control de calidad se basa en primer lugar sobre la primera versión del informe y luego sobre la versión final.

Actores clave

Se espera que todos los actores clave que participan en el proceso de garantía de calidad cuenten con una capacidad de evaluación suficiente, con la excepción de los miembros del grupo de referencia. Si un actor clave no posee las suficientes calificaciones, busca obtener un apoyo adecuado.

Líder del equipo de evaluación

El líder del equipo de evaluación en primer lugar se preocupa por la prevención de los principales riesgos que amenazan la calidad, por ejemplo, pasar por alto una pregunta principal, no consultar una parte interesada importante, apoyarse en datos no fiables o juzgar de manera parcial.

Además se asegura de que cada informe sea sometido a un control de calidad exhaustivo antes de ser entregado al responsable de la evaluación.

Evaluador(es) de la calidad

La empresa o consorcio a cargo del contrato de evaluación designa uno o varios evaluadores de calidad que verifican con cuidado la calidad de cada informe antes de ser entregados al responsable de la evaluación. El evaluador de la calidad debe tener experiencia en materia de evaluación y no debe pertenecer al equipo de evaluación.

Responsable de la evaluación

El responsable de la evaluación tiene la responsabilidad final de evaluar si la calidad metodológica de un informe es suficiente o no para pasar a la siguiente etapa.

En este proceso, consulta a los miembros del grupo de referencia y se apoya en un soporte técnico tanto como sea necesario.

Grupo de referencia

Los miembros del grupo de referencia reciben una versión provisoria de los informes para que emitan sus comentarios. Dichos comentarios pueden referirse a las bases fácticas de la evaluación, lo cual representa una contribución a la garantía de calidad. Cuando los comentarios tratan sobre el contenido de las conclusiones, son transmitidos al equipo de evaluación, que decide libremente tenerlos en cuenta o no.

.

APROBACIÓN DE LAS ENTREGAS

.

¿Qué es?

Es un reconocimiento formal por parte del responsable de la evaluación del hecho de que un documento entregado posee un contenido adecuado y satisface los criterios aplicables en cuanto a la metodología.

¿Cuáles son las etapas de la aprobación?

Salvo excepción, se procede a la aprobación de un documento de la siguiente manera:

  • El responsable verifica que el documento cuente con el formato y contenido requeridos, y que no tenga defectos significativos de calidad. De no ser así, solicita una nueva versión de inmediato.
  • El responsable recoge la opinión de las personas o servicios a ser consultados, ya sea durante el transcurso de una reunión (grupo de referencia), o bien por email, indicando un plazo limitado más allá del cual no se garantiza la consideración de los comentarios.
  • El responsable enumera sus propias solicitudes de mejora de calidad, adjunta otras peticiones recibidas, hace una distinción entre peticiones de orden metodológico y peticiones de fondo y transmite la totalidad de las observaciones al equipo de evaluación externo.
  • El equipo de evaluación considera todas las solicitudes de mejora de calidad, ya sea modificando su documento de manera consecuente, o mencionando en anexo cómo será tratada la petición en una etapa posterior, o bien explicando en anexo por qué no se trató la solicitud.
  • Sin dilación, se presenta una nueva versión del documento ante el responsable, quien la acepta o la rechaza.
  • En el momento en el que se la requiere, la aprobación condiciona el pasaje a la etapa siguiente.

¿Qué documentos se deben aprobar y quién está a cargo de su aprobación?

Los documentos sometidos a aprobación son los siguientes:

  • Informe inicial (inception)
  • Informe de primera fase (desk)
  • Informe de la misión piloto (cuando la evaluación comprende misiones en varios países)
  • Informe final provisorio
  • Informe final

Por lo general el responsable de la evaluación efectúa la aprobación y eventualmente su superior jerárquico la confirma.

Los miembros del grupo de referencia validan el conjunto de preguntas de evaluación, es decir que los miembros del grupo aceptan formalmente, o por lo menos no rechazan la totalidad de preguntas de evaluación. Llegado el caso, el responsable de la evaluación resuelve las divergencias, en cuyo caso se señalan las opiniones divergentes en los informes siguientes. 

Reglas de aprobación e independencia

El proceso de aprobación no contradice la independencia del equipo de evaluación externo. A tal efecto, conviene diferenciar las solicitudes de modificación realizadas en el marco de la aprobación:

  • Los comentarios referidos a la calidad metodológica deben ser tenidos en cuenta de manera obligatoria. Si el equipo de evaluación considera que no puede tener en consideración una petición, debe justificarlo plenamente. Se adjunta una evaluación de la calidad metodológica al informe final.
  • El equipo de evaluación tiene libremente en consideración o rechaza los comentarios que conciernen la sustancia del documento, de los hallazgos y de las conclusiones. Sin embargo, debe mencionar en una nota o anexo cuáles fueron las solicitudes que no fueron tenidas en cuenta comentando los motivos respectivos que llevaron a esta decisión.

.

APOYO A LA GARANTÍA DE CALIDAD

.

¿Qué es?

Evaluar la calidad de una evaluación es una tarea multifacética. El comanditario y las partes interesadas son las personas más aptas para evaluar si sus expectativas fueron tratadas con imparcialidad. Los expertos y los que ponen en marcha la intervención están en una buena posición para evaluar la pertinencia de los datos recabados y la exactitud de las interpretaciones. El rol del responsable de la evaluación es garantizar que la evaluación tenga bases metodológicas y fácticas sólidas. El responsable de la evaluación recibe apoyo si no cuenta con una formación o una experiencia suficientes en materia de garantía de calidad.

¿Quién puede desempeñar este rol?

En la Unidad de evaluación en la sede de la CE, los responsables poseen la formación y la capacidad necesaria para evaluar la calidad metodológica de los informes. Dos miembros de la Unidad realizan el seguimiento de todas las evaluaciones y participan en la evaluación de calidad.

En el caso de las evaluaciones descentralizadas, el responsable utiliza los criterios de calidad propuestos por esta página web, así como las indicaciones proporcionadas para completar la plantilla de evaluación de calidad, si fuera necesario, apelando a la Unidad de evaluación.

Además, la Unidad de evaluación puede realizar evaluaciones de calidad transversales de manera autónoma.

.