Recolección de información

.

Esta sección está estructurada de la siguiente manera:

.

El equipo de evaluación reúne la información que ya se encuentra disponible (datos secundarios) con el objetivo de responder a las preguntas y aplica las herramientas de recolección a fin de obtener información nueva (datos primarios).

.

CÓMO UTILIZAR LOS DATOS DISPONIBLES

.

¿Cuáles son?

Los datos disponibles son la información existente, tal como los datos administrativos, los trabajos de investigación, las evaluaciones anteriores, las bases de datos de gestión y monitoreo, las estadísticas.

¿Por qué es importante?

  • Los datos existentes (secundarios) son más económicos que los datos primarios y se recaban con mayor rapidez.
  • Si el equipo de evaluación no reconoce datos existentes pertinentes, se está socavando la credibilidad de la evaluación en su totalidad.

Principales canales para identificar y recabar datos secundarios

  • Responsables, organismos de puesta en marcha, operadores y socios.
  • Expertos en el área en cuestión.
  • Internet.
  • Oficinas de estadísticas y órganos de monitoreo.
  • Bibliografía científica y profesional.

Problemas de fiabilidad

Antes de utilizar los datos secundarios, se debe prestar particular atención a lo siguiente:

  • Las definiciones: los datos, ¿miden / reflejan lo que se debe tratar?
  • Los datos que faltan.
  • La precisión: la fuente y el método de medición ¿son fiables?
  • La fecha: ¿cuándo se llevó a cabo la medición?
  • La fiabilidad a través del tiempo: ¿cambiaron las definiciones o los métodos de medición durante el período abarcado?
  • La capacidad de comparación: las definiciones y métodos de medición, ¿son congruentes entre sí?
  • La agrupación de datos: los datos agrupados, ¿son coherentes entre sí?
  • La desagregación: ¿es posible desglosar datos en subterritorios o subsectores manteniendo al mismo tiempo una base estadística lo suficientemente amplia?

Recomendaciones

  • Cada vez que sea posible, se deben utilizar múltiples elementos de prueba a fin de poder hacer una verificación cruzada.
  • Al utilizar datos secundarios hay que estar consciente de los intereses creados. Las personas responsables de su compilación pueden tener motivos para mostrar una realidad optimista o pesimista. Por ejemplo, se han registrado personas responsables de realizar una estimación de una escasez de alimentos quienes han exagerado las cifras antes de enviarlas a los potenciales donantes.

.

LAS DIFICULTADES MÁS FRECUENTES AL RECABAR DATOS

.

¿Cuáles son? ¿Cómo afrontarlas?

Aun cuando el programa de recolección ha sido preparado con prudencia, el equipo de evaluación puede encontrarse con sorpresas al realizar su trabajo en el terreno. Las dificultades más frecuentes ocurren con:

-El acceso a los informantes

El proceso de muestreo resulta ser difícil. Decidir si un tamaño de muestra reducido puede arrojar hallazgos estadísticamente válidos o no. Si la respuesta es no, aplicar otra técnica como la del focus group.
Un informante no se expresa con libertad Concentrar las entrevistas en los hechos más que en las opiniones.

Proponer que la información recabada permanezca anónima y explicar cómo se garantizará el anonimato.

Un informante se expresa de tal manera que parece sesgar sus palabras a propósito Concentrar las preguntas en los hechos y no en las opiniones.

Hacer una verificación cruzada con otras fuentes de información.

-Brecha cultural

El informante o la fuente de información es accesible únicamente en el idioma local. El equipo de evaluación debería contar por lo menos con un miembro que hable el idioma local de manera fluida (tanto la traducción como la interpretación siempre generan pérdidas de información significativas).
Existe una gran distancia cultural entre el equipo de evaluación y la población encuestada. El equipo de evaluación debería tener uno o varios miembros capaces de mitigar la brecha entre ambas culturas.

-Carencia de datos o debilidad de los mismos

Una fuente de información resulta ser incompleta. En la medida de lo posible, extrapolar los datos que faltan y hacer verificaciones cruzadas de otras fuentes.
Una fuente de información resulta no ser fiable. En la medida de lo posible, comprender los sesgos, adaptar los datos y hacer verificaciones cruzadas de otras fuentes.

Recomendaciones

  • Una evaluación genera una sensación de incertidumbre, lo que hace que algunas partes interesadas se muestren renuentes a cooperar, e incluso hostiles. En ese caso, hay que mantener una actitud positiva, insistir en el uso previsto de la evaluación, asegurar imparcialidad, y concentrarse en los hechos más que en las opiniones.
  • Si una fuente de información no es accesible o si una técnica de encuesta no es manejable, entonces hay que cambiar el plan de trabajo de recolección de datos para recabar la misma información a través de otras fuentes.
  • Prestar la debida atención a los sesgos y a los riesgos de falta de fiabilidad. Esforzarse por entenderlos. Informarlos.
  • Evitar confiar en una única fuente de información para facilitar la verificación cruzada en la etapa del análisis. Además, esta acción posibilita la gestión si una de las fuentes es inutilizable.

.

FIABILIDAD DE LOS DATOS RECABADOS

.

¿Cuáles son los riesgos?

Al recabar la información, el equipo de evaluación se enfrenta a varios riesgos de sesgos que pueden socavar la fiabilidad de los datos recogidos.

¿Por qué se deben considerar con cuidado los sesgos?

  • Para mejorar la fiabilidad de la recolección de datos.
  • Para evaluar la calidad de la evaluación.
  • Para entender las limitaciones de las conclusiones extraídas de datos poco fiables.

Sesgos más frecuentes 

-Sesgo de confirmación

Este riesgo es una amenaza para todos los enfoques de la recolección de datos. Es el resultado de la tendencia a buscar pruebas congruentes con la lógica de la intervención en vez de buscar pruebas que puedan refutarla.

Al estar sujetos a este sesgo, tanto el equipo de evaluación como los informantes tienden a centrarse en los efectos esperados y sistemáticamente pierden de vista a los factores externos, los efectos no esperados, los efectos negativos, las interacciones con otras políticas, las partes interesadas externas, las opciones de instrumentación alternativas, etc.

Se puede evitar este sesgo apelando a evaluadores independientes y profesionales.

-Autocensura

En determinadas instancias, los informantes pueden mostrarse reticentes a responder libremente a las preguntas, por la simple razón de que sienten que corren un riesgo. Tienden a expresar con rigidez los puntos de vista de su institución o de su jerarquía. Tradicionalmente se combate este sesgo garantizando el tratamiento confidencial de las respuestas. El entrevistador debería además hacer hincapié en las preguntas fácticas y evitar recoger opiniones.

-Estrategia de los informantes

Los que tienen un interés en la intervención pueden distorsionar los elementos de información que proporcionan con el objetivo de acercar las conclusiones de la evaluación a sus puntos de vista.

Se reducirá este riesgo en la medida que el plan de trabajo para la recolección de datos tenga en cuenta todas las partes interesadas, y si se hacen verificaciones cruzadas de varias fuentes de información.

-Muestra no representativa

Este sesgo puede ser preocupante si el equipo de evaluación genera datos cuantitativos a través de una encuesta por cuestionario. También debería ser considerado cuando se utilizan datos secundarios que surgen de una encuesta por cuestionario.

En estas instancias, se debería verificar que la muestra de informantes encuestados sea lo suficientemente amplia y representativa de la población en su totalidad.

-Respuestas inducidas por las preguntas

Este sesgo, al igual que los siguientes, son frecuentes en las entrevistas y cuestionarios.

La manera en la que los entrevistadores plantean las preguntas o la reacción del entrevistador ante las respuestas pueden generar un sesgo positivo o negativo.

Incluso el orden de las preguntas en un cuestionario puede cambiar la sustancia de las respuestas.

Este sesgo será limitado al confiar el diseño y la comprobación de los cuestionarios a profesionales experimentados.

-Sesgo de empatía

Los entrevistados pueden no tener una opinión completamente preestablecida acerca de la pregunta que se les formula. Se esfuerzan en decidir en pocos segundos la respuesta que le darán al entrevistador o al llenar el cuestionario. Al hacerlo, pueden estar sujetos a la fuerte influencia del contexto.

En especial en el caso de las entrevistas, el equipo de evaluación debe crear una atmósfera cordial (empática), por lo menos para conseguir un alto índice de respuestas y concluir rápidamente la encuesta.

La combinación de ambas causas introduce un sesgo positivo sistemático en las respuestas, lo que tiende a sobreestimar los beneficios de la intervención y a subestimar el rol que desempeñan los factores externos.

Este sesgo es evitable si se confía en entrevistadores adecuadamente capacitados.

-Sesgo de selección de muestras

Las personas que aceptan ser entrevistadas pueden no ser representativas del público meta en general.

Se podría controlar este sesgo emprendiendo una encuesta cualitativa especial de algunos "no encuestados", sabiendo que este ejercicio implica costos adicionales.

Recomendaciones

  • Confiar en un equipo de evaluación independiente y profesional a fin de limitar los sesgos de confirmación.
  • Sistemáticamente mezclar las preguntas positivas y negativas a fin de reducir el sesgo de empatía y el sesgo de las preguntas.
  • Dar una gran credibilidad al prometer confidencialidad a fin de limitar la autocensura del encuestado, y cumplir estrictamente con la promesa.
  • No depender nunca de una única categoría de partes interesadas (por ejemplo: responsables de programa, beneficiarios) a fin de reducir el sesgo estratégico.

.

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions