Objet de l'évaluation

.

Structure de la section:

.

CHAMP DE L'EVALUATION

.

Qu'est ce que c'est ?

Le champ de l'évaluation est ce qui est soumis au jugement. Le champ est défini selon les dimensions variées telles que le territoire de référence, la période considérée, le cadre réglementaire, par exemple :

  • Tous les financements alloués par l'Union européenne en Amérique Latine depuis 1998.
  • Les actions de développement local programmées en Albanie au cours des quatre dernières années.

Le champ central de l'évaluation correspond au contour précis de l'intervention qui est soumise à l'évaluation. Un second périmètre plus large précise les actions connexes et les éléments du contexte à prendre en compte, notamment pour l'analyse de la cohérence externe/complémentarité. Il s'agit du champ élargi, par opposition au champ central.

Le champ central est précisé dans les termes de référence et le champ élargi dans le rapport de démarrage.

Pour quoi préciser le champ d'évaluation ?

  • Pour mieux cerner les attentes du commanditaire et l'amener à définir des priorités plus claires pour l'évaluation.
  • Pour que l'équipe d'évaluation externe se concentre sur ce qui est le plus crucial et ne gaspille pas des ressources sur des domaines accessoires.

Comment délimiter le champ central ?

-par le périmètre territorial

  • Le monde (évaluation globale)
  • Une région
  • Un pays
  • Un ou plusieurs territoires au sein d'un pays

-par la période considérée

  • Toute la période pendant laquelle l'intervention évaluée a été mise en œuvre (cas d'une évaluation ex post).
  • Ou seulement ce qui a été mis en œuvre au cours des années [n-4 à n-2] de manière à s'assurer que l'équipe d'évaluation pourra observer sur le terrain des effets réels.
  • Ou en incluant l'intervention qui a précédé et/ou la prochaine.

-par le cadre réglementaire

  • Un projet
  • Un programme d'appui à une politique sectorielle
  • Une stratégie pays
  • Un accord de coopération régional
  • Un instrument

-par les secteurs

Seulement lorsque cela est pertinent :

  • Tout un secteur ou domaine d'intervention (éducation, agriculture…)
  • Ou seulement un sous secteur
  • Ou à l'inverse un ensemble de secteurs

Comment délimiter le champ élargi ?

-par les politiques connexes

  • Les interventions des autorités nationales ou des autres bailleurs de fonds qui couvrent les mêmes territoires
  • … ou qui visent les mêmes publics
  • … ou qui traitent les mêmes problèmes

-par les co-financements

  • Les interventions co-financées avec les autorités nationales
  • Les interventions co-financées avec d'autres bailleurs de fonds

Recommandations

  • Restreindre l'étendue du champ pour mieux approfondir l'analyse des effets et la compréhension des phénomènes.
  • Lorsqu'il s'agit d'interventions cofinancées et multisectorielles, sélectionner une partie du champ institutionnel et sectoriel pour une évaluation de qualité.

Attention

Ne pas confondre un échantillon (d'individus, d'entreprises…) sélectionné en vue d'une enquête avec le champ de l'évaluation. L'échantillon permet de collecter des informations et d'en déduire des résultats qui sont extrapolés au niveau de l'ensemble de la population enquêtée. Dans ce cas, le champ de l'évaluation est la population enquêtée.
Ne pas confondre champ et question, Exemples

  • champ = ensemble d'une stratégie pays, question = effet sur l'égalité des genres (question).
  • champ = programme d'appui multi-bailleurs à la politique nationale d'éduction, question = durabilité de l'impact sur la gestion du système éducatif.

Un secteur (ex : éducation) peut constituer une délimitation du champ, mais il n'en va pas de même pour les aspects transversaux (ex : égalité des chances) qui s'apparentent à des questions. Par exemple, on évaluera un programme de soutien à la politique nationale d'éducation (champ) du point de vue de l'égalité des chances homme / femmes (question).

.

LES EVALUATIONS DE PROJET, DE PROGRAMME, DE STRATEGIE

.

De quoi parle-t-on ?

L'évaluation peut porter sur une intervention simple telle qu'un projet qui produit directement ses effets sur le terrain ou sur une intervention plus complexe qui produit ses effets à travers d'autres interventions de niveau inférieur. Selon l'objet évalué, les questions traitées sont bien évidemment différentes.

Pourquoi faire la distinction ?

  • Pour adapter les questions posées et le processus à la nature de l'intervention évaluée.
  • Pour bien comprendre qu'une intervention complexe ne s'évalue pas avec les mêmes méthodes qu'une intervention simple.

Qu'est-ce qui distingue les 3 types d'évaluations ?

- Evaluation d'un projet

Un projet est une opération non divisible, délimitée en termes de calendrier et de budget et placée, le plus souvent, sous la responsabilité d'un seul opérateur. Les projets les plus simples à évaluer sont homogènes, c'est à dire conçus avec :

  • Une activité principale,
  • Mise en oeuvre dans un seul contexte,
  • En direction d'un seul public,
  • Avec un seul résultat direct attendu pour ce public,
  • Et un seul impact attendu au niveau plus global.

L'évaluation d'un projet simple est facilitée en ce sens qu'on se concentre sur une seule cause (l'activité principale) et un seul effet (résultat attendu pour le public visé). A cause de cette simplicité, on peut facilement mettre en œuvre des techniques comme les questionnaires ou les groupes de comparaison. On peut également poser beaucoup de questions différentes et y répondre convenablement.
L'évaluation d'un projet privilégie souvent les questions qui intéressent les gestionnaires, les opérateurs et le public visé.

- Evaluation d'un programme

Un programme est un ensemble d'interventions homogènes, regroupées pour atteindre des objectifs globaux. Il est délimité en termes de calendrier et de budget et placé, le plus souvent, sous la responsabilité d'un comité de pilotage.
Un programme homogène est constitué de projets parallèles et similaires entre eux. L'évaluation d'un programme homogène peut procéder par synthèse d'évaluations de projets ou par extrapolation à partir d'un échantillon de projets.
Les programmes dits " intégrés " regroupent des interventions hétérogènes mais complémentaires et mises au service d'un objectif commun. De tels programmes sont donc des objets complexes dans la mesure où ils sont conçus avec :

  • Plusieurs activités (subventions, investissements directs, assistance technique, etc.)
  • Mises en oeuvre dans plusieurs contextes (aires géographiques différentes, secteurs différents, …),
  • En direction de plusieurs publics,
  • Avec de multiples résultats attendus pour ces différents publics,
  • Mais un seul impact attendu au niveau plus global.

L'évaluation d'un programme complexe et hétérogène est rendue difficile par le fait qu'on devrait étudier de multiples causes (les activités et instruments) et de multiples effets, sans compter l'effet de synergie entre les différentes composantes du programme qui est la justification même de l'existence du programme.
A cause de cette complexité, on ne peut pas utiliser certaines techniques classiques de l'évaluation comme les questionnaires ou les groupes de comparaison, par contre les démarches à base d'études de cas restent applicables.
Pour ne pas ajouter encore à la complexité, on est conduit à limiter le nombre de questions traitées. De cette façon, il est possible de préserver la qualité des réponses.
L'évaluation d'un programme complexe n'est pas la somme ni la synthèse des évaluations des composantes du programme. En effet, elle se concentre sur des questions qui sont pertinentes au niveau des responsables du programme mais qui sont peu ou pas traitées dans les évaluations de niveau inférieur (effets de synergie, pertinence de la répartition des ressources entre les composantes, contribution à l'atteinte de l'objectif global).

- Evaluation d'une stratégie

Une stratégie couvre un vaste ensemble d'interventions simples ou complexes faiblement reliées entre elles. Une stratégie est définie par des priorités plutôt que comme un ensemble d'interventions délimité. A l'inverse d'un programme, une stratégie affiche généralement plusieurs objectifs affectés de différents degrés de priorité. Evaluer une stratégie présente les mêmes difficultés que celles rencontrée pour l'évaluation d'un programme complexe. Ces difficultés se traitent avec les mêmes approches :

  • Concentrer l'évaluation sur quelques questions essentielles.
  • Poser des questions concernant spécifiquement la stratégie et non pas seulement des questions sur les composantes de la stratégie.
  • Répondre à ces questions en allant au-delà de la simple agrégation ou synthèse des évaluations des composantes.

.

SECTEURS, THEMES ET ASPECTS TRANSVERSAUX

.

De quoi parle-t-on ?

Les interventions publiques sont usuellement classées par secteurs. Par ailleurs, une intervention donnée ou un ensemble d'interventions peuvent être évalués du point de vue d'un aspect transversal. Dans les deux cas, on parle aussi d'évaluation thématique. Ces termes ont besoin d'être clarifiés.

Exemples

Comment faire la distinction ?

- Secteurs

Les interventions sont classées dans un secteur ou dans un autre en fonction de la nature des activités et des réalisations. Par exemple :

  • Une aide à la formation des professeurs d'enseignement primaire est classée dans le secteur Education
  • La délivrance de conseils à des groupements d'agriculteurs est classée dans le secteur Agriculture

- Aspect transversaux

Un aspect transversal (ou horizontal) se définit par rapport aux impacts et non pas par rapport aux réalisations, comme le montrent les deux exemples du tableau ci dessous :

Réalisation Professeurs formés Conseils donnés aux groupements d'agriculteurs
Secteur Education Agriculture
Impact Les filles ont un meilleurs accès à l'éducation Nouvelles pratiques d'élevage limitant la désertification
Aspect transversal Genre Environnement

- Thèmes

Le terme "thème" est quelquefois utilisé au sens de secteur et quelquefois au sens d'aspect transversal. Il vaut donc mieux le redéfinir chaque fois qu'on l'utilise.

Recommandations

  • Prendre en considération les aspects transversaux au moment de préparer les questions d'évaluation. Les questions portant sur des aspects transversaux sont particulièrement intéressantes lorsque l'on évalue une intervention complexe telle qu'une stratégie ou un programme.

Attention :

Un même terme peut désigner alternativement un secteur ou un aspect transversal comme le montre le tableau ci-dessous :

  Droits de l'homme
= secteur
Droits de l'homme
= aspect transversal
Réalisation Personnel des tribunaux formés aux droits de l'homme Installation d'accès à Internet dans les zones rurales pauvres
Secteur Droits de l'homme Nouvelles Technologies de l'Information et de la Communication
Impact   Les informations sur les atteintes aux droits de l'homme circulent plus facilement
Aspect transversal   Droits de l'homme

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions