Phase préparatoire (phase 0)

 

Structure de la section:

 

Chaque étape de la phase préparatoire est décrite selon le rôle respectif de:

evaluation manager Le responsable d'évaluation
external evaluation team L'équipe d'évaluation

Démarche initiale

 

  • Le mandat d'évaluation est fixé. Il précise l'intervention, la zone géographique, le secteur ou le thème à évaluer.
  • Un gestionnaire principal de l'évaluation est désigné au sein du service concerné, ainsi qu'un gestionnaire suppléant. Le gestionnaire conduit le processus de A à Z au nom de la Commission et sous l'autorité de sa hiérarchie. Il joue le rôle principal dans la préparation de l'évaluation, l'engagement et la supervision de l'équipe d'évaluation externe, la diffusion et le suivi des recommandations. Il assure la présidence du groupe de référence.

 

Situation(s) spécifique(s)

Evaluation au niveau pays

Les stratégies pays suivent des cycles pluriannuels. La décision d'évaluer détermine le moment de l'évaluation par rapport à ce cycle. L'évaluation porte sur le cycle en cours et éventuellement sur les cycles précédents. Selon la place de l'évaluation par rapport au cycle, les possibilités de rétroaction (feedback) sont différentes. Par exemple, une évaluation en milieu de cycle est utilisable pour ajuster la mise en œuvre, une évaluation en fin de cycle est utilisable pour préparer le cycle suivant, une évaluation ex post est utilisable pour tirer des leçons transférables ou rendre des comptes.

Evaluation conduite par :

l'unité d'évaluation

Le programme de l'Unité est approuvé par la hiérarchie et publié sur le site de la Commission.

Les évaluations conduites par l'Unité sont réalisées dans le cadre de contrats pluriannuels de services d'évaluation. Le contractant concerné est averti à l'avance de la date approximative de lancement des travaux.

un autre service

Si le service ne dispose pas d'un personnel ayant une expérience d'évaluation suffisante, il recherche un appui pour assurer la qualité de l'évaluation.

Recueil des informations préalables

 

  • Le gestionnaire de l'évaluation prend connaissance des documents de base concernant les actions à évaluer, ci-après appelées " l'intervention ".
  • Il repère les objectifs globaux ainsi que les secteurs, thèmes et aspects transversaux qui ont une importance particulière dans le cadre de l'évaluation.
  • Il consulte les bases de données de la Commission pour avoir une vue d'ensemble des aides et de leur financement.
  • Il repère quelques informateurs clés au sein de la Commission et s'entretient de façon informelle avec eux pour mieux comprendre les enjeux de l'évaluation.
  • Il précise le champ central de l'évaluation ainsi que les thèmes et aspects transversaux à examiner en priorité.

 

Situation(s) spécifique(s)

Evaluation au niveau pays

Les documents consultés à ce stade sont :

  • Document de stratégie pays actuellement applicable et les documents de stratégie des périodes précédentes,
  • Documents relatifs à la stratégie de la Commission dans la région
  • Documents relatifs à la stratégie de la Commission dans les secteurs de concentration
  • Communications, règlements et décisions de la délégation
  • Documents horizontaux pertinents (ex : genre, environnement, bonne gouvernance, etc.)

Constitution du groupe de référence

 

  • Le gestionnaire identifie les services à inviter au groupe de référence en veillant à atteindre trois objectifs : apport d'expertise et d'information, expression de la variété des points de vue pertinents au sein de la Commission, légitimité du processus d'évaluation.
  • Une note est envoyée aux services invités en précisant le rôle du groupe de référence.
  • Chacun des services invités désigne la personne qui participera au groupe.

 

Situation(s) spécifique(s)

Evaluation au niveau pays

Dans le cas d'une évaluation pays, la délégation fait partie du groupe de référence et est complètement associée à l'exercice.

A cette étape, le gestionnaire convient aussi des modalités de travail dans la mesure où la Délégation est associée à distance. Le gestionnaire invite au groupe de référence une personne de l'ambassade du pays à Bruxelles.
Le chef du service gestionnaire de l'évaluation envoie une note au chef de la Délégation concernée en l'invitant à désigner un ou plusieurs représentants comme membre(s) du groupe de référence.

Préparation des termes de référence

 

  • En se fondant sur les informations de base recueillies, le gestionnaire précise l'expertise requise et le calendrier.
  • Il prépare une première version des termes de référence.
  • Le gestionnaire envoie la première version des termes de référence pour avis aux membres du groupe de référence.
  • Après ces consultations, le gestionnaire prépare une nouvelle version des termes de référence en tenant compte des avis reçus.
  • Il lance la procédure d'engagement de l'équipe d'évaluation externe sur la base des termes de référence.

 

Situation(s) spécifique(s)

Evaluation au niveau pays

Les évaluations au niveau pays traitent souvent de questions d'évaluation récurrentes, par exemple :

  • Dans quelle mesure la stratégie sanitaire de la Commission répond-elle aux besoins fondamentaux de la population, en particulier des plus pauvres?
  • Dans quelle mesure les interventions européennes contribuent-elles au renforcement du processus de coopération et d'intégration économique régionale et mondiale?
  • Dans quelle mesure l'objectif transversal de bonne gouvernance est-il intégré dans l'ensemble des interventions ?

Le gestionnaire peut donc s'y référer (voir d'autres exemples). Il est également possible de s'inspirer des évaluations thématiques ou sectorielles publiées sur ce site.
Le gestionnaire indique les thèmes qui devront être couverts et laisse à l'équipe d'évaluation le soin de proposer les questions.

Evaluation globale sectorielle ou thématique

Au moment de la préparation des termes de référence, le gestionnaire peut être dans l'impossibilité d'indiquer quels pays devront faire l'objet d'une mission. Dans ce cas, le gestionnaire peut demander une proposition budgétaire limitée à la phase de documentation.

Evaluation conduite par l'unité d'évaluation

Le gestionnaire envoie les termes de référence au contractant responsable du contrat de service pluriannuel dans lequel prend place l'évaluation. Il lui demande sa proposition technique et financière (note de lancement).

Hypothèses de base

 

Sur la base des termes de référence et de sa propre expertise, l'auteur de la proposition établit ses hypothèses de base :

  • Domaines dans lesquels une expertise spécifique est nécessaire
  • Possibilité de mobiliser des consultants ayant un profil approprié dans le(s) pays concerné(s)
  • Nombre, nature et difficulté probable des questions
  • Existence, qualité et accessibilité des informations sur la mise en œuvre de l'aide
  • Existence d'évaluations antérieures réutilisables

Tâches, expertise et budget

 

La méthode est définie dans ses grandes lignes en tenant compte des contraintes fixées par les termes de référence. L'auteur de la proposition définit les principales tâches et fait une première ébauche des outils de collecte à mettre en œuvre.
Les tâches sont réparties de façon provisoire entre:

  • consultants du/des pays partenaires et consultants internationaux
  • consultants seniors, medium, junior
  • spécialistes du ou des secteurs d'intervention et spécialistes des méthodes d'évaluation

Les principaux membres de l'équipe d'évaluation sont identifiés et l'absence de conflit d'intérêt est vérifiée.
Le budget et le calendrier sont précisés dans le cadre des contraintes fixées dans les termes de référence.

Proposition technique et financière (launch note)

 

Le contenu de la proposition est le suivant :

  • Compréhension du contexte dans lequel l'évaluation est lancée, de sa finalité (utilisateurs et utilisations prévues) et de son champ
  • Compréhension des principaux domaines à couvrir par les questions d'évaluation et démarche pour élaborer et sélectionner les questions (sauf si les questions figurent dans les termes de référence)
  • Principales options méthodologiques
  • Compréhension du processus d'évaluation et des rôles respectifs des différents acteurs
  • Calendrier
  • Principaux membres de l'équipe d'évaluation, leurs domaines d'expertise et leur rôle
  • Modalités de gestion
  • Budget selon le format standard EN d'absence de conflit d'intérêts (en annexe)
  • CV d'un expert extérieur à l'équipe d'évaluation qui assurera le contrôle qualité

Lancement (Launch)

 

  • Le gestionnaire de l'évaluation reçoit la ou les propositions techniques et financières qui doivent contenir les éléments suivants :
    • Compréhension des termes de référence.
    • Nom et CV des membres de l'équipe centrale (core team)
    • Calendrier prévu et justification des écarts éventuels par rapport au calendrier indiqué dans les termes de référence
    • Budget indicatif (y compris les séminaires de discussion du rapport final et de diffusion) selon le modèle applicable
  • Pour chaque proposition, le gestionnaire de l'évaluation vérifie que l'équipe dispose des connaissances et d'une expérience suffisante dans les domaines suivants : méthodes d'évaluation, région ou pays concerné, secteurs et aspects transversaux concernés, fonctionnement de l'aide extérieure européenne.
  • Il vérifie que les ressources humaines et financières proposées sont compatibles avec le budget alloué et adaptées aux difficultés particulières identifiées lors de la préparation des termes de référence.
  • Il procède à l'engagement de l'équipe d'évaluation externe selon la procédure applicable et après avoir consulté les membres du groupe de référence, notamment sur les risques de conflits d'intérêts au cas où une personne proposée pour l'évaluation aurait eu une responsabilité dans l'intervention évaluée.
  • L'engagement de l'équipe est confirmé par une lettre officielle signée par le chef de l'unité dont la date fixe le début formel du travail de l'équipe d'évaluation.

 

Situation(s) spécifique(s)

Evaluation conduite par l'Unité d'évaluation

Dans la cas d'une gestion par l'Unité d'évaluation, l'engagement de l'équipe d'évaluation externe intervient dans le cadre d'un contrat de service pluriannuel. Le processus est le suivant :

  • Le gestionnaire de l'évaluation reçoit la proposition technique et financière du contractant (note de lancement) dans sa première version et il vérifie que la proposition est complète et de bonne qualité.
  • Il envoie la proposition aux membres du groupe de référence avec une demande de commentaires, notamment sur les risques de conflits d'intérêts.
  • Il rassemble les commentaires reçus et précise ses demandes de modification.
  • Il reçoit la proposition modifiée par le contractant et l'approuve.
  • L'approbation est confirmée par une lettre signée du chef d'Unité.

Evaluation au niveau pays

La délégation est consultée, au même titre que les autres membres du groupe de référence, sur la proposition technique et financière du contractant (note de lancement).
Le gestionnaire vérifie que la proposition prévoit les ressources pour une visite pilote et pour un séminaire dans le pays partenaire.

Evaluation globale sectorielle ou thématique

Dans le cas d'une évaluation sectorielle ou thématique, une attention particulière doit être portée à la délimitation du champ central de l'évaluation ainsi qu'à la distinction entre secteur et thème.

       

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions