Rôles

.

Structure de la section:

.

LA REPARTITION DES RÔLES

.

De quoi parle-t-on ?

Les trois acteurs clés sont le gestionnaire de l'évaluation, le groupe de référence et l'équipe d'évaluation externe. La répartition des rôles est spécifique pour chaque phase et chaque étape de l'évaluation.

Chaque acteur du processus d'évaluation doit connaître son rôle et ses responsabilités, par exemple : Qui est responsable des recommandations ? qui apprécie la qualité du rapport ?

Pour quoi s'en préoccuper ?

  • Pour mobiliser les différents acteurs en fonction de leurs compétences et de leurs ressources spécifiques.
  • Pour éviter des blocages liés à d'éventuelles confusions des rôles.
  • Pour préserver l'impartialité de l'évaluation et éviter les jugements biaisés.

Qui fait quoi ?

Les trois entités clés lors d'une évaluation sont le gestionnaire de l'évaluation, le groupe de référence et l'équipe d'évaluation externe. Les rôles sont différents selon les phases et étapes qui suivent :

Décision d'évaluer

La décision est prise par les autorités responsables de l'intervention et figure dans un document tel que :

  • Programme annuel d'évaluation.
  • Document programmant l'intervention.

La décision fait référence à un cadre d'évaluation qui définit les règles du jeu. Si nécessaire, elle complète ce cadre.

Préparation (phase 0)

Constitution du groupe de référence :

  • par le gestionnaire de l'évaluation.

Rédaction des Termes de référence :

  • par le gestionnaire de l'évaluation,
  • après consultation du groupe de référence.

Sélection ou approbation de l'équipe d'évaluation externe :

  • par le gestionnaire de l'évaluation,
  • après consultation du groupe de référence.

Documentation (1)

Clarification de la logique d'intervention :

  • par l'équipe d'évaluation externe,
  • après interaction avec le gestionnaire de l'évaluation et le groupe de référence.

Choix et rédaction des questions d'évaluation :

  • par l'équipe d'évaluation,
  • validation par le groupe de référence,
  • arbitrage par le gestionnaire de l'évaluation si nécessaire.

Définition des critères de jugement (également appelés " critères d'appréciation raisonnée "):

  • par l'équipe d'évaluation externe,
  • approbation par le groupe de référence,
  • arbitrage par le gestionnaire de l'évaluation si nécessaire.

Choix des indicateurs :

  • par l'équipe d'évaluation externe,
  • après consultation du groupe de référence.

Conception méthodologique (sources d'information, outils et programme de travail) :

  • par l'équipe d'évaluation externe,
  • après consultation du groupe de référence.

Collecte des informations disponibles au siège de la Commission et/ou à la (aux) Délégation(s):

  • par l'équipe d'évaluation externe,
  • si nécessaire, avec l'aide des membres du groupe de référence pour l'accès aux informateurs et en interaction avec le gestionnaire de l'évaluation

Terrain (2)

Collecte d'information :

  • par l'équipe externe d'évaluation,
  • si nécessaire, avec l'aide des membres du groupe de référence pour l'accès aux informateurs et en interaction avec le gestionnaire de l'évaluation en cas de grave difficulté

Synthèse (3)

Rapport, y compris les conclusions et recommandations :

  • par l'équipe externe de l'évaluation,
  • après interaction avec le groupe de référence.

Vérification de la qualité du rapport :

  • par le gestionnaire de l'évaluation, éventuellement avec l'aide d'un support externe,
  • après consultation des membres du groupe de référence.

Diffusion et suivi des recommandations (4)

Diffusion interne et externe :

  • par le gestionnaire de l'évaluation

Utilisation des conclusions et recommandations :

  • par les services de la Commission concernés,
  • avec un suivi assuré par le gestionnaire de l'évaluation.

.

LE GESTIONNAIRE DE L'EVALUATION

.

Qui est-ce ?

Le gestionnaire de l'évaluation (evaluation manager) est un membre du service qui est en charge de l'évaluation. Il gère tout le processus de A à Z au nom du commanditaire de l'évaluation.

Pourquoi désigner un gestionnaire de l'évaluation ?

  • Pour assurer la cohérence du processus d'évaluation, depuis les termes de référence jusqu'à la diffusion du rapport et au suivi des recommandations.
  • Pour être le référent administratif et coordonner l'activité des différents acteurs (groupe de référence et équipe d'évaluation).
  • Pour organiser, superviser et vérifier la qualité aux différentes phases du travail.
  • Pour être garant du bon déroulement de l'évaluation.

Que fait-il ?

  • Il constitue le groupe de référence après consultation des chefs des services concernés.
  • Il rédige les termes de référence après consultation des membres du groupe de référence.
  • Il procède à l'engagement de l'équipe externe d'évaluation après consultation du groupe de référence.
  • Il aide l'équipe d'évaluation à accéder aux informations et aux informateurs.
  • Il organise la discussion et l'approbation des conclusions et recommandations en interaction avec le groupe de référence et l'équipe d'évaluation.
  • Il procède à l'appréciation de la qualité méthodologique des rapports, avec une vérification par une seconde personne.
  • Il diffuse les résultats de l'évaluation auprès des différents acteurs concernés.
  • Il suit la prise en compte des recommandations / leçons en interaction avec les autorités concernées.

Recommandations

  • Prévoir un suppléant pour aider le gestionnaire de l'évaluation dans son travail quotidien et le remplacer en cas d'absence.
  • Choisir un gestionnaire de l'évaluation alliant connaissance de son institution et des techniques d'évaluation.
  • Eviter de désigner quelqu'un qui soit trop proche de la mise en oeuvre de l'intervention évaluée.

.

LE GROUPE DE REFERENCE

.

Qu'est-ce que c'est?

Un groupe restreint comprenant les services concernés par l'intervention, et éventuellement d'autres parties prenantes. Un ou plusieurs experts peuvent également être invités à y participer.
Le groupe de référence est une interface entre le gestionnaire et l'équipe d'évaluation externe. Ses membres aident l'équipe d'évaluation externe à identifier les sources d'information et à y accéder. Ils valident les questions d'évaluation et discutent les conclusions et les recommandations.
Le groupe de référence permet l'expression de la variété des points de vue portés sur l'intervention évaluée.

Quel est son rôle ?

Les membres du groupe de référence

  • Discutent et commentent les termes de référence préparés par le gestionnaire de l'évaluation
  • Rassemblent et résument les points de vue des services de la Commission et jouent un rôle d'interface entre l'équipe d'évaluation et les services, complétant ainsi les contacts bilatéraux
  • S'assurent que l'équipe d'évaluation a accès et consulte toutes les sources d'information et de documentation sur les activités mises en œuvre
  • Valident les questions d'évaluation
  • Discutent et commentent les notes et rapports produits par l'équipe d'évaluation. Les commentaires de chaque membre du groupe de référence sont rassemblés par le gestionnaire d'évaluation, puis transmis à l'équipe d'évaluation.
  • Assistent le processus de rétroaction (feedback) à partir des constats, conclusions et recommandations de l'évaluation.

Qui et comment inviter ?

Différents types d'acteurs peuvent être invités au groupe de référence. Si l'évaluation est menée à partir du siège, le groupe comprend:

  • Les services de la Commission concernés par l'intervention, y compris la Délégation concernée dans le cas d'une évaluation au niveau pays/région.
  • Des spécialistes d'un secteur ou d'une question transversale au sein de la Commission.
  • L'Ambassade du pays partenaire dans le cas d'une évaluation pays.

Si l'évaluation est menée à partir du pays partenaire, le groupe peut être élargi:

  • Aux services du Gouvernement.
  • A une sélection de partenaires de développement.
  • A une sélection d'organisation de la société civile.
  • A des experts.

L'expérience a montré qu'il est préférable que le groupe soit limité en nombre (10 à 12 membres) pour que son fonctionnement soit efficace.
Après avoir identifié les services, institutions ou organisations à inviter au groupe de référence, le chef du service gestionnaire de l'évaluation leur envoie une note d'invitation pour :

  • Annoncer officiellement le lancement de l'évaluation
  • Demander la désignation d'une personne comme membre du groupe de référence

Quand le réunir et comment l'impliquer ?

Le groupe de référence est généralement impliqué de la façon suivante :

Etape Réunion Rôle
Termes de référence   Commentaires
Engagement de l'équipe d'évaluation externe   Commentaires
Questions d'évaluation 1 Validation
Rapport de démarrage
(inception)
  Commentaires
Rapport de première phase
(desk)
2 Discussion
Commentaires
Débriefing de la phase de terrain 3 Discussion
Version 1 du rapport final, conclusions et recommandations 4 Discussion
Commentaires

Ouvrir le processus d'évaluation

En plus des apports du groupe de référence, le gestionnaire de l'évaluation peut bénéficier d'une plus grande variété de points de vues par d'autres canaux comme:

  • La consultation de parties prenantes clefs par l'équipe d'évaluation dans les premières étapes du processus
  • Réunir des ateliers participatifs, focus groups ou panels d'expert(s) pendant le processus d'évaluation
  • Discuter le rapport provisoire d'évaluation au cours d'un séminaire composé d'une assistance nombreuse dans le pays partenaire (si pertinent).

Experts invités au groupe de référence

De quoi parle-t-on ?

Un ou plusieurs membres du groupe de référence peuvent être invités en tant que personne ressource en raison de leur expertise.

Pour quoi les inviter ?

  • Pour orienter les travaux d'évaluation vers l'acquisition de connaissances nouvelles et éviter de redécouvrir les leçons apprises ailleurs
  • Pour décrire le point de vue de certaines parties prenantes, si cela est pertinent
  • Pour contribuer à apprécier la qualité de travaux dans leur champ d'expertise
  • Pour faciliter le transfert des connaissances

Qui inviter ?

  • Les experts invités appartiennent ou non aux services de la Commission.
  • Ils ont de préférence une connaissance de l'ensemble du champ de l'évaluation.
  • Ils font partie de réseaux globaux qui leur permettant de mobiliser les connaissances de l'ensemble de la communauté de l'aide au développement.

Présider une réunion du groupe de référence

Comment faire ?

  • Préparer un ordre du jour précis et veiller à le respecter (voir : réunion de démarrage, réunion de première phase, réunion de débriefing, réunion finale de discussion)
  • Veiller à ce que les débats soient équilibrés, impartiaux et constructifs.
  • Rédiger un compte-rendu clair et synthétique qui souligne les points de débat et fait état des point d'accord (cette tâche est accomplie de préférence par le gestionnaire adjoint).

Que faire en cas de désaccord ?

En cas de désaccord durable sur la méthode d'évaluation, l'Unité d'évaluation joue un rôle d'arbitre. Si nécessaire, la décision remonte au chef de l'Unité d'évaluation.

.

L'EQUIPE D'EVALUATION EXTERNE

.

De qui parle-t-on ?

L'équipe d'évaluation externe est responsable de la collecte et de l'analyse des données ainsi que du rapport, y compris la formulation des jugements (appelés également appréciations raisonnées) et la rédaction conclusions et recommandations. Elle interagit avec le groupe de référence et le gestionnaire de l'évaluation. Elle apporte ses services au commanditaire dans le cadre d'un contrat.
Les membres de l'équipe d'évaluation externe sont indépendants des organisations qui ont participé à la conception et à la mise en œuvre de l'intervention évaluée. Ils appartiennent à des organismes de recherche nationaux ou internationaux, à des sociétés de conseil ou sont des experts intervenant à titre personnel. Dans la mesure du possible, une partie des membres de l'équipe sont des nationaux du ou des pays concernés par l'intervention évaluée.

Pourquoi une équipe d'évaluation externe ?

  • Pour contribuer à assurer l'indépendance, l'impartialité et la crédibilité du processus d'évaluation
  • Pour apporter une expertise sur les méthodes et techniques d'évaluation
  • Pour apporter une expertise dans le ou les secteurs concernés

Comment l'engager ?

L'engagement de l'équipe se fait par appel d'offres selon différentes procédures, par exemple : contrat pluriannuel de services d'évaluation ou appel d'offres spécifique.
Le gestionnaire d'évaluation engage l'équipe après consultation des membres du groupe de référence.
L'engagement de l'équipe est guidé par tout ou partie des critères suivants :

  • Expérience pertinente en matière d'évaluation
  • Connaissance des instruments d'aide au développement évalués
  • Connaissance du champ de l'évaluation (secteur, pays…)
  • Présence d'experts et consultants locaux
  • Compétence managériale du leader de l'équipe (organisation, coordination, dialogue avec le client…)
  • Indépendance de l'équipe vis-à-vis de l'intervention évaluée et absence de conflit d'intérêt
  • Compétence d'évaluation et en particulier capacité à maîtriser la formulation des jugements, à rédiger des conclusions et recommandations et à réaliser des synthèses
  • Maîtrise des outils de collecte et d'analyse de l'information
  • Diversité des membres de l'équipe en terme de profils et d'expertise
  • Prix

Le gestionnaire fixe le poids relatif des critères et le précise dans les termes de référence.

Recommandations

  • Associer autant que possible des consultants locaux afin d'aider au développement d'une compétence locale (construction de capacités nationales d'évaluation) et de bénéficier de leur bonne connaissance du terrain.

Capacité d'évaluation

De quoi parle-t-on ?

Avoir une capacité d'évaluation suppose une connaissance et une expérience suffisante pour :

  • Assurer l'impartialité dans le choix des questions et la formulation des conclusions
  • Assurer la clarification de la logique d'intervention
  • Concevoir et conduire une méthode de collecte et d'analyse d'information adaptée aux questions et au contexte
  • Garantir la fiabilité des données et la validité des analyses
  • Traiter les jugements de valeur de façon structurée, transparente et impartiale
  • Distinguer les constats, les conclusions, les leçons et les recommandations
  • Présenter les travaux de façon synthétique
  • Optimiser l'utilité de l'évaluation pour ses différentes audiences

Une double capacité d'évaluation est nécessaire :

  • du côté du service gestionnaire de l'évaluation
  • et du côté de l'équipe d'évaluation externe.

Comment apprécier l'expérience professionnelle ?

Un professionnel de l'évaluation satisfait à la majorité des critères suivants:

  • Expérience d'évaluation variée (régions, thèmes, secteurs, instruments).
  • Formation et expérience dans les outils et méthodes d'évaluation.
  • Participation active à un ou plusieurs réseaux professionnels consacrés à l'évaluation.
  • Expérience du travail de terrain.

.

LES PARTIES PRENANTES

.

De quoi parle-t-on ?

Les parties prenantes (stakeholders) sont les individus, les groupes ou les organisations qui ont des responsabilités et/ou des intérêts directs ou indirects dans l'intervention évaluée. Ils peuvent être affectés ou non par l'intervention.

Pour quoi les identifier ?

  • Pour tenir compte de leurs points de vue
  • Pour profiter de leur expertise et des informations qu'ils détiennent
  • Pour les encourager à utiliser l'évaluation

Comment les prendre en compte ?

  • Identifier les différentes parties prenantes sur la base de la documentation disponible et des entretiens, en début de processus.
  • Identifier leurs attentes et en tenir compte dans la préparation des questions d'évaluation.
  • Analyser les apports possibles de chacun (information, expertise, contribution à l'interprétation des données).
  • Choisir une option pour bénéficier de leur apport, par exemple : entretiens individuels, ateliers participatifs, focus groups, panels d'experts, intégration dans le groupe de référence, etc.
  • Choisir les modalités de diffusion des résultats de l'évaluation pour les atteindre.

Recommandations

  • Dialoguer avec les parties prenantes pour mieux connaître leurs besoins et leurs priorités.
  • Associer les parties prenantes à l'interprétation des informations pour éviter les erreurs et rendre les constats plus robustes.

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions