Utilisation

.

Structure de la section:

.

LES UTILISATEURS DE L'EVALUATION

.

De qui parle-t-on ?

L'évaluation est destinée à des utilisateurs variés :

  • décideurs politiques et concepteurs des interventions
  • gestionnaires, partenaires et opérateurs impliqués dans la mise en oeuvre
  • institutions ayant attribué les financements et à qui des comptes doivent être rendus
  • autorités publiques conduisant des interventions connexes ou similaires
  • acteurs de la société civile
  • experts

Pour quoi s'en préoccuper ?

Pour optimiser l'utilité de l'évaluation pour les différents partenaires, et en particulier:

  • pour s'assurer que l'évaluation répondra aux attentes des utilisateurs prévus, sous une forme et à un moment adaptés à leurs besoins
  • pour s'assurer que l'évaluation aura la crédibilité nécessaire vis-à-vis des utilisateurs prévus

Décideurs politiques et concepteurs

Les décideurs politiques et les concepteurs utilisent l'évaluation pour préparer le lancement de nouvelles interventions, la réforme d'interventions existantes, le choix d'orientations stratégiques, les décisions d'allocations de ressources budgétaires, humaines, etc.
Ils ont besoin d'une information

  • directement utilisable dans le processus de décision,
  • qui arrive à temps
  • qui réponde à leurs questions de façon claire, succincte et fiable.

Ils s'intéressent aux enjeux stratégiques, à la cohérence externe et aux impacts globaux, qui constituent la finalité ultime de l'intervention.

Gestionnaires, partenaires et opérateurs

Les gestionnaires sont responsables de la mise en œuvre et du suivi de l'intervention, depuis les services centraux jusqu'au terrain, les plus proches du public étant les opérateurs. Les opérateures de terrain appartiennent soit à la CE soit à des institutions partenaires qui partagent la responsabilité de la mise en oeuvre.
Ils utilisent les résultats des évaluations pour avoir un feed-back sur les résultats de leur action.
Ils ont besoin d'une information qui arrive dès que possible pour corriger les écarts ou valider les changements. Ils sont prêts à interpréter des messages complexes et techniques.
Ils s'intéressent aux résultats directs de l'intervention, aux besoins et aux réactions du public visé, ainsi qu'aux interactions entre partenaires.

Autres acteurs

Les institutions qui ont attribué les financements attendent que des comptes leur soient rendus. Ceci est vrai du Parlement et du Conseil des ministres, mais aussi de tous les co-financeurs. Les contribuables et les citoyens sont également destinataires de l'évaluation.
Les autorités publiques qui conduisent des interventions connexes ou similaires sont potentiellement utilisatrices de l'évaluation, notamment sous forme de transfert des leçons apprises. Il en va de même des réseaux d'experts concernés par l'intervention.
Finalement, l'évaluation est susceptible d'être utilisée par les acteurs de la société civile, en particulier ceux qui portent les intérêts des publics bénéficiaires.

Recommandations

  • Dès la phase de lancement, faire l'inventaire des différents utilisateurs potentiels et les classer dans les catégories ci-dessus.
  • Questionner des informateurs clés pour comprendre les attentes des utilisateurs.
  • Choisir les attentes à privilégier, notamment en fonction des enjeux et des responsabilités de l'institution qui initie l'évaluation.
  • Prévoir un plan de communication et de diffusion adapté aux principaux utilisateurs visés.
  • Tenir compte des différents niveaux d'information utiles en fonction des utilisateurs : stratégique pour les décideurs, technique et opérationnel pour la mise en œuvre, général pour les acteurs extérieurs.

.

LES MODES D'UTILISATION

.

De quoi parle-t-on ?

Une évaluation peut être utilisée :

  • pour aider à préparer des décisions
  • pour aider à formuler des jugements
  • pour connaître et comprendre

Ces trois modes d'utilisation ne sont pas exclusifs l'un de l'autre : il faut comprendre pour pouvoir juger et il faut juger pour pouvoir décider.

Pourquoi s'en préoccuper ?

Pour optimiser l'utilité de l'évaluation, c'est-à-dire :

  • pour choisir et rédiger les questions en fonction de l'utilisation attendue,
  • pour ajuster le calendrier et la diffusion en fonction de l'utilisation attendue.

Aider à la décision

L'évaluation peut être conduite au bénéfice de ceux qui vont décider ou négocier un ajustement ou une réforme de l'intervention évaluée. Elle est alors utilisée pour corriger la mise en œuvre, pour concevoir le prochain cycle d'intervention ou pour redéfinir les orientations politiques.
Pour favoriser ce mode d'utilisation, également appelé rétroaction (feedback), les questions d'évaluation doivent être posées en fonction des attentes des décideurs et en prévoyant ce que sera leur agenda décisionnel au moment de la remise du rapport.
L'évaluation peut aider à la décision de deux façons différentes :

  • En formulant des conclusions de façon indépendante, puis en proposant des recommandations. Les évaluations de ce type sont dites " sommative ".
  • En favorisant l'implication des décideurs concernés, ou au moins leurs proches collaborateurs, en vue de créer un phénomène d'appropriation et de rétroaction directe. Les évaluations de ce type sont dites " formatives ".

L'aide à la décision prend différentes formes selon le contexte de la décision:

  • Les recommandations peuvent s'adresser aux gestionnaires et/ou aux concepteurs de l'intervention. Les évaluations qui privilégient ce type d'utilisation sont dites " managériales ".
  • Les recommandations peuvent s'adresser à l'ensemble des partenaires et co-financeurs de l'intervention. Les évaluations qui privilégient ce type d'utilisation sont dites " partenariales ".
  • Enfin, l'évaluation peut être conçue comme une aide à la négociation et à la résolution de problèmes entre les parties prenantes de l'intervention, c'est-à-dire les institutions responsables, les groupes d'intérêts et les acteurs de la société civile. Les évaluations qui privilégient ce type d'utilisation sont dites "pluralistes".

Aide à la formulation des jugements

L'évaluation peut aider les utilisateurs à former leur opinion sur les mérites de l'intervention.
La formulation d'un jugement d'ensemble est particulièrement utile pour rendre des comptes. Dans ce cas, l'évaluation examine les mérites de l'intervention selon les différents points de vue (évaluation récapitulative / sommative). Elle répond aux questions qui sont importantes pour les institutions qui ont alloué les ressources. Le rapport est accessible au grand public. L'indépendance de l'évaluation et la transparence du jugement sont mises en valeur.
Dans ce cas, une attention particulière est apportée à la définition des critères de jugement (aussi appelés " critères d'appréciation raisonnée "). Pourtant, le jugement lui-même n'est définitivement stabilisé qu'au moment de la remise du rapport final et de la discussion des conclusions. Utiliser une évaluation pour rendre des comptes suppose donc d'attendre la fin du processus.

Connaître et comprendre

Au-delà de l'aide à la décision et au jugement qui sont les deux formes d'utilisation généralement visées en priorité, l'évaluation permet aux utilisateurs,d'apprendre de l'intervention, de mieux comprendre ce qui marche et ce qui ne marche pas et pour accumuler des connaissances. Indirectement, elle contribue à transférer les connaissances acquises aux réseaux professionnels qui peuvent avoir un lien direct avec l'intervention évaluée.
A l'inverse de la rétroaction (feedback) qui concerne directement les responsables de l'intervention évaluée, le transfert des leçons est un processus indirect qui passe par les réseaux d'experts à l'intérieur et à l'extérieur de la Commission européenne. La capitalisation des connaissances commence souvent durant le processus d'évaluation, par l'intermédiaire des experts sectoriels impliqués dans l'équipe d'évaluation et le groupe de référence. Cependant, le transfert des leçons apprises commence véritablement après la remise du rapport final. La présentation de l'évaluation dans les réseaux spécialisés est une étape clé dans cette perspective. Elle prend la forme de séminaires ou d'articles techniques.

Recommandations

Dès le début, le gestionnaire de l'évaluation doit privilégier un ou plusieurs modes d'utilisation, puis optimiser le processus d'évaluation de façon aussi adapté que possible aux utilisateurs, par exemple en ajustant :

  • La composition du groupe de référence
  • Les questions d'évaluation
  • La stratégie de diffusion.

.

EVALUATION ET DECISION

.

De quoi s'agit-il ?

L'évaluation permet une rétroaction (feedback) en ce sens qu'elle aide à prendre des décisions telles que corriger la mise en œuvre, concevoir le prochain cycle d'intervention ou aider à redéfinir les orientations politiques. Dans ce contexte, la formulation et le suivi des recommandations constituent des étapes clés.

Pourquoi s'en préoccuper ?

Aider aux futures décisions est généralement la principale forme d'utilisation qui est visée. Il s'agit donc d'être attentif aux besoins des décideurs tout au long du processus d'évaluation pour avoir les meilleures chances de leur être utile.

Quel est le lien entre évaluation et décision ?

Certaines évaluations visent principalement à nourrir des décisions de gestion ou de réforme de l'intervention évaluée. Elles s'adressent aux opérateurs de terrain, aux services gestionnaires, aux autorités responsables de l'intervention ou à leurs partenaires. Dans cette perspective, il y a lieu de privilégier l'évaluation en cours de cycle et de porter une grande attention à la formulation et au suivi des recommandations. Ces évaluations sont dites formatives.

D'autres évaluations cherchent principalement à tirer les leçons de l'expérience sous une forme transférable pour nourrir des décisions dans d'autres contextes. Dans cette perspective, il y a lieu de privilégier l'évaluation ex post et de porter une grande attention à la formulation et à la transférabilité des leçons apprises. Ces évaluations sont dites récapitulatives (summative).

Il faut toutefois rester réaliste : les recommandations et les leçons ne sont pas nécessairement suivies par les décideurs. En effet, le processus de décision implique presque toujours de nombreux acteurs et de multiples facteurs, l'évaluation n'étant que l'un d'entre eux.

Conseils pour réaliser une évaluation orientée vers l'aide à la décision

  • Dès le commencement, réaliser des entretiens ciblés pour comprendre les attentes précises des décideurs et anticiper le calendrier décisionnel.
  • Cibler les questions à traiter et définir le calendrier de l'évaluation en fonction du processus de décision.
  • Impliquer des personnes ayant le point de vue des décideurs dans le groupe de référence.
  • Organiser le contrôle qualité, la rédaction des documents et leur diffusion en fonction des besoins des décideurs.
  • Mettre l'accent sur la qualité des recommandations et vérifier leur caractère opérationnel du point de vue des décideurs.
  • Respecter les délais pour permettre le feedback à temps dans le processus de décision.
  • Assurer un suivi en demandant aux décideurs concernés de prendre rapidement position par rapport aux recommandations et d'indiquer au bout d'un an les suites effectivement données.

.

EVALUATION ET TRANSFERT DES CONNAISSANCES

.

De quoi s'agit-il ?

L'évaluation contribue à la capitalisation des leçons de l'expérience et au transfert des connaissances acquises dans la perspective d'une utilisation par des acteurs qui n'ont pas de lien direct avec l'intervention évaluée. Dans ce contexte, l'identification des bonnes pratiques et des leçons transférables constitue une étape clé.

Pourquoi se préoccuper du transfert des connaissances ?

  • Sans un effort de capitalisation et de gestion des connaissances, les organisations ont tendance à oublier les leçons apprises et à répéter des erreurs coûteuses.
  • L'évaluation révèle et valide certaines connaissances des acteurs impliquées dans l'intervention, et qui sont potentiellement utiles pour des personnes qui travaillent dans d'autres pays, d'autres institutions ou d'autres secteurs.

Rédiger le rapport pour favoriser l'accumulation des connaissances

Parmi les nombreuses pages que comporte un rapport d'évaluation, seules celles qui concernent les bonnes pratiques et les leçons apprises sont orientées vers le transfert des connaissances. Il est donc important de les identifier et de les rédiger dans cette perspective.
Identifier une bonne pratique, c'est juger que cette pratique a conduit à obtenir les effets attendus d'une façon particulièrement efficace, efficiente ou durable.
Identifier une leçon transférable, c'est juger qu'une pratique donnée réussit généralement (ou échoue) à produire les effets attendus dans un contexte donné.
Le résumé du rapport d'évaluation met en valeur les principales leçons apprises en vue de faciliter leur accumulation et leur transfert. Pour chaque leçon, des références au corps du rapport permettent de préciser :

  • Le contenu exact de la leçon apprise.
  • La robustesse des conclusions sur lesquelles elle se fonde.
  • Le contexte dans lequel les connaissances ont été apprises et les facteurs de contexte qui conditionnent ou limitent le transfert.

Mobiliser les connaissances disponibles

Certaines institutions publiques ou réseaux professionnels cherchent à accumuler les connaissances dans des bases de données Intranet ou Internet. Le savoir peut aussi être accumulé de façon informelle par le biais de réseaux d'experts qui capitalisent les leçons pour un secteur donné ou pour un thème donné. Dans ce dernier cas, les membres du réseau s'efforcent de valider les connaissances avant de les capitaliser, par le biais de méta-évaluations ou de panel d'experts.
Non seulement l'évaluation aide à l'accumulation des connaissances, mais elle contribue aussi à la circulation des connaissances acquises. En effet, l'équipe d'évaluation mobilise l'expertise et la documentation disponible pour apporter une première réponse partielle aux questions posées. Si des leçons transférables ont été apprises grâce à d'autres évaluations et correctement capitalisées, alors l'équipe d'évaluation les identifie et les réutilise.

.

LA DIFFUSION DE L'EVALUATION

.

Qu'est-ce que c'est ?

La diffusion concerne le rapport final de l'évaluation, mais aussi toutes les autres façons de faire connaître les constats, les conclusions, les leçons apprises et les recommandations. La diffusion cible les services de la Commission, les institutions européennes, les partenaires externes, les réseaux d'experts et les médias et le grand public.

Pour quoi s'en préoccuper ?

La diffusion favorise l'utilisation de l'évaluation si elle est bien faite. Elle permet de

  • Faire passer les messages clés de l'évaluation aux décideurs, concepteurs, gestionnaires, opérateurs et partenaires concernés par l'intervention évaluée.
  • Rendre des comptes aux autorités et institutions concernées (redevabilité/accountability).
  • Faire évoluer les connaissances au sein des réseaux professionnels.
  • Faire évoluer les opinions dans la société au sens large.

Quelles dispositions prendre ?

  • La diffusion est prévue dès le stade des termes de référence, notamment en annonçant comment le rapport sera publié, et quel sera le rôle de l'équipe d'évaluation dans cette phase.
  • Tout au long du processus, veiller à la qualité de l'évaluation et de ses produits (rapport, résumé, annexes) et apprécier formellement la qualité à la fin du processus.
  • Lors de la dernière réunion du groupe de référence, identifier les principaux messages délivrés par l'évaluation et les audiences à cibler.
  • Après approbation du rapport, finaliser le plan de communication en choisissant les messages à mettre en valeur et les canaux d'information les plus adaptés pour chaque audience.
  • Obtenir les coopérations nécessaires pour la mise en œuvre du plan de diffusion et partager les rôles entre le gestionnaire de l'évaluation, l'équipe d'évaluation (vérifier que cela est bien dans son mandat et que cela est spécifiquement mentionné dans les termes de référence) et les membres du groupe de référence.

Quels canaux pour la diffusion ?

Le rapport d'évaluation est diffusé sur Internet de façon accessible pour tous les publics. Une diffusion plus active est cependant entreprise pour des audiences spécifiques :

  • Le rapport et/ou son résumé sont envoyés aux services concernés et aux partenaires.
  • Un résumé d'une page est préparé spécifiquement pour la hiérarchie du service qui a géré l'évaluation. Il pointe les principales conclusions et recommandations.
  • Un résumé est également placé sur les sites Intranet pertinents, accompagné d'un lien vers le rapport.
  • Un résumé de 2 à 3 pages et envoyé pour publication sur le site de l'OCDE, à destination de la communauté internationale de l'aide au développement. Il pointe les leçons apprises dans la mesure où elles sont transférables.
  • Un ou plusieurs articles peuvent être rédigés à destination du grand public ou de réseaux spécialisés.
  • Enfin, le rapport peut être présenté dans des réunions, ateliers ou séminaires.

Recommandations

  • Etablir les règles de citation des noms dans le rapport en fonction de la diffusion prévue.
  • Prévoir un budget pour le plan de communication au moment du lancement de l'évaluation (si l'équipe d'évaluation externe doit l'inclure dans sa proposition il faut le mentionner).

.

DOCUMENTS DE PRESENTATION DE L'EVALUATION

.

De quoi parle-t-on ?

Sachant que les rapports d'évaluation sont disponibles en version intégrale sur Internet, on a intérêt à diffuser un ou plusieurs textes plus courts adaptés aux différents publics pour présenter l'évaluation de façon accessible et attractive.

Pour quoi faire ?

Les textes visent à :

  • Faire connaître aux décideurs les principales conclusions et recommandations.
  • Informer le grand public, les médias et les experts sur l'existence et le contenu du rapport d'évaluation.
  • Favoriser le transfert des connaissances, en particulier des bonnes pratiques et des leçons apprises.
  • Favoriser la redevabilité (accountability) et renforcer l'utilisation démocratique de l'évaluation.
  • Inciter à consulter le rapport sur Internet

Formats et usages des différents documents

Le résumé du rapport est un des points de départ pour la rédaction de présentations. Sa longueur est typiquement de trois pages et son contenu ne vise pas une audience particulière. Au-delà du résumé, différents textes sont produits ou peuvent être produits :

  • Note d'une page centrée sur les conclusions et recommandations de niveau stratégique et destinée aux décideurs politiques.
  • Résumé de deux pages publiée par l'OCDE (EvInfo) pour l'information de la communauté de l'aide au développement. Dans la mesure du possible, ce résumé signale les leçons apprises dans la mesure où elles sont transférables.
  • Paragraphe de présentation de l'évaluation pour des documents de synthèse
  • Article de quelques pages destiné à un public particulier

Conseils pour rédiger un document de présentation

Choisir l'orientation du document

Définir la cible : texte pour le grand public ou pour un public spécialisé et si oui, lequel ?
Sélectionner quelques messages à mettre en valeur dans le titre et les sous-titres, en fonction du public ciblé.
Choisir une longueur de texte et un style adaptés au public ciblé.

Décrire l'intervention évaluée

  • Qui a décidé et financé l'intervention ? quand ?
  • Budget et réalisations typiques.
  • Effets attendus et raison d'être.

Décrire l'évaluation

  • Qui a décidé l'évaluation ? pourquoi ?
  • Champ de l'évaluation.
  • Principales questions posées.

Principaux messages

  • Constats, connaissances nouvelles apportées.
  • Conclusions.
  • Leçons transférables, bonnes pratiques reproductibles.
  • Recommandations.

Méthode

Décrire la conception méthodologique de façon non-technique et dire si les principaux messages sont solides ou fragiles.
Si un aspect de la méthode est particulièrement intéressant pour le public visé, faire un encadré plus technique.

Recommandations

  • Eviter le jargon technique de l'évaluation, le langage spécialisé du secteur d'intervention et les acronymes administratifs, surtout si on s'adresse à un large public.
  • Se concentrer sur quelques messages essentiels et faire des liens vers le résumé et le rapport disponible sur le site Internet de la Commission.

.

PRESENTER UNE EVALUATION DANS UN SEMINAIRE

.

Pour quoi faire ?

Dans un environnement de surabondance de l'information écrite, un moyen efficace d'atteindre les utilisateurs potentiels consiste à présenter les résultats de l'évaluation dans des réunions ou des séminaires.
Une présentation orale de l'évaluation aide à :

  • Favoriser le transfert des connaissances, en particulier des bonnes pratiques et des leçons apprises au sein des réseaux professionnels
  • Informer des personnes qui vont relayer les messages vers les décideurs ou vers un public plus large
  • Attirer l'attention des institutions auxquelles il s'agit de rendre des comptes et renforcer l'usage démocratique des évaluations
  • Mettre les conclusions en débat

Conseils pratiques

Une présentation courte (de 10 à 20 minutes) suffit pour présenter l'essentiel mais un temps plus important doit être laissé aux questions (20 à 40 minutes).
La présentation aborde les points suivants :

L'intervention évaluée

  • Qui a mené l'intervention, quand, avec quelles ressources ? Quelles réalisations, quels objectifs, quelle raison d'être ?
  • Grandes lignes de la logique de l'intervention

L'évaluation

  • Qui a décidé l'évaluation, quand, pourquoi ?
  • Qui a réalisé l'évaluation, qui est responsable des conclusions ?
  • Quelle partie de l'intervention a été évaluée, quelles questions étaient posées ?

Messages résultant de l'évaluation

Quelques messages particulièrement importants du point de vue du public participant à la réunion ou au séminaire (informations clés, constats, conclusions, leçons transférables et/ou recommandations).

Forces et faiblesses des messages

Explication de la méthode employées et raisons pour lesquelles tel ou tel message est plutôt solide (valide) ou fragile. Recommandations pour l'utilisation des messages s'ils sont fragiles.

Recommandations

  • Adapter le niveau de langage en fonction du public présent : sans jargon pour un public large, plus technique pour un public d'experts sectoriels…
  • Indiquer comment accéder au rapport final et au résumé, notamment par Internet.

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions