published
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Boîte à outils

Boîte à outils

.

Structure de la section:

.

QUELS OUTILS ?

.

Les quatre fonctions de l'évaluation

L'évaluation s'organise en quatre fonctions principales, non strictement séquentielles : structuration de l'évaluation (axée sur la formulation de questions d'évaluation en vue de conduire au jugement d'ensemble, ou overall assessment), collecte de données quantitatives et qualitatives, analyse de l'information recueillie, jugement sur les questions, conduisant à la formulation des conclusions et recommandations.
Les objectifs de ces quatre fonctions peuvent se résumer comme suit :

  • La structuration de l'évaluation contribue à choisir (ou préciser) les questions d'évaluation, les critères de jugement, les indicateurs de ces critères et ainsi à définir la méthode de l'évaluation.
  • La collecte a pour objectif de réunir toutes les données primaires et secondaires brutes (quantitatives et qualitatives) nécessaires pour répondre aux questions.
  • L'analyse traite l'information recueillie en vue d'arriver à des constats, notamment sur la contribution de l'aide aux évolutions observées.
  • Pour chaque question d'évaluation, le jugement conduit à la formulation de la réponse et aux conclusions de l'évaluation.

La conception de la méthode d'évaluation sur la base des questions d'évaluation en vue de la formulation d'un jugement d'ensemble (overall assessment) est déterminante dans le choix des outils pour chacune des quatre phases.

L'importance de la recherche documentaire

Bien qu'aucun outil ne soit présenté sur ce site à cet effet, la recherche documentaire auprès des services de la Commission et sur le terrain (en particulier, l'utilisation des supports tels que la base de données CRIS) est un constituant de l'évaluation.
La liste suivante (non exhaustive) recense les principales sources documentaires (données secondaires) à considérer dans le cas d'une évaluation pays :

  • les accords généraux, bilatéraux et multilatéraux, de coopération, de partenariat, d'association, sectoriels et thématiques (commerce, investissement, science et technologie, etc.) et les conclusions de sommets bilatéraux et multilatéraux ;
  • les Documents de Stratégie Pays/Région (DSP et DSR) et les Programmes Indicatif National/Régional (PIN et PIR)
  • les rapports annuels et les bilans à mi-parcours (mid-term reviews) disponibles ;
  • les rapports de la Cour des Comptes européenne ;
  • les documents officiels gouvernementaux (notamment le Document Stratégique de Réduction de la Pauvreté (DSRP) et les stratégies sectorielles, si existantes) et ceux produits par les agences multilatérales et bilatérales de coopération (documents de stratégie, documents de projet, etc.) ;
  • les évaluations de projets et programmes, à caractère thématique et/ou sectoriel disponibles ;
  • les rapports de monitoring (ROM) sur les projets et programmes en cours ;
  • les règlements généraux de la Commission et, d'une façon générale, tous les textes réglementaires et les engagements politiques de la période couverte par l'évaluation.

Les outils développés

Treize outils ont été mis au point. Ils sont généralement connus des évaluateurs. On en rappelle ci-après leurs traits distinctifs.

Diagramme des objectifs et diagramme des effets

Le diagramme des objectifs décrit la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution. Le diagramme des effets présente la hiérarchie des activités, des résultats et des effets escomptés. Les effets escomptés sont la traduction des objectifs en termes de réalisation.

Permettant de reconstruire la logique de l'intervention et les effets escomptés, l'outil joue un rôle de premier plan dans la structuration de l'évaluation des interventions complexes en contribuant à la formulation des questions d'évaluation.

Diagramme des problèmes

Les projets et programmes d'aide ont pour objet de satisfaire des besoins jugés prioritaires et pour cela résoudre un certain nombre de problèmes faisant obstacle. Il est théoriquement possible d'en tirer un diagramme prenant la forme d'un arbre complet avec un tronc (le problème principal), un système radiculaire (l'arborescence des causes) et une ramure (les conséquences).

Le diagramme des problèmes, en association avec le diagramme des effets, permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.

Diagramme des décisions

Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux de l'Union Européenne en matière de coopération avec les pays tiers donnent lieu à des décisions de coopération bilatérale à moyen terme et à court terme.

Complétant le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie en terme de cohérence interne (enchaînement logique des choix successifs) et de pertinence externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Entretien individuel

L'entretien individuel permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation : faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.

Focus group

Le focus group vise à débattre des informations, des opinions et des jugements déjà collectés. Il permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance. On utilise fréquemment le focus group pour recueillir les opinions des bénéficiaires sur leur participation à un programme et ce qu'ils en ont retiré de positif ou négatif - alternative aux entretiens. Quel que soit l'usage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu d'une opinion spontanée.

Enquête par questionnaire

L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. Lorsque l'échantillon est représentatif, l'enquête par questionnaire permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.

Etude de cas

L'étude de cas vise à répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, choisis en fonction des objectifs de l'évaluation. Dans des contextes qui le permettent et qui le nécessitent, le ou les cas étudiés peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.

Panel d'experts

Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. Le panel permet de proposer des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.

SWOT

L'analyse SWOT combine l'étude des forces et des faiblesses d'une organisation, d'un territoire, d'un secteur, etc. avec celle des opportunités et des menaces de son environnement. Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.

Indicateurs de contexte

L'outil vise à positionner un pays en comparant ses indicateurs de contexte avec ceux d'autres pays. Un indicateur de contexte est une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. L'outil permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.

Analyse multicritère

L'analyse multicritère est, dans une position ex-ante, un outil d'aide à la décision. Dans le contexte de l'évaluation ex-post, elle contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.

Analyse coût-efficacité

L'outil vise à identifier l'action qui atteint un résultat au meilleur coût. Il permet de comparer l'efficience de projets ou de programmes recherchant des effets comparables. Il contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.

Analyse culturelle et sociale

Dans le cadre de l'évaluation pays, l'analyse culturelle et sociale consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent.

L'absence d'outil statistique

Dans le contexte de l'aide aux pays tiers, les données susceptibles d'un traitement statistiques sont généralement difficiles à réunir. De plus, leur pertinence est limitée du fait des retards de publication et de leur fiabilité fragile. Les données disponibles sont générales et descriptives, elles ne requièrent que des traitements relativement simples. La priorité s'est donc portée sur le développement d'outils basés sur des données relativement simples à obtenir.

Principes d'utilisation

D'une façon générale, il importe de veiller à la faisabilité d'un travail de terrain ou sur les limites de ce travail. Les contextes spécifiques des pays dans lesquels l'étude est conduite peuvent en effet fortement limiter le choix des outils, notamment du fait des contraintes logistiques et des coûts de mise en œuvre.
Avant de présenter les critères de choix des outils les plus appropriés à la méthode adoptée, quelques principes d'utilisation doivent être rappelés :

  • Aucun outil ne permet à lui seul de répondre à une question ou de remplir une des quatre fonctions, ce qui veut dire que toute évaluation nécessite une combinaison d'outils.
  • Chacun des outils est adapté à une fonction spécifique, parfois à plusieurs.
  • Plusieurs outils sont généralement employés en parallèle pour une même fonction avec des angles d'attaque différents, en vue de permettre des recoupements.
  • Le choix des outils d'évaluation dépend de tâches à réaliser et du contexte : degré de complexité de l'intervention, niveau de l'expertise disponible, nature de l'information recherchée et disponible, multiplicité des interlocuteurs, etc.
  • Le choix des outils doit, sauf demande spécifique, procéder d'un souci d'homogénéité dans le détail et la précision de l'information utilisée et de son analyse.

En bref, l'équipe d'évaluation doit recourir à plusieurs outils et adopter la combinaison d'outils la plus efficiente dans le contexte spécifique de l'évaluation.

.

QUAND UTILISER QUELS OUTILS

.

Les outils et les quatre fonctions de l'évaluation

Le classement des outils selon les quatre grandes fonctions est un premier élément de choix.
Pour chaque outil, le tableau ci-dessous propose les fonctions auxquelles l'outil est destiné et celles auxquelles il peut contribuer utilement. La plupart des outils ont ainsi une fonction principale et une ou plusieurs fonctions secondaires. On rappelle que la liste d'outils présentée ci-dessous n'a aucun caractère limitatif.


Les outils de structuration

La structuration de l'évaluation peut utilement s'appuyer sur une première série d'outils regroupés ici sous le terme d'outils de structuration. Dans le cas d'une évaluation de projet ou de programme homogène, le cadre logique décrivant les objectifs (globaux et spécifiques) de l'intervention, les problèmes auxquels elle répond, et les résultats attendus, constitue l'outil de structuration de l'évaluation. L'utilisation du diagramme des problèmes est souvent recommandée en plus du cadre logique.
Pour les évaluations dont le champ comprend un ensemble d'objectifs et d'activités hétérogènes, notamment les évaluations géographiques, trois outils sont proposés ici, dont le premier, le diagramme des objectifs et des effets, constitue le pilier. Lorsque qu'il s'agit de programmes complexes ou de stratégies, le diagramme des problèmes permet de répondre à des questions sur la pertinence des objectifs, d'identifier les enjeux de l'intervention et inversement les problèmes auxquels elle n'a pas eu pour but de proposer de solutions. Enfin, le diagramme des décisions complète utilement le diagramme des objectifs dont la rationalité ne permet pas d'appréhender les origines de toutes les orientations et décisions, notamment celles qui conduisent à éliminer certains choix et/ou qui résultent d'une négociation avec les partenaires.
Ces outils sont également utilisables dans les phases d'analyse et de formulation des jugements (voir polyvalence des outils).

Les outils de collecte, d'analyse et de jugement

Dans ces trois fonctions, il existe une panoplie étendue d'outils, souvent complémentaires et/ou polyvalents. C'est ainsi que nombreux facteurs sont à prendre en compte pour effectuer un choix efficace. Bien qu'il n'existe pas de formules permettant d'assurer un choix optimal, il existe en revanche un cheminement (lien) favorisant l'élaboration d'une méthode homogène et susceptible de conduire à une réponse solide aux questions.

Polyvalence des outils

La liste des outils qu'il serait souhaitable de mobiliser est fréquemment trop étendue pour que les ressources de l'évaluation permettent d'envisager la mise en œuvre de tous les outils. Des arbitrages sont nécessaires, en s'appuyant sur les priorités de l'évaluation et en optimisant l'utilisation des ressources. Plus le champ et le questionnement de l'évaluation sont étendus, plus le risque de dispersion est grand et donc plus l'équipe d'évaluation doit être attentive à ce que ses observations et ses analyses permettent de répondre aux questions essentielles de l'évaluation. L'équipe prendra donc en compte le fait que, d'une part, plusieurs outils sont généralement nécessaires pour remplir une même fonction et recouper l'information et que, d'une autre part, les outils sont souvent polyvalents et contribuent à répondre à plusieurs questions à la fois.

Critères de choix des outils

Outre la fonction des outils et leur capacité à remplir l'une ou l'autre des quatre grandes fonctions de l'évaluation, d'autres critères doivent être examinés.
Les critères de choix proposés ici ont pour objet de guider l'évaluateur dans les arbitrages nécessaires à la finalisation de la méthode.

  • La maîtrise des techniques. Si tous les outils proposés ici doivent pouvoir être utilisés par les équipes d'évaluation, pour certains outils il est souhaitable qu'un membre de l'équipe en ait déjà fait l'expérience. C'est notamment le cas des outils nécessitant la maîtrise de techniques spécifiques d'animation de groupe, d'outils relativement complexes comme l'analyse multicritère ou l'analyse coût-efficacité ou encore pour l'enquête par questionnaire.
  • Le besoin de données spécifiques. Certains outils nécessitent la collecte de données particulières sans lesquelles leur mise en œuvre risque de produire des conclusions erronées. Par exemple, une analyse coût-efficacité nécessite des indicateurs d'efficacité des projets comparés, sans lesquels la mise en œuvre de l'outil n'est pas possible. Avant de décider d'utiliser l'outil, il faut s'assurer que ces données sont disponibles ou qu'elles pourront être élaborées avec une fiabilité suffisante.
  • Les ressources nécessaires pour l'utilisation de l'outil. La question est particulièrement sensible pour les outils mis en œuvre au cours des missions dans un pays partenaire et qui entraînent parfois des coûts spécifiques élevés. Il importe de s'assurer de leur pertinence dans la méthode et de rechercher la voie la moins coûteuse et la plus efficiente (notamment pour la collecte de donnés).
  • Le délai de réalisation. Certains outils nécessitent des délais de préparation importants avant leur mise en œuvre sur le terrain, c'est notamment le cas des enquêtes ou, à un moindre degré, de certains focus groups et panels d'experts.
  • La disponibilité d'experts locaux qualifiés, capables de mettre en œuvre des outils particuliers dans les langues locales. Cette question est particulièrement cruciale pour les outils qui nécessitent des techniques d'animation de groupe (focus groups, etc.) pour lesquelles des experts de bon niveau disponibles sont parfois difficiles à identifier.

Le tableau ci-dessous propose pour chaque outil une notation des cinq critères, mettant l'accent, pour chaque outil, sur les critères qui nécessitent une attention particulière. Chaque critère est noté de 1 à 3. La note 1 indique que le critère ne pose pas de problème particulier pour cet outil. La note 3 indique que pour le critère concerné, il est recommandé de vérifier de la faisabilité de la mise en œuvre l'outil.

Exigences spécifiques des outils

Outil Maîtrise
des
techniques
Informations
spécifiques
Coût Délai Experts
locaux
qualifiés
Diagramme des
objectifs et
diagramme des effets
2 1 1 1 1
Diagramme des
problèmes
2 1 1 1 1
Diagramme des
décisions
2 1 1 1 1
Entretien
individuel
1 1 1 1 1
Focus group 2 1 1 2 3
Enquête par
questionnaire
3 1 3 3 2
Etude de cas 1 2 2 3 1
SWOT 1 3 2 2 1
Indicateurs de
contexte
2 1 1 1 1
Panel d'experts 2 1 1 2 2
Analyse multicritère 2 3 2 2 2
Analyse coût efficacité 3 3 3 2 1
exigence forte (3) , moyenne (2), faible (1)

Des notations de niveau 3 ne signifient pas qu'il faut éviter d'utiliser l'outil. Il est en effet recommandé de donner la priorité aux outils assurant les meilleures réponses aux questions posées et, dans un deuxième temps, de s'assurer de la possibilité de les mettre en œuvre dans le contexte et avec les ressources de l'évaluation.

Le développement d'une méthode homogène

  • La conception de la méthode doit viser la mise en place d'une technicité homogène et efficace. Il est inutile de prévoir la mise en œuvre d'outils très sophistiqués pour remplir une fonction si les autres fonctions ne sont pas traitées avec une précision ou une rigueur similaire ou si les autres outils ne peuvent pas fournis les informations nécessaires ou utiliser les informations produites.
  • La collecte doit être conçue avec une attention particulière car il est rarement possible de relancer une collecte incomplète, surtout pour la partie effectuée dans le pays partenaire. La même attention doit être portée aux outils d'analyse et de jugement qui sont mis en œuvre dans le pays partenaire.
  • À cette fin, il est utile d'estimer les risques d'insuccès liés à la mise en œuvre de chaque outil et le cas échéant de prévoir des solutions alternatives, afin d'en limiter les conséquences sur l'ensemble de l'évaluation.

En définitive, la méthode doit se développer en s'appuyant sur la palette d'outils disponibles en prenant en compte leurs avantages et leurs contraintes, les conditions de leur mise en œuvre dans le cadre des évaluations de l'aide au développement, les ressources nécessaires à leur mise en œuvre ainsi que les limites des résultats que l'on peut en attendre, notamment en fonction du contexte.

Analyse des outils

Diagramme des objectifs et diagramme des effets

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de reconstruire la logique de l'intervention et les effets escomptés.
Contribue à la formulation des questions d'évaluation.
L'outil joue un rôle de premier plan dans la structuration de l'évaluation des programmes complexes (c'est le cas des stratégies pays/Région).
Contraintes potentielles Accès limité à la documentation. Information mal élaborée
Résultats attendus Formulation des questions d'évaluation.
Reconstruction de la logique d'intervention du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Expertise de l'évaluateur.

Diagramme des problèmes

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Validation de la logique d'interven-tion du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs.
Expertise de l'évaluateur.

Diagramme des décisions

Fonction prioritaire Structuration de l'évaluation
Avantages Facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Explicitation du processus de décision et de détermination des objectifs stratégiques et/ou politiques.
Analyse de la cohérence et pertinence de la stratégie
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs et des problèmes.
Expertise de l'évaluateur.

Entretien individuel

Fonction prioritaire Observation / Collecte
Avantages Permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation
Contraintes potentielles Disponibilité et degré de collaboration limités des parties prenantes.
Choix inapproprié des interlocuteurs (manque de représentativité de toutes les parties prenantes)
Subjectivité et spontanéité des opinions exprimées.
Faible degré de comparaison des réponses.
Résultats attendus Faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.
Ressources nécessaires Parties prenantes disponibles.
Délais requis.

Focus group

Fonction prioritaire Collecte / Observation
Avantages Permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes.
Risque de choix inapproprié /arbitraire d'interlocuteurs (représentativité de toutes les parties prenantes).
Subjectivité des opinions exprimées
Résultats attendus Des opinions stabilisées après discussion approfondie, au lieu d'une opinion spontanée.
Ressources nécessaires Collecte antérieure des informations (le focus group vise à débattre des informations, des opinions et des jugements déjà collectés).
Maîtrise locale pour la facilitation de réunions.

Enquête par questionnaire

Fonction prioritaire Collecte / Observation
Avantages Permet de collecter auprès d'un échantillon de population des réponses comparables.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes enquêtées
Traitement lourd, précisant élaboration, des réponses/donnés.
Non maîtrise des techniques.
Résultats attendus Lorsque l'échantillon est représen-tatif, elle permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.
Ressources nécessaires Expertise requise pour le traitement de données.
Délais requis.
Coûts.

Etude de cas

Fonction prioritaire Analyse
Avantages Permet de répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets.
Contraintes potentielles Spécificité des situations analysées (non généralisables).
Risque d'extrapolation/généralisa-tion injustifiée.
Risque de choix inapproprié/ arbitraire des cas d'études (sans rapport avec les objectifs de l'évaluation).
Accès à l'information.
Résultats attendus Réponses aux questions qui nécessitent un approfondissement (comment et pourquoi ?).
Dans des contextes qui le permettent, les études de cas peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.
Ressources nécessaires Accessibilité des sites et disponibilité de bénéficiaires.
Délais.
Coûts.

Panel d'experts

Fonction prioritaire Analyse
Avantages Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer.
Le panel permet d'obtenir l'avis collectif, débattu et consensuel, d'un group d'experts reconnus.
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité de jugements/analyses.
Résultats attendus Des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

SWOT

Fonction prioritaire Analyse
Avantages Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.
Contraintes potentielles Informations trop générales, voire incomplètes ne permettant pas de réaliser une analyse en profondeur.
Risque d'impartialité dans l'analyse des forces/faiblesses.
Non maîtrise de l'outil.
Nécessité d'un consensus autour de l'analyse (perception de menaces/opportunités).
Résultats attendus Diagnostic rapide d'une organisation, territoire, programme-me, secteur à partir de l'analyse des forces et des faiblesses combinée avec l'analyse de l'environnement / contexte en termes d'opportunités et de menaces.
Ressources nécessaires Collecte antérieure des informations (le SWOT nécessite des informations très précises. Autrement il risque de rester un exercice purement abstrait et intellectuel).
Maîtrise de l'instrument.

Indicateurs de contexte

Fonction prioritaire Analyse
Avantages Permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.
Contraintes potentielles Choix inapproprié des indicateurs de contexte.
Manque d'informations suffisantes/ fiables pour compléter les indicateurs.
Résultats attendus Positionnement d'un pays par comparaison de ses indicateurs de contexte à ceux d'autres pays
Ressources nécessaires Nécessite une bonne collecte de donnés, régulière afin de mesurer l'évolution des indicateurs du contexte.
Peut nécessiter des enquêtes par questionnaire.

Analyse culturelle et sociale

Fonction prioritaire Analyse
Avantages Consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité des jugements/analyses.
Niveau d'abstraction de l'analyse ; distance par rapport à la réalité.
Résultats attendus Une approximation à la notion de capital social dans un territoire donné.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

Analyse multicritère

Fonction prioritaire Jugement
Avantages Outil d'aide à la décision qui, dans le contexte de l'évaluation ex-post, contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus Jugements sur les questions d'évaluation
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Délais.
Coûts.

Analyse coût-efficacité

Fonction prioritaire Jugement
Avantages Permet de comparer l'efficience de projets ou de programmes recher-chant des effets comparables.
Contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus La méthode vise à identifier l'action qui atteint un résultat au meilleur coût.
Des jugements sur le choix de projets /programmes.
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Coûts.
Délais.

.

QUELLE COMBINAISON D'OUTILS?

.

Principe de combinaison

L'utilisation de certains outils requiert la mise en œuvre préalable d'autres outils. C'est le cas lorsqu'un outil peut produire des informations utiles à la mise en œuvre d'un autre outil. C'est aussi le cas lorsqu'en apportant un angle d'analyse différent, un outil permet de conforter ou de nuancer les conclusions auxquelles un autre outil a permis d'arriver. Pour les outils relativement complexes (notamment les outils de jugement), il importe, avant de s'engager dans leur mise en œuvre, de s'interroger sur les informations préalables qui pourraient améliorer leur performance et de rechercher l'outil qui va permettre de les produire de façon optimale.
Les cas les plus fréquents de mise en oeuvre d'un outil par un autre sont répertoriés dans le tableau ci-après. Par exemple, la première ligne du tableau suggère que les diagrammes des objectifs et des effets impliquent ou peuvent impliquer la réalisation d'entretiens individuels et de focus groups.

Outils utilisés par d'autres outils


Le tableau ci-dessus est indicatif. Il est possible d'imaginer d'autres cas dans des contextes particuliers. De façon générale, ce sont les outils de collecte (fondamentalement l'entretien individuel, le focus group et l'enquête par questionnaire) qui sont le plus mobilisés par les autres outils d'analyse et de jugement, car ces derniers requièrent des informations spécifiques pour leur mise en oeuvre. Il est donc important de prêter une attention spéciale aux outils d'analyse et de jugement, afin d'assurer l'homogénéité de la méthode et la performance optimale des outils tout au long de la séquence.

Fréquence d'utilisation des outils

Du tableau ci-dessus il ressort que l'entretien individuel est, sans surprise, l'outil le plus utilisé par les autres outils (y compris les autres outils de collecte). Par contre, l'étude de cas se situe à l'extrême, constituant un méta outil qui s'appuie donc sur tous les outils de collecte. Il peut, le cas échéant, utiliser les outils d'analyse.
Bien qu'il ne soit pas possible de proposer a priori toutes les combinaisons et associations souhaitables entre outils, certaines considérations méritent d'être formulées dans le but d'assurer l'homogénéité de performance des outils tout au long de la séquence :

  • Certains outils sont fréquemment utilisés par d'autres outils. Par exemple, l'entretien individuel est un outil de collecte utilisé dans la plupart des outils d'évaluation.
  • Sans évoquer une hiérarchie entre les outils, la plupart des outils sont plus ou moins composites. En décidant d'utiliser un outil particulier, il est donc nécessaire de prendre en compte les conditions d'usage et les contraintes inhérentes aux outils sur lesquels il s'appuie.?
  • Compte tenu de la polyvalence, évoquée précédemment, de la majorité d'outils, il convient de tenir compte des critères de rationalisation et d'optimisation dans leur choix. On se réfère notamment au regroupement de questions d'évaluation selon la fonctionnalité des outils sélectionnés, et vice-versa.

Exemple de combinaison

Test de deux outils utilisables en évaluation pays - enquête par questionnaire et focus group - réalisé dans le cadre de l'évaluation Bénin.
Le test a vérifié la possibilité de répondre partiellement par une combinaison des deux outils à la question évaluative suivante : "Dans quelle mesure la stratégie sanitaire et les interventions de la Commission permettent-elles de répondre aux besoins fondamentaux de la population, en particulier des plus pauvres ?"
Les objectifs du test étaient de collecter et traiter les informations et les points de vue des bénéficiaires afin de constater les tendances globales du service fournis par les centres de santé. Il a combiné trois enquêtes et quatre focus groups.
Trois enquêtes :

  • deux sur questionnaire fermé (s'adressant d'une part aux ménages et d'autre part aux usagers des centres de soins : en tout 660)
  • une sur questionnaire ouvert (s'adressant aux autorités locales, au personnel de santé, aux responsables de mutuelles et d'associations locales : en tout 100).

Quatre focus groups :

  • deux focus groups de bénéficiaires (villageoises) dans deux localités différentes ;
  • un focus group réunissant les sages femmes et les infirmiers ;
  • un focus group réunissant les médecins du secteur privé et public.

Les 2 derniers focus group ont été organisés en complément des résultats des 2 focus groups de bénéficiaires et de ceux des questionnaires. L'objectif est de croiser des regards différents sur une même situation à partir de quelques éléments de dysfonctionnements constatés.
Le croisement des résultats de l'enquête par questionnaire et des focus groups a largement contredit les présupposés de départ de l'action de réorganisation de l'offre de santé publique au Bénin par la Commission européenne. Il a en outre confirmé l'accès aux soins très réduit des plus pauvres dans le secteur public.

.

QUELLES CONTRAINTES ET EXIGENCES SPECIFIQUES?

.

Les limites et risques sont liés aux contraintes spécifiques et aux exigences de chacun des outils en ressources de tous ordre.

Contraintes potentielles

Accès à l'information et aux sources d'information

La plupart des outils exigent un accès relativement facile à la documentation de base (Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions, Etude de cas, Indicateurs de contexte) Certains outils sont très dépendants de la représentativité, de la disponibilité et de la coopération d'interlocuteurs et parties prenantes, notamment : Entretien individuel, Focus group, Enquête par questionnaire.

Qualité de l'information recueillie

La qualité des informations recueillies est essentielle. Elle peut être affectée par :

  • l'insuffisance et/ou l'imprécision des informations (SWOT, Indicateurs de contexte, Analyse coût-efficacité, Analyse multicritère, Analyse culturelle et sociale)
  • un biais dans les opinions exprimées (Enquête par questionnaire, Focus group)
  • une partialité dans les jugements ou un biais dans les analyses (Panel d'experts, Analyse culturelle et sociale )
  • une certaine partialité dans l'analyse des forces/faiblesses (SWOT)
  • une généralisation non valide (Etude de cas)
  • des réponses difficiles à comparer (Entretien individuel)
  • le choix inapproprié des indicateurs de contexte (Indicateurs de contexte)
  • un niveau excessif d'abstraction de l'analyse et une trop grande distance par rapport à la réalité (Analyse culturelle et sociale )

Maîtrise des techniques spécifiques

Une bonne maîtrise de l'outil est utile dans tous les cas, et particulièrement pour : Enquête par questionnaire, Analyse culturelle et sociale , SWOT, Analyse coût-efficacité, Analyse multicritère.
La disponibilité et l'expérience des experts qualifiés doit être particulièrement assurée pour : Etude de cas, Analyse culturelle et sociale , Panel d'experts, Focus group.
Le traitement des réponses peut devenir très lourd faute de savoir faire suffisant (Enquête par questionnaire).
Une insuffisante expérience fait courir le risque de choix inappropriés des cas d'étude, sans rapport direct avec les objectifs de l'évaluation (Etude de cas).
La recherche nécessaire d'un consensus sur la perception des menaces et opportunités exige un savoir faire spécifique (SWOT).

Ressources nécessaires

Ressources humaines

La disponibilité d'experts qualifiés doit être garantie dans tous les cas. Elle est une condition sine qua non pour : Analyse culturelle et sociale , Panel d'experts. SWOT, Analyse coût-efficacité, Analyse multicritère, Focus group.
L'expertise de l'évaluateur est à considérer pour les outils dits de structuration : Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions.
Elle est expressément requise pour le traitement des données de l'Enquête par questionnaire.
Une expérience de conduite et d'animation de réunions est capitale pour : l'Analyse culturelle et sociale , le Panel d'experts, le Focus group.

Coûts

Une attention particulière doit être portée aux coûts de mise en œuvre pour les outils suivants : Analyse coût-efficacité, Analyse multicritère, Enquête par questionnaire, Etude de cas.

Durée

Une estimation pertinente du temps nécessaire est importante dans tous les cas, et en particulier pour la mise en œuvre de : l'Analyse coût-efficacité, l'Analyse multicritère, l'Enquête par questionnaire, l'Etude de cas, l'Entretien individuel.

Incidence des opérations préalables

Lorsque un outil requiert une collecte préalable d'information, sa durée, son coût et les ressources humaines nécessaires ne doivent pas être sous-estimés. Le cas échéant, une vérification de l'accessibilité des sites et de la disponibilité des bénéficiaires doit être opérée (Etudes de cas).

.

CHECK-LIST DE L'USAGE DES OUTILS

.

Check list à l'usage de l'équipe d'évaluation

  • Le choix de chacune des questions évaluatives tient-il compte de la possibilité d'obtenir une réponse convaincante par l'utilisation efficace d'outils ?
  • Le choix des outils aidera-t-il à formuler le jugement d'ensemble ?
  • Les outils retenus permettent-ils de répondre de manière optimale aux objectifs de l'évaluation ?
  • Chacun des outils correspond-il aux contraintes et possibilités liées aux conditions spécifiques de l'évaluation ?
  • La programmation de chacun des outils prend-elle en compte l'ensemble des tâches nécessaires à leur mise en œuvre ?
  • Les ressources nécessaires pour chacun des outils (compétences, nombre de jours, coût) ont-elles été précisément évaluées ? Sont-elles pertinentes au regard des résultats espérés ? et obtenus ?

Check list à l'usage du gestionnaire de l'évaluation

  • Les réponses de chacune des questions évaluatives reposent-elles sur la mise en œuvre d'une bonne combinaison d'outils ?
  • Le jugement d'ensemble s'appuie-t-il sur l'utilisation d'outils appropriés ?
  • Le choix de chacun des outils et leur combinaison sont-ils justifiés de manière claire et convaincante ?
  • Les ressources (experts, budget, temps) mobilisables pour la mise en œuvre des outils sont-elles judicieusement utilisées ?

LA BOITE A OUTILS ET SON MODE D'EMPLOI

L'évaluation vise à produire des recommandations opérationnelles découlant de conclusions solides, fondées sur des critères de jugement clairs, sur des éléments factuels solides et sur des raisonnements dûment argumentés.

Conclusions et recommandations sont de nature à interroger les auteurs et opérateurs du programme ou de la politique. Elles doivent résulter d'une démonstration rigoureuse (un dire d'expert ne suffit pas).

Le développement d'une méthode ad hoc rigoureuse et l'utilisation d'outils appropriés sont les instruments indispensables de cette démonstration.

Ce site présente une série d'outils d'évaluation et un mode d'emploi de la boîte à outils :

  • qui situe les outils dans la méthode d'évaluation
  • qui présente les critères de choix des outils
  • qui donne des indications pour une combinaison appropriée des outils.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des problèmes

Diagramme des problèmes

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

L'analyse des problèmes est un moyen de juger la validité des objectifs d'un projet, d'un programme ou d'une stratégie. Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes, il est utile que l'évaluation valide l'analyse qui en a été faite. L'évaluation se doit alors de vérifier :

  • La validité de la démarche : comment les problèmes ont-ils été identifiés et hiérarchisés ?
  • La cohérence apparente de leur articulation : les liens de causalité sont-ils pertinents?
Encadré 1 - l'analyse des problèmes dans le cycle de projet et le cycle de la stratégie

Les programmes et stratégies reposent sur une analyse de situation au moment de la conception de la stratégie ou du programme. Il peut être explicitement demandé à l'équipe d'évaluation de se prononcer sur la qualité de l'analyse et sur la correspondance entre l'analyse de la situation d'une part et la stratégie / le programme de l'autre. Le diagramme des problèmes, en tant que construction rétrospective permet de vérifier la cohérence et la pertinence de l'analyse au regard des problèmes tant prioritaires que contextuels. Il permet notamment de valider la pertinence de stratégie présentée dans les diagrammes des objectifs et des effets.

Quels usages peut-on faire du diagramme des problèmes ?

Le diagramme des problèmes est un instrument de la phase de structuration de l'évaluation, particulièrement utile lorsqu'il n'est pas possible d'établir directement un diagramme d'objectifs. Il donne une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

Encadré 2 - Les objecifs déduits des problèmes

La constitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque rang de problèmes un rang équivalent d'objectifs.

Comment réaliser le diagramme des problèmes?

Etape 1 : Comment identifier les problèmes ?

Relever les références aux problèmes dans les documents de base de l'évaluation : le document stratégique et le programme, tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent mentionner les problèmes auxquels la stratégie s'adresse.

Ils n'apparaissent parfois que sous la forme d'objectifs de l'aide ou d'effets qui en sont attendus. Il faut donc identifier les problèmes en tant que :

  • problèmes (exprimés comme tels),
  • objectifs visant à résoudre explicitement ou implicitement un problème,
  • effets attendus de l'aide que prévoit le document stratégique de la Commission.

Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les problèmes prioritaires et de contexte sont souvent confondus, ce qui rend la construction du diagramme difficile. Ce n'est qu'à l'issue de celle-ci que l'évaluateur pourra distinguer les différents types de problèmes.

L'identification du problème principal parmi les nombreux problèmes identifiés est l'étape cruciale du processus. Trois situations sont possibles:

  • Le problème principal est désigné dans les documents
  • Le problème principal n'est pas clairement désigné mais l'objectif global l'est. L'évaluateur peut alors déduire le problème principal de l'objectif global.
  • Ni le problème principal, ni l'objectif global ne sont explicitement désignés

Dans ce dernier cas, l'évaluateur doit choisir un des problèmes pour en faire le problème principal. Il peut :

  • opérer personnellement le choix qui lui paraît le plus logique,
  • ou procéder par consultation individuelle de spécialistes ou par discussion dans le cadre d'une réunion des spécialistes.

Le choix du problème central est indissociable du classement des problèmes. Il trouve sa justification dans la cohérence de l'ensemble du diagramme. Ce choix étant fait, l'évaluateur doit procéder à un premier classement des problèmes selon les rangs

Etape 2 : Établir le diagramme

Encadré 3 - Les étapes de l'élaboration du diagramme

La pratique montre que les problèmes principaux et les causes profondes sont ceux qui sont les mieux identifiés. En revanche, les causes intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.

Encadré 4 - Le diagramme des problèmes affichés du secteur transport en Tanzanie

Tester le diagramme provisoire

Il est indispensable de tester le diagramme auprès des auteurs des documents utilisés afin de valider les classements par rangs et les liens entre problèmes. Il s'agit de vérifier que les interprétations de l'équipe d'évaluation reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, toute autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.

Établir la version définitive du diagramme des problèmes

Cette version tient compte des avis recueillis lors du test de la version provisoire. Elle sera dès lors considérée comme rendant compte fidèlement des analyses initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Quelles sont les ressources nécessaires ?

Les besoins en moyens humains varient notablement suivant qu'il s'agit d'établir le diagramme des problèmes à partir de l'analyse de la situation présentée dans les documents ou de la construction rétrospective d'un diagramme des problèmes tel qu'il aurait dû être établi pour donner sa pleine pertinence à la stratégie ou au programme évalués.

Le tableau ci-dessous présente donc dans la colonne de droite une fourchette très ouverte de jours de travail.

Encadré 5 - Les ressources nécessaires
En temps Collecte et examen des documents : 5 à 10 jours
Analyse et construction du diagramme : 5 à 10 jours
Test : 0,5 à 5 jours
Humaines Connaissance des procédures d'élaboration des stratégies et programmes en usage à la Commission Européenne
Maîtrise des outils informatiques
Rigueur logique
Expérience dans les domaines couverts par les stratégies et les programmes
Connaissance du pays, secteur ou thème concernés
Financières Un budget de moins de 5 000 € est nécessaire, ce budget permettant en partie de réaliser les diagrammes des objectifs, des effets et des décisions.

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint.

On peut aussi tester les logiciels conçus comme des outils d'aide à la décision, tels MS Visio, TeamUP-PCM for Windows, Palisade PrecisionTree.

Quels sont les avantages et les limitations de l'analyse multicritère?

Encadré 6 - Les avantages et les limites
Avantages Présentation des problèmes
Le diagramme présente de manière explicite les problèmes et les différents niveaux auxquels ils se situent par rapport au problème principal. Il révèle les liens logiques de causalité entre ces problèmes ou, au contraire, les faiblesses logiques de ces liens.

Problèmes prioritaires et problèmes de contexte
Le diagramme conduit à distinguer dans l'analyse de la situation d'une part ce qui relève du contexte de l'intervention et d'autre part les problèmes auxquels la stratégie et la programmation sont censées apporter des solutions. Il amène donc à mettre à jour les priorités de l'assistance et à justifier pourquoi un certain nombre de problèmes ont été considérés comme prioritaires et d'autres non.

Définition des objectifs Le diagramme des problèmes permet :

  • de dévoiler les objectifs non explicités de la stratégie ou du programme,
  • de vérifier le bien-fondé des objectifs qui sont présentés dans les documents de stratégie et de programmation.

Il contribue à l'organisation de l'évaluation pour répondre à l'interrogation essentielle de toute évaluation : Dans quelle mesure les objectifs ont-ils été atteints ?

Limites Qualité de l'analyse
La méthode d'analyse ne garantit pas une haute qualité des données. L'évaluateur doit donc systématiquement étendre son examen à l'origine de l'analyse produite par ces documents, s'interroger sur la méthode utilisée, les sources principales d'information et en identifier les rédacteurs.

Choix du problème principal
Le choix du problème principal, essentiel pour la construction du diagramme des problèmes, est particulièrement délicat lorsque l'ensemble des problèmes du pays (de la région) sont à considérer. Il arrive que les documents désignent deux problèmes principaux, sans lien direct entre eux, ou qu'ils ne permettent pas de désigner un seul problème central.

Connaissance du contexte
L'équipe d'évaluation ne dispose généralement pas d'une connaissance suffisante de la situation du pays ou de la région pour estimer le degré de pertinence de l'analyse qui en est faite, du caractère prioritaire attribué à certains problèmes, du choix du problème principal et de l'organisation logique des problèmes prioritaires.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des problèmes > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QU'EST CE QUE LE DIAGRAMME DES PROBLEMES?

.

Que représente le diagramme des problèmes?

Qu'appelle-t-on un problème ?

Dans un domaine et une situation donnés, les projets et programmes d'aide ont pour objet de satisfaire des besoins jugés prioritaires ou répondre à un enjeu et pour cela résoudre un certain nombre de problèmes faisant obstacle. Plus globalement, la réussite d'une politique ou d'une stratégie implique la solution de problèmes qui affectent plus ou moins gravement les partenaires et bénéficiaires potentiels de cette politique ou stratégie.
Les problèmes sont en général multiples. Ils sont le plus souvent reliés entre eux par des relations de cause à effet, constituant en cela un système qui peut être, sous certaines conditions, représenté par un diagramme plus ou moins arborescent.
Les problèmes présentent en outre des degrés variables de gravité. Il est donc théoriquement possible d'identifier un problème principal (ou central) et d'articuler autour de lui un ensemble de causes et d'effets.

Présentation du diagramme des problèmes

Dans ce cas le diagramme prend la forme d'un arbre complet avec un tronc (le problème principal), un système radiculaire (l'arborescence des causes) et une ramure (les conséquences ou effets).
Il est en effet d'usage de disposer l'ensemble des causes et celui des conséquences en prenant le problème principal comme axe virtuel, les causes étant disposées dans la partie basse du diagramme et les conséquences dans la partie haute. Le diagramme se lit alors du bas vers le haut.

Exemple type : diagramme des problèmes à double arborescence


Une stratégie, un programme, un projet auront d'autant plus d'efficacité qu'ils s'attaqueront aux causes les plus profondes du ou des problèmes qu'ils ont pour finalité de résoudre. C'est pourquoi, une fois le problème principal identifié, les diagrammes ne représentent parfois que le système des causes et apparaissent comme des arbres inversés.

Le diagramme ci-dessous propose un cas simple dans lequel trois niveau de problèmes ont été identifiés : les causes profondes, les causes intermédiaires et le problème principal.

Diagramme des problèmes à arborescence simple


Dans le contexte de l'aide de la Commission Européenne, le diagramme des problèmes décrit donc le problème principal et ses causes immédiates et profondes, ainsi que le cas échéant ses principales conséquences, auxquels doit répondre la stratégie d'aide, telle qu'elle est formulée principalement dans les documents stratégiques ou politiques et les programmes correspondants.

D'où vient le diagramme des problèmes?

Le diagramme des problèmes trouve son origine directe ou indirecte dans le courant du management par objectifs qui s'est développé au cours des années soixante dans les milieux économiques américains d'abord, puis dans l'ensemble du monde occidental.
Sous le nom de diagramme des causes et effets (ou de causes à effet), il est utilisé dans des domaines très divers tels que le diagnostic clinique, la prévention et la recherche des causes des accidents ou la politique de qualité totale.
Il apparaît comme outil de décision d'aide aux pays tiers associé à l'arbre des objectifs, dans la planification de projet par objectifs (ZOPP), forme révisée du cadre logique élaborée par le GTZ au début des années 1980.
Sous le nom d'arbre des problèmes, il présente alors les caractéristiques suivantes:

  • il est utilisé dans la formulation des projets,
  • il est partie intégrante d'une méthode de planification, dans lequel il débouche sur l'arbre des objectifs et, par là, sur le cadre logique,
  • il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première phase du processus.

À la suite du GTZ, nombre de donneurs publics et d'opérateurs (agences et ONG) adoptent l'arbre des problèmes comme élément de planification ou de gestion des projets. Son utilisation comme outil de participation et d'appropriation n'a cependant pas toujours le caractère fondamental que lui ont donné les concepteurs du ZOPP.

Quelles formes peut prendre le diagramme des problème?

Arborescence simple ou diagramme complexe

Les schémas à arborescence simple et complexe présentent des arbres classiques des problèmes. Il répondent pleinement aux contraintes du genre :

  • identification d'un seul problème principal,
  • décomposition de chacun des problèmes d'un rang donné en deux ou plus problèmes de rang inférieur,
  • rattachement d'un problème donné à un (et un seul) des problèmes de rang supérieur,
  • absence de relations horizontales, absence de boucles de rétroaction (les effets devenant des causes et inversement).

Ce parti pris de simplification relativement compréhensible dans un processus de planification participative par objectifs devient un handicap en évaluation. Il ne permet pas de rendre compte de la complexité de la réalité ni des défauts de rationalité des documents stratégiques et de programmation. C'est pourquoi la forme classique en arbre a été abandonné et au terme " arbre " a été préféré le terme diagramme.

Diagramme des problèmes (forme complexe)


Le diagramme ci-dessus représente un système de problèmes sensiblement plus complexe :

  • l'une des causes intermédiaires de rang 2 se rattache directement au problème principal et non à une cause intermédiaire de rang 1,
  • une interrelation est établie entre deux causes intermédiaires de rang 3,
  • l'une de ces mêmes causes se rattache à deux causes de rang supérieur (intermédiaire de rang 2).

Des systèmes de problèmes encore plus complexes peuvent se présenter, notamment avec deux problèmes principaux et réticulation des causes intermédiaires. Toutefois, les diagrammes des problèmes ne permettent pas de traduire visuellement les liens de type boucle de rétroaction (les effets devenant des causes et inversement).

Diagramme vertical ou horizontal

La disposition des diagrammes peut être verticale ou horizontale.
Dans la disposition verticale, les diagrammes se lisent du haut vers le bas ou du bas vers le haut. En général, le problème central occupe le niveau supérieur du diagramme.
Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite.

Autre forme

D'autres formes ont été développées. C'est le cas du diagramme en arête de poisson (dit diagramme d'Ishikawa). Outil de recherche des causes d'un effet constaté, il est notamment utilisé en contrôle qualité, en diagnostic clinique et en prévention des accidents.

Qu'est ce qu'un lien logique?

Définition

Les problèmes et les causes représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. Ces liens sont logiques lorsqu'ils expriment une relation d'inférence (induction ou déduction) validée par l'expérience. Ils manifestent ainsi le fait que :

  • l'adoption d'un problème ou cause d'un certain rang induit l'adoption de problèmes ou causes plus profonds,
  • un problème (une cause) d'un certain rang explique l'existence d'un problème (une cause) de rang (immédiatement ou non) supérieur,
  • deux problèmes (causes) de même rang ont entre eux une relation de renforcement mutuel.

Le caractère logique des liens entre problèmes (causes) se fonde pour l'essentiel sur l'expérience et sur les éventuelles théories du développement qui en sont issues. Les Expérience et les théories sont généralement en mesure de définir dans quels problèmes (causes) subordonnés un problème ou cause d'un certain rang trouve habituellement son origine.
Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Cela tient, par exemple, à ce que les relations entre problèmes ou causes dépendent de facteurs nombreux et parfois mal connus. Même lorsqu'ils sont d'accord sur la pertinence d'un problème central, les experts peuvent diverger sur ses causes intermédiaires et profondes. C'est que la définition de problèmes centraux, tels que par exemple la pauvreté, est matière à débat et évolue avec le temps.

Vérification du caractère logique

Dans la pratique, le caractère logique d'un lien entre problèmes ou causes et donc d'un diagramme de problèmes se vérifie en faisant appel simultanément à deux types d'expérience :

  • celles d'experts reconnus ayant opéré dans des pays et dans des conditions différents,
  • des responsables de la conception et de la mise en œuvre des programmes entrant dans le champ de l'évaluation.

Ce caractère peut alors être validé unanimement ou partiellement par les deux groupes.
Peut donc être, a contrario, qualifié d'illogique un lien contredit par l'expérience aussi bien des experts, que des opérateurs. La limite entre le logique et l'illogique se situe dans l'espace où il y a doute, lorsque l'expérience délivre des leçons contradictoires ou ambiguës.

.

POURQUOI  ET QUAND?

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?

Evaluation de projets et de programmes simples

Dans la mesure où un programme se donne des objectifs visant à résoudre un certain nombre de problèmes affectant les bénéficiaires potentiels (individuels ou collectifs), il apparaît utile que l'évaluation se préoccupe de la validité de l'analyse qui en a été faite. Lorsque le programme à évaluer a été établi à l'aide d'une méthode fondée sur le cadre logique (ZOPP, PCM), il a dû intégrer une analyse des problèmes dans sa préparation. L'évaluation se doit alors de vérifier :

  • La validité de la démarche : comment les problèmes ont-ils été identifiés et hiérarchisés ?
  • La cohérence apparente de leur articulation: les liens de causalité sont-ils pertinents ?

L'évaluation de l'analyse des problèmes et du diagramme les représentant est alors un moyen de juger la validité du système des objectifs et du diagramme qui en est fait.
Si le programme ne semble pas avoir établi un diagramme logique des problèmes, il a forcément procédé à une analyse des problèmes que le programme vise à résoudre. Il peut alors être utile, par l'étude des documents de définition et de programmation, de reconstituer un diagramme en donnant une représentation raisonnée.

Evaluation de stratégies ou de programmes complexes

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. L'équipe d'évaluation peut alors ne pas disposer d'une présentation explicite et logiquement structurée des objectifs poursuivis par le donneur et encore moins d'une analyse systématique des difficultés auxquelles ces objectifs sont censés répondre.
Les documents ne sont pas toujours très explicites sur la manière dont les différents types de problème sont pris en compte. L'équipe d'évaluation doit dès lors se poser un certain nombre de questions :

  • Est-ce au titre du contexte?
  • Ou est-ce dû au préoccupation prioritaire de la stratégie?
  • Les raisons de ce choix ne sont souvent pas exprimées clairement.

En outre la méthode utilisée pour l'analyse de la situation et pour le choix des problèmes mériterait d'être présentée, ce qui n'est pas toujours le cas :

  • S'agit-il d'un travail en chambre par compilation documentaire?
  • Ou bien a-t-il donné lieu à des ateliers ou à des séminaires?
  • A-t-il été réalisé par un unique rédacteur?
  • Ou bien s'agit-il d'un travail d'équipe?
  • L'auteur ou les auteurs de l'analyse sont-ils les mêmes que les rédacteurs des orientations stratégiques et du programme d'intervention ?

La réponse à ces questions est objet d'évaluation.

Evaluation de l'analyse de la situation initiale

Les programmes et stratégies reposent sur une analyse de situation au moment de la conception de la stratégie ou du programme, présentant les données initiales relatives aux problèmes qu'ils sont sensés couvrir ainsi que des informations sur le contexte (économique, social, culturel, institutionnel, environnemental) dans lequel ils vont être mis en œuvre. Cette analyse est déterminante car elle doit identifier :

  • les problèmes auxquels doivent prioritairement s'attaquer les interventions,
  • les facteurs positifs sur les quels les interventions peuvent s'appuyer,
  • les acteurs que les interventions doivent mobiliser,
  • les contraintes structurelles ou dynamiques pouvant faire obstacle au succès des interventions.

Il peut donc être explicitement demandé à l'équipe d'évaluation de se prononcer sur la qualité de l'analyse et sur la correspondance entre l'analyse de la situation d'une part et la stratégie / le programme de l'autre. Le diagramme des problèmes, en tant que construction, rétrospective, peut alors être un outil parmi d'autres permettant vérifier la cohérence et la pertinence de l'analyse au regard des problèmes tant prioritaires que contextuels.
L'équipe d'évaluation ne doit pas sous-estimer l'ampleur de la tâche, ni le niveau et la diversité des compétences (Quelles sont les tâches et compétences nécessaires ?) requises pour le construire, notamment s'il s'agit non de la simple mise en diagramme des problèmes présentés dans les documents, mais d'établir le diagramme des problèmes sur lequel aurait dû se fonder la construction du diagramme des objectifs et donc la stratégie.

Problème et objectif lequel est premier ?

Dans le cycle des projets

La littérature spécialisée situe le diagramme des problèmes avant le diagramme des objectifsdans le processus de la planification ou de gestion des projets (ZOPP, PCM). La séquence type est alors la suivante:

L'analyse des problèmes dans la séquence simplifiée du cycle du projet


La place respective de l'analyse des parties prenantes et de l'analyse des problèmes est parfois intervertie. Mais l'analyse des problèmes précède toujours l'analyse des objectifs. Autrement dit, dans le cycle des projets, les objectifs se déduisent de l'analyse des problèmes et non l'inverse.

Dans le cycle des stratégies

L'élaboration de l'intervention d'un donneur dans une relation bilatérale ne découle pas forcément d'une analyse des problèmes. Elle répond par contre toujours à un ou des objectifs généraux (stratégiques, philosophiques), exprimés ou non dans les documents. C'est à partir de ces objectifs que seul ou en partenariat le donneur définit le(s) champ(s) prioritaire(s) de l'assistance.
Le schéma ci-après présente la place logique de l'analyse des problèmes dans le cycle de la stratégie, notamment par rapport à la prise en compte des objectifs.

L'analyse des problèmes dans la séquence simplifiée du cycle de la stratégie


L'évaluation doit prendre en compte cette situation. L'analyse des problèmes et le diagramme qui a pu ou peut en être tiré dérivent de la définition du champ d'intervention et donc des objectifs généraux du donneur (la Commission Européenne) tout en préparant la définition des objectifs spécifiques de l'assistance concrète qui doit être fournie au cours de la période couverte par la stratégie.

Quels sont ses avantages et ses limites?

Quels sont ses avantages ?

Présentation des problèmes

Le diagramme présente de manière explicite les problèmes et les différents niveaux auxquels ils se situent par rapport au problème principal. Il révèle les liens logiques de causalité entre ces problèmes ou, au contraire, les faiblesses logiques de ces liens.

Problèmes prioritaires et problèmes de contexte

Il conduit à distinguer dans l'analyse de la situation d'une part ce qui relève du contexte de l'intervention et d'autre part les problèmes auxquels la stratégie et la programmation sont censées apporter des solutions. Il amène donc à mettre à jour les priorités de l'assistance et à justifier pourquoi un certain nombre de problèmes ont été considérés comme prioritaires et d'autres non.

Définition des objectifs

Le diagramme des problèmes permet :

  • de dévoiler les objectifs non explicités de la stratégie ou du programme,
  • de vérifier le bien-fondé des objectifs qui sont présentés dans les documents de stratégie et de programmation.

Il contribue à l'organisation de l'évaluation pour répondre à l'interrogation essentielle de toute évaluation :

Dans quelle mesure les objectifs ont-ils été atteints ?

Quelles sont ses limites ?

Le diagramme organise logiquement les difficultés reconnues comme prioritaires sur la base de l'analyse de la situation. D'où plusieurs séries de limites :

Accès à l'information

L'insuffisance de données ou les difficultés d'accès à l'information peuvent affecter la qualité de l'analyse de la situation. Il convient en la matière de s'interroger :

  • Est-elle suffisamment exhaustive et envisage-t-elle les principaux aspects de la réalité ?
  • Est-elle actuelle, c'est à dire basée sur des données (Sur quels documents travailler ?)?
  • Est-elle dynamique, c'est-à-dire prend-elle en compte aussi bien les mouvements observables que les tendances profondes de la société ?
Qualité de l'analyse

La méthode d'analyse ne garantit pas une haute qualité des données. Ou encore, ni la méthode utilisée, ni les sources d'information ne sont citées dans les documents stratégiques/ politiques et de programmation. L'évaluateur doit donc systématiquement étendre son examen à l'origine de l'analyse produite par ces documents, s'interroger sur la méthode utilisée, les sources principales d'information et en identifier les rédacteurs.

Problème prioritaire / problème de contexte

La définition des priorités relatives aux problèmes aboutit de facto à leur classement en deux catégories : les problèmes de contexte et les problèmes retenus comme prioritaires. Deux questions se posent alors:

  • Le choix de ces priorités est-il explicitement justifié ?
  • Les données disponibles permettent-elles d'estimer la pertinence des justifications ?
Choix du problème principal

Le choix du problème principal, essentiel pour la construction du diagramme des problèmes, est particulièrement ardu lorsque les objectifs de l'intervention sont généraux et que l'ensemble des problèmes du pays (de la région) sont à considérer. Il ne peut en outre être exclu que les documents désignent deux problèmes principaux, sans lien direct entre eux, ou qu'ils ne permettent pas de désigner un seul problème central.

Représentation en arborescence

L'organisation classique des difficultés en arborescence définit une hiérarchisation simple (Quels diagrammes de problèmes doit-on utiliser en évaluation pays ?) qui ne rend pas forcément compte de la complexité de la réalité et des interactions entre difficultés. La construction des diagrammes repose en effet sur des conventions graphiques, notamment:

  • la non représentation des interactions entre problèmes situés au même rang,
  • l'ignorance des boucles de rétroaction (les effets devenant des causes et inversement),
  • la représentation multiple d'un facteur agissant comme cause de plusieurs problèmes.

C'est pourquoi les représentations plus sophistiquées doivent être préférées.

Connaissance de la situation du pays ou de la région

L'équipe d'évaluation ne dispose généralement pas d'une connaissance suffisante de la situation du pays ou de la région pour estimer le degré de pertinence de l'analyse qui en est faite, du caractère prioritaire attribué à certains problèmes, du choix du problème principal et de l'organisation logique des problèmes prioritaires.

Avec quels outils peut-on le combiner ?

Le diagramme des objectifs

Lorsqu'il est utilisé, le diagramme des problèmes est en général associé à l'analyse des objectifs (et donc au diagramme des objectifs) et au développement du cadre logique.

Il sert à la construction du diagramme des objectifs, souvent par simple transposition.

Le diagramme des décisions

L'analyse du processus d'élaboration du programme (diagramme des décisions) peut également être utilisée pour expliquer les partis pris dans le choix des problèmes prioritaires et du problème principal.
Dans les évaluations intermédiaires de programmes, il peut être demandé à l'équipe d'évaluation de reconstituer tel ou tel de ces outils, outre le diagramme des problèmes lui-même.

Le diagramme d'impacts réels

Dans une évaluation ex post ou à composante ex post, l'analyse initiale de la situation et le choix des problèmes prioritaires et du problème central peuvent être comparés à l'analyse de la situation en fin de période et confrontés à un diagramme des impacts réels résultant de la mise en œuvre de la stratégie afin d'apprécier la contribution de l'assistance à la solution des problèmes.

Autres outils d'analyse

Particulièrement dans la reconstruction rétrospective, le diagramme des problèmes peut s'appuyer sur d'autres outils d'analyse de la situation tels que :

  • l'analyse SWOT,
  • l'analyse socio-culturelle.

Quelles sont les conditions nécessaires à son usage ?

Une information accessible

Lorsque le diagramme des problèmes existe dans les documents initiaux du programme ou qu'il se déduit directement d'un cadre logique, il est indispensable d'accompagner sa présentation d'un examen des choix qui ont permis sa construction. Cela suppose la consultation des documents qui ont permis sa construction ainsi que l'interrogation des acteurs directement impliqués dans son élaboration.

En l'absence de documents et d'acteurs

L'évaluateur pourra émettre un jugement sur la pertinence du système des problèmes présenté par le diagramme après, au besoin, consultation de spécialistes.
Lorsque le diagramme a été reconstitué par l'évaluateur sur la base des documents mis à sa disposition, l'évaluateur devra:

  • s'assurer de la validité de ces documents et, au besoin, étendre l'analyse à des documents complémentaires,
  • tester la validité des liens hiérarchiques et interrelations qu'il met en évidence par recherche documentaire et/ou entretiens.

Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'évaluateur devra expliciter les hypothèses qu'il a faites pour construire le diagramme. Il fournira au lecteur les sources précises (citations et références complètes des documents) sur lesquelles elles se fondent.

.

COMMENT FAIRE?

.

Etape 1: comment identifier les problèmes?

Relever les références aux problèmes dans les documents

Relevés des références dans les documents

Les problèmes sont reconnus par le repérage de citations prises dans les documents de base de l'évaluation. Ils n'y sont pas forcément décrits en tant que tels.

Ils n'apparaissent parfois que sous la forme d'objectifs de l'aide ou d'effets qui en sont attendus.

Il faut donc identifier les problèmes en tant que :

  • problèmes (exprimés comme tels),
  • objectifs visant à résoudre explicitement ou implicitement un problème,
  • effets attendus de l'aide que prévoit le CSP.


L'analyse préliminaire des citations révèle :

  • de nombreuses répétitions, notamment du fait de la pluralité des présentations (résumé, stratégie, programme, annexe),
  • des imprécisions terminologiques (par exemple, développement économique et social, qui mériterait d'être explicité).

Un toilettage doit donc être opéré.

Distinguer les problèmes de contexte des problèmes prioritaires

Parmi les problèmes, les documents identifient assez souvent ceux auxquels l'intervention est sensée répondre. L'équipe d'évaluation doit alors repérer dans l'analyse de la situation les problèmes qui sont liés à l'intervention afin de les intégrer dans le diagramme. Les autres seront considérés comme relevant du contexte.
Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les problèmes prioritaires et de contexte sont alors confondus, ce qui rend la construction du diagramme difficile. Ce n'est qu'à l'issue de celle-ci que l'évaluateur pourra distinguer les différents types de problèmes.
Quel que soit le cas de figure, l'évaluateur proposera en annexe la liste de tous les problèmes pris en considération répartis entre les deux catégories :

  • le contexte de l'intervention,
  • l'objet de l'intervention.

Identifier le problème principal

L'identification du problème principal parmi les nombreux problèmes identifiés est l'étape cruciale du processus. Trois situations peuvent se présenter :

Le problème principal est désigné dans les documents
Il s'agit en général d'un problème vaste et consensuel, la pauvreté structurelle par exemple, ou la reconstruction après un conflit ou une catastrophe naturelle.

Le problème principal n'est pas clairement désigné mais l'objectif global l'est
L'évaluateur peut alors déduire le problème principal de l'objectif global.
Il n'y a pas lieu de s'étendre sur ces deux premières situations. L'évaluateur adopte le problème principal explicitement ou implicitement désigné par les documents quelle que soit son opinion sur ce choix.

Ni le problème principal, ni l'objectif global ne sont explicitement désignés
L'évaluateur se trouve alors dans la position initiale du planificateur. Il doit choisir un des problèmes pour en faire le problème principal. Il peut :

  • opérer personnellement le choix qui lui paraît le plus logique,
  • ou procéder par consultation individuelle de spécialistes ou par discussion dans le cadre d'une réunion des spécialistes.

Quelle que soit la procédure adoptée, le choix du problème central est indissociable du classement des problèmes selon les niveaux. C'est en effet dans la cohérence de l'ensemble du diagramme que le choix du problème central trouve sa justification.

Procéder à un premier classement des problèmes selon les rangs

Plusieurs situations sont à considérer :

  • le rang est explicité,
  • la relation de cause à effet avec un autre problème est explicitée ; on peut donc les situer l'un par rapport à l'autre,
  • aucune indication n'est donnée sur le rang (absolu ou relatif) du problème ; l'équipe d'évaluation devra faire preuve de logique et/ou recourir à l'expertise d'un spécialiste dans les domaines dans lesquels elle considère n'avoir pas toute la compétence voulue.

Chacun des classements par rang devra être justifié, au besoin par des interprétations prenant la forme d'hypothèses explicites.

L'une des principales difficultés dans la représentation graphique du système des problèmes est la distinction entre les raccourcis et les incohérences.

Dans le raccourci, l'enchaînement de plusieurs causalités est ramené au lien causal entre le premier et le dernier problème de la chaîne.

Prenons l'exemple de la chaîne exprimant l'incidence des insuffisances du réseau routier sur la pauvreté :


On trouve dans le même document des citations que l'on peut traduire par :


ou par :


Il ne s'agit pas d'incohérences mais de raccourci de nature strictement stylistique.

Etape2: comment établir le diagramme des problèmes?

Établir un diagramme provisoire

Le diagramme provisoire peut refléter le système des problèmes tel qu'il est décrit dans les documents stratégiques et de programmation, avec des déficiences logiques de construction. Si la construction d'un diagramme affiché n'est pas explicitement stipulée, les évaluateurs peuvent considérer le diagramme provisoire comme une étape dans la construction d'un diagramme raisonné des problèmes.

Les étapes à suivre pour élaborer un premier diagramme


Faut-il commencer la construction à partir du problème principal ou des causes profondes ?

La pratique montre que ces deux types de problèmes / causes sont les mieux identifiables, alors que les causes intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.

Identifier les auteurs de l'analyse des problèmes

Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont à titre principal ou secondaire contribué à l'analyse de la situation (rédaction du chapitre, apport sectoriel, participation à des réunions d'élaboration, etc.).
Il est alors utile de vérifier le rôle que cette analyse a joué dans la définition des objectifs opérationnels de la stratégie et des programmations.

Tester le diagramme provisoire

Il est indispensable de tester le diagramme auprès des auteurs des documents utilisés afin de valider les classements par rangs et les liens entre problèmes. Il s'agit de vérifier que les interprétations de l'équipe d'évaluation reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, tout autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.
C'est en général possible pour les documents les plus récents dont les auteurs (ou contributeurs) peuvent être encore en poste ou joignables dans un service du Siège. C'est beaucoup plus problématique pour les documents les plus anciens dont les auteurs peuvent être difficiles à identifier et encore plus à joindre.

Établir la version définitive du diagramme des problèmes

Cette version tient compte des avis recueillis lors du test de la version provisoire. Elle sera dès lors considérée comme rendant compte fidèlement des analyses initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Combien de diagrammes faut-il établir ?

Un seul diagramme

Si l'analyse de la situation ne change pas radicalement au cours de la période et si l'intervention se concentre sur un problème central unique alors un seul diagramme suffit.

Plusieurs diagrammes

  • Si la situation du pays (sa situation propre ou son contexte stratégique) a changé au cours de la période d'évaluation et où les analyses reflètent substantiellement les changements
  • Dans le cas où l'équipe d'évaluation ne parvient pas à identifier un problème central unique et ou les différents problèmes centraux procèdent d'un système de causes relativement indépendant, la même nécessité s'impose d'établir autant de diagrammes que de problèmes centraux. Bien entendu, toutes les procédures de vérification seront utilisées pour justifier cette pluralité. En effet, l'équipe d'évaluation sera conduite à conclure à l'existence d'une pluralité d'objectifs globaux.
  • On peut en outre envisager, si l'information est suffisante, d'établir un diagramme pour chacune des priorités ou secteurs de concentration de l'aide.

Comment utiliser les diagrammes?

Les diagrammes des problèmes sont des instruments essentiels de la phase de structuration de l'évaluation lorsqu'il n'est pas possible d'établir directement des diagrammes d'objectifs. Leur contribution est alors double.

Transposition en diagramme des objectifs

Les diagrammes des problèmes donnent une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

Phase de planification

Lorsque le diagramme des problèmes est utilisé dans la phase de planification (projet ou programme), sa transposition en diagramme des objectifs n'est pas forcément automatique. En effet, il peut arriver que, pour des raisons diverses, tous les problèmes inscrits dans le diagramme ne peuvent être affrontés avec la même priorité.

Phase d'évaluation

Dans la phase d'évaluation, la reconstitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Dès lors, le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque rang de problèmes un rang équivalent d'objectifs.

Conversion du diagramme des problèmes en diagramme des objectifs
Extrait de : "A summary of the theory behind the LFA method", The Logical Framework Approach (LFA), SIDA - Swedish International Development Co-operation Agency, Draft, June 2002.


Le diagramme des objectifs présente la hiérarchie des objectifs, de l'objectif stratégique global aux projets et programmes envisagés pour le mettre concrètement en œuvre. Il peut susciter des commentaires sur :

  • sa cohérence interne,
  • la pertinence des objectifs au regard du contexte général (stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, la situation des pays éligibles et les objectifs des acteurs majeurs, le champ d'intervention et objectifs des autres donneurs),
  • le caractère approprié des moyens affectés à la poursuite des objectifs.

Ces commentaires doivent être présentées dans les rapports et notes de la phase l'évaluation consacrée à la structuration. Ils apparaissent également sous une forme plus résumée dans le rapport final.

Définition des thèmes des questions d'évaluation

Les analyses précédentes suscitent des interrogations portant notamment sur :

  • la fidélité de la stratégie aux objectifs globaux de l'Union Européenne en matière d'aide aux pays tiers,
  • la pertinence de la stratégie au regard de la situation des pays éligibles et de la politique des acteurs majeurs (gouvernements en particulier),
  • la recherche de complémentarités et de synergies avec les autres donneurs,
  • les conséquences des éventuels défauts de cohérence du système des objectifs,
  • la pertinence des moyens mobilisés en rapport avec les objectifs.

Ces interrogations permettent de définir un ensemble de thèmes pouvant donner lieu à des approfondissements dans les phases suivantes de l'évaluation, en particulier par le biais de questions d'évaluation.
Cependant les questions d'évaluation ne sauraient se déduire automatiquement de ces analyses. D'autres interrogations peuvent surgir au cours de la phase de structuration, formulées par les principaux responsables de la mise en œuvre de la stratégie et donc davantage reliées aux difficultés rencontrées aux stades de la programmation et de la réalisation. Le nombre de questions auxquelles une évaluation classique peut répondre est limité et il est donc nécessaire de procéder à un choix.

Comment restituer les résultats d'un diagramme dans un rapport?

Les notes et rapports de la phase de structuration

Les diagrammes des problèmes sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. A ce stade, la construction des diagrammes doit être décrite avec précision.
Les sources précises des problèmes (citations exactes, références des documents d'origine) doivent être fournies. La place des problèmes dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Les hypothèses auxquelles la construction du diagramme a dû cependant recourir doivent être explicitées.

Le rapport final

Dans la mesure où les diagrammes des problèmes ne sont pas de simples étapes dans lae formulation des questions, mais où ils conduisent à l'analyse de la stratégie et à l'évaluation qui peut en être faite, ils doivent faire l'objet d'une référence dans le rapport final.
Il peut en être fait une présentation succincte dans le rapport proprement dit et ils doivent faire l'objet d'une annexe permettant de saisir leurs tenants et aboutissants.

Les présentations orales

L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). Le diagramme des problèmes se révèle être un moyen très efficace de communication à la condition qu'il soit immédiatement lisible sans être excessivement simplificateur.
La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites.

Quels moyens sont nécessaire pour reconstruire un diagramme des problèmes?

Quelles sont les tâches et compétences nécessaires ?

Les besoins en moyens humains varient notablement suivant qu'il s'agit de reconstituer le diagramme des problèmes à partir de l'analyse de la situation présentée dans les documents ou de la construction rétrospective d'un diagramme des problèmes tel qu'il aurait dû être établi pour donner sa pleine pertinence à la stratégie ou au programme évalués.
Le tableau ci-dessous présente donc en colonne de droite une fourchette très ouverte de jours de travail.

Relation entre les compétences nécessaires, le personnel approprié et le nombre de jours de travail (Cas général)


Quels sont les déplacements à envisager ?

Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des services du Siège (Relations extérieures ou Développement). Ces derniers jouent également un rôle essentiel dans la programmation. Quant à EuropeAid, il continue à être très actif dans la conception des projets. Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. Cette situation sera amenée à évoluer et les Délégations devraient voir leurs responsabilités s'accroîtrent.
Dans le cas d'évaluation pays, l'exercice de construction rétrospective, toutefois, ne saurait faire l'économie d'une mission de 5 à 10 jours de 2 à 3 experts dans le pays concerné.

Quels sont les outils informatiques utilisables ?

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint. On peut aussi tester les logiciels conçus comme des outils d'aide à la décision, tels MS Visio, TeamUP-PCM for Windows, Palisade PrecisionTree.

.

EN EVALUATION PAYS

.

Quand faut-il utiliser le diagramme des problèmes en évaluation pays?

Tout donneur se doit de justifier, explicitement ou implicitement, l'aide qu'il attribue à un pays ou une région au cours d'une période donnée. A cet effet, il définit les objectifs qu'il poursuit en attribuant cette aide et qui visent à résoudre un certain nombre de problèmes, qu'ils soient les siens propres ou ceux du bénéficiaire de l'aide.
L'évaluation n'a pas pour objet de procéder à une analyse des problèmes et d'établir le diagramme qui la traduit, mais de reconstituer l'analyse qui a été faite et de la traduire en diagramme.

À cet égard, en évaluation pays, le recours au diagramme des problèmes se justifie dans deux cas :

Analyse détaillée des problèmes dans les documents

Sa transposition (Etape 2 : comment établir le diagramme des problèmes ?) en un diagramme peut permettre de vérifier la cohérence de l'analyse et la pertinence des objectifs au regard de cette analyse. Il convient alors de reconstruire le(s) diagramme(s) des problèmes et celui des objectifs, (Comment utiliser les diagrammes ?) puis de confronter les deux.

Analyse des problèmes non explicitée dans les documents

Il peut être utile de se pencher sur l'analyse qui est faite de la situation et de dresser à partir de là un diagramme des problèmes auxquels l'aide est sensée faire face. Par ce moyen il doit être possible sinon de reconstituer directement le diagramme des objectifs, du moins de valider l'ébauche de diagramme établi à partir des documents.

Quels problèmes doivent être pris en compte?

Dans une stratégie d'aide bilatérale, le donneur est la Commission Européenne et son partenaire est en général un État ou des institutions publiques nationales. La Commission et ses partenaires ont chacun leurs objectifs globaux correspondant à leurs propres problèmes. Dans une certaine mesure, toutefois, et à un certain degré de détail, les problèmes deviennent communs.
Dans un accord d'assistance bilatérale entrent en effet en jeu trois systèmes de problèmes.

Un système propre au donneur

Ce système correspond aux problèmes stratégiques que le donneur espère résoudre par l'aide (exemples : instabilité régionale, faible capacité d'absorption du marché local, immigration incontrôlée).

Un système propre au partenaire

Ce système est relatif aux problèmes politiques majeurs auxquels l'État se trouve confronté (exemples : déséquilibres macroéconomiques, instabilité sociale, faible rythme de croissance, disparités sociales ou pays, etc.)

Un système commun au donneur et à son partenaire

Ce système correspond à certaines causes communes aux problèmes de chacun des deux et relatives aux domaines entrant dans le champ de l'assistance (exemples : santé, PME, irrigation, environnement,).
Sauf dans le cas de l'évaluation participative, l'équipe d'évaluation s'intéressera prioritairement au premier et au troisième système de problèmes, qui concernent directement le donneur.

Sur quel documents travailler?

Où peut-on retrouver les documents d'analyse des problèmes ?

Concernant la stratégie de la Commission Européenne

Les problèmes à long terme auxquels la Commission cherche une solution au moins partielle dans la mise en œuvre de sa stratégie ne sont pas toujours explicités dans les documents stratégiques (DSP) produits par la Commission Européenne. Ils sont parfois exprimés dans la présentation des objectifs de la stratégie et parfois seulement repérables dans des documents politiques du Conseil exprimant ses préoccupations vis à vis de la situation du pays. 

Concernant les programmes d'aide:

Les problèmes auxquels doivent s'attaquer les projets et programmes d'aide sont quant à eux présentés à titre principal dans le chapitre " Analyse de la situation des DSP ".Toutefois, ce chapitre n'opère parfois pas la distinction entre d'une part les problèmes entrant dans le contexte des projets et programmes et d'autre part les problèmes qui sont la raison d'être de ces projets et programmes.
L'établissement d'un diagramme des problèmes exige donc au préalable que soit opérée la distinction entre problèmes contextuels et problèmes prioritaires (Distinguer les problèmes de contexte des problèmes prioritaires).

Sur quels documents ?

Pour un document donné (stratégie ou programme), l'analyse de la situation fait rarement l'objet de plusieurs versions successives. L'équipe d'évaluation travaillera sur la version définitive du document, tout en s'assurant que les versions précédentes n'ont pas présenté des analyses plus fouillées et pleinement valides.
Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation. Ils sont en général fournis à l'équipe d'évaluation dès le début de la mission.
Bien entendu, la période d'évaluation, telle qu'elle est définie par les termes de référence, est généralement couverte par plusieurs documents de stratégie et de programmation, chacun d'eux pouvant comprendre des analyses ou des informations sur la situation du pays, de certains secteurs, ou de certaines régions.
La situation et les problèmes sont analysés en début de période couverte par la stratégie et/ou les programmes à évaluer. L'analyse se heurte cependant aux difficultés d'information :

  • retard dans la publication des données,
  • accès difficile à l'information,
  • qualité médiocre ou incertaine des données.

Ces difficultés peuvent parfois affecter la pertinence même des objectifs. Elles doivent être considérées par l'évaluation.

Quels diagrammes des problèmes doit-on utiliser en évaluation pays?

Le diagramme à double arborescence

Utilisé dans la planification participative, le diagramme à double arborescence permet de disposer les problèmes identifiés par les parties prenantes de part et d'autre du problème principal.

Le diagramme à arborescence simple

Seule la partie basse du diagramme présente un intérêt pour l'évaluation dans le cadre de projets ayant pour objet de s'attaquer aux problèmes causes.

Le diagramme à arborescence complexe

En règle générale l'équipe d'évaluation se contentera donc de tenter la reconstitution d'un diagramme à arborescence unique (simple ou complexe, suivant les cas) dérivant du problème principal.

Le diagramme en réseau

Ce type de diagramme rend plus fidèlement compte de la complexité d'une situation concrète. Le reconstituer exige de l'équipe d'évaluation qu'elle dispose d'une information abondante, rarement disponible. En outre, sa transposition en diagramme d'objectifs ne va pas de soi.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

Le cadre logique (et l'arbre des problèmes) en planification

  • Manuel de Gestion du cycle du projet, Commission Européenne, EuropeAid, mars 2001.
  • Gestion du Cycle de Projet - Guide récapitulatif des Formations, Commission Européenne, EuropeAid, préparé par Itad Ltd, mis à jour par Particip GmbH, version 1.1, février 2001.
  • 'Logical Framework Analysis, BOND Guidance, notes n° 4, March 2003. [EN]
  • "The Logical Framework Approach (LFA)", A summary of the theory behind the LFA method, Sida - Swedish International Development Co-operation Agency, Draft, June 2002.
  • "The Logical Framework Approach", Handbook for Objectives-oriented Planning, NORAD, 4th edition, January 1999.
  • "The logical framework approach", AusGuide, AusGuidelines : 1, Australian Agency for International Aid (AusAid), 2000.
  • "Logical frameworks: a critical assessment", Working Paper # 264, Gasper, Institute of Social Studies, The Hague, December 1997.

Utilisation du cadre logique dans l'évaluation

  • 'Using the Engendered Logframe for Monitoring and Evaluation', Helen Hambly Odame, ISNAR, August 2001.
  • "Project Appraisal 2(4)", Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects, Coleman G., 1987, p. 251-259.

Les autres approches

  • "Program Theory in Evaluation : Challenges and Opportunities", New Directions for Evaluation, a publication of the American Evaluation Association, Fall 2000.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des problèmes > Check-list

Check-list

 CHECK-LIST DESTINEE AUX EVALUATEURS

Questions Réponses
Préparation et Conception  
Un accord du gestionnaire de l'évaluation a-t-il été obtenu sur la période concernée et les documents pertinents ?  
La datation des documents a-t-elle été confirmée par les auteurs ou contributeurs?  
En cas d'inaccessibilité ou d'incertitude sur la pertinence des documents collectés, le risque qu'ils entraînent ont-ils été signalés ?  
Construction de l'outil  
Des hypothèses justifiées de classement sont-elles formulées ?  
La formulation et le classement des problèmes a-t-il été vérifié au terme d'une deuxième lecture des documents ?  
Le diagramme provisoire a-t-il été testé auprès des auteurs des documents, ou à défaut d'accessibilité des auteurs le test a-t-il pu être étendu à d'autres ? Sinon, cet état de fait est-il clairement exprimé dans le rapport ?  
Dans l'établissement du diagramme, les documents fondamentaux ont-ils été consultés pour étayer les hypothèses ?  
Les dires des auteurs et autres responsables consultés ont-ils été confrontés aux sources écrites et les points de vue ont-ils été croisés ?  
Les références documentaires et citations sont-elles produites et les spécialistes consultés sont-ils cités ?  
Le diagramme des problèmes a-t-il été confronté au diagramme des objectifs et au diagramme des effets ?  
 

 CHECK-LIST DESTINEE AUX GESTIONNAIRES

Questions Réponses
Le diagramme provisoire a-t-il été testé ?  
Les dires des auteurs et autres responsables consultés ont-ils été confrontés aux sources écrites et les points de vue ont-ils été croisés ?  
Les références documentaires et citations sont-elles produites ? Les spécialistes consultés sont-ils cités ?  
Le diagramme des problèmes a-t-il été confronté au diagramme des objectifs et au diagramme des effets ?  
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets

Diagramme des objectifs et diagramme des effets

.

RESUME

.

Pourquoi utiliser cet outil d'évaluation?

Le diagramme des objectifs présente la hiérarchie des objectifs, de l'objectif global aux projets et programmes envisagés pour le mettre concrètement en œuvre.

Le diagramme des effets présente la hiérarchie des réalisations, des résultats et des impacts qui sont attendus de la poursuite du système des objectifs.

Encadré 1 - La logique des diagrammes des objectifs et des effets

Ces diagrammes guident la recherche d'informations et la conduite d'entretiens visant à approfondir la connaissance du programme ou de la stratégie à évaluer. Les résultats directs et les effets observables sont rapportés aux objectifs et aux effets attendus du programme. La construction des diagrammes devrait constituer l'une des toutes premières tâches de l'évaluation.

Quels usages peut-on faire du diagramme des objectifs et du diagramme des effets ?
Les diagrammes constituent un moyen pédagogique d'introduire des commentaires sur :

  • la cohérence interne,
  • la pertinence des objectifs ou des effets au regard du contexte : stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, situation des pays, thèmes ou secteurs et objectifs des acteurs majeurs, champ d'intervention et objectifs des autres donneurs,
  • le caractère approprié des moyens affectés à la poursuite des objectifs ou à la réalisation des effets.

Le diagramme des objectifs et le diagramme des effets contribuent utilement à la formulation de questions d'évaluation. Ils donnent une vision synthétique de la stratégie proposée par les documents officiels. Lorsque l'évaluation porte sur une période couverte par deux ou plusieurs documents stratégiques (géographiques) ou politiques (sectoriels, thématiques), il convient d'établir des diagrammes pour chacun des documents (à moins qu'il y ait continuité totale de ligne stratégique ou politique).

Encadré 2 - Eléments constitutifs du diagramme des objectifs

Le diagramme des objectifs affichés permet une première appréciation de la qualité de la pensée stratégique. Un diagramme confus, incomplet, incohérent augure mal de la pertinence de la programmation à venir ou de sa fidélité au système initial des objectifs.

Une cohérence en trompe-l'œil
Les diagrammes établissent des liens logiques entre des objectifs ou des effets. Tout objectif ou effet s'y présente comme logiquement déduit de ceux du rang supérieur. Les réalisations produites par les actions réalisées ou envisagées dans le cadre du programme apparaissent ainsi comme des contributions à la réalisation de l'objectif/impact global donnant une cohérence généralement forte au système des objectifs et des impacts.

Il est rare qu'une stratégie ou un programme couvre la totalité du champ correspondant à son objectif global. Les diagrammes des objectifs et des effets n'exposent pas les choix effectués pour déployer chaque objectif ou chaque effet qui de fait en limitent le champ. Pour juger de la cohérence et de la pertinence des systèmes d'objectifs et d'effets, l'évaluation doit répondre à une série de questions :

  • Les choix opérés sont-ils les seuls possibles ?
  • Sont-ils les plus pertinents au regard de rang x ?
  • Quels sont les facteurs externes qui ont conduit à leur choix ?
  • Quelles raisons ont conduit à leur élimination ?

Comment mettre en oeuvre?

Après avoir précisé la délimitation du champ de l'évaluation, les évaluateurs construisent un premier diagramme reflétant les objectifs énoncés dans les documents de stratégie et de programmation. Sur cette base, ils élaborent le diagramme des objectifs.

Parfois les documents de stratégie mélangent les objectifs et les effets attendus, il faut alors traduire les effets attendus en objectifs. Le diagramme des effets résulte de la relation entre les objectifs et les effets attendus,

Si le programme a été établi à l'aide d'un cadre logique, celui-ci présente clairement les objectifs à atteindre. Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs. L'établissement de cadres logiques axés sur les résultats n'est pas encore généralisé, mais le diagramme des effets peut être déduit du cadre logique des objectifs.

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. L'évaluateur dispose rarement d'une présentation explicite et logiquement structurée des objectifs poursuivis ou effets attendus par le donneur. Pourtant, l'évaluation ne se justifie que si elle est en mesure de répondre à l'interrogation essentielle : les objectifs ou impacts attendus de la politique ou de la stratégie évaluées sont-ils atteints ?

Les étapes de préparation des diagrammes

Etape 1 : délimiter le champ de l'évaluation

Les termes de référence de l'évaluation précisent la période et les instruments financiers à évaluer. Toutefois, au cours de cette période, sont exécutés des projets ou programmes trouvant leur origine et justification dans des documents antérieurs.

Deux cas sont à considérer suivant que les documents de stratégie et de programmation entrant dans la période sont en continuité ou en rupture avec les précédents.

Etape 2 : identifier les objectifs et les effets

Collecter les documents nécessaires à l'établissement des diagrammes. Ces documents comprennent :

  • des documents de base présentant les politiques, les stratégies et les programmes,
  • des documents complémentaires à caractère officiel.

Il est suggéré de faire une analyse générale des points de rupture de la stratégie globale et de ne pas inclure les objectifs des projets et programmes en cours relevant d'une stratégie différente de celle de la période évaluée.

Établir une liste des objectifs relevés dans ces documents.

Etape 3 : établir le diagramme des objectifs affichés 

Un premier classement des objectifs selon les rangs pourra être effectué en distinguant trois grandes strates d'objectifs :

  • objectifs globaux,
  • objectifs intermédiaires à court-moyen terme,
  • objectifs opérationnels

La définition des relations logiques occupe une place centrale dans le classement. Elle est avant tout affaire d'expérience.

L'équipe d'évaluation est ainsi conduite à considérer qu'une relation entre deux objectifs est logique lorsqu'elle est reconnue comme telle par les experts du domaine concerné et par les responsables de l'exécution de la stratégie ou de la politique évaluées.

Encadré 3 - Eléments constitutifs du diagramme des objectifs

Etape 4 : passer du diagramme des objectifs affichés au diagramme raisonné des objectifs

Les diagrammes des objectifs affichés dévoilent un certain nombre de déficiences logiques de construction sur la base des documents stratégiques ou politiques, tels que :

  • des documents stratégiques ou politiques faisant état d'une multitude d'objectifs sans indications suffisantes permettant de les hiérarchiser.
  • l'absence de formulation d'un objectif global,
  • une faible pertinence des liaisons causales entre les objectifs,
  • des objectifs d'un rang donné ne renvoyant à aucun objectif situé à un rang supérieur ou sans lien avec des objectifs de rang inférieur,

L'équipe d'évaluation s'attachera à reconstituer un diagramme des objectifs complet et cohérent en s'aidant de la documentation disponible, de son expertise propre et, si besoin, de celles de spécialistes. Cet exercice de reconstruction devra être totalement transparent : autant qu'il se pourra, il mettra en évidence graphiquement les reclassements et déplacements d'objectifs, les modifications de liens entre objectifs, l'introduction d'objectifs intermédiaires manquants. Chacune des opérations de rationalisation sera en outre justifiée par une note technique.

Etape 5 : Construire le diagramme des effets

Diagrammes d'objectifs et diagrammes des effets attendus obéissent aux mêmes règles générales de construction. La construction du diagramme des effets s'opère pratiquement par transformation de chacun des objectifs en effet attendu correspondant :

  • à l'objectif global correspond l'impact global,
  • aux objectifs intermédiaires, correspondent des impacts intermédiaires ou des résultats,
  • aux objectifs opérationnels correspondent les réalisations.

Outils informatiques

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint.

Comment restituer les résultats ?

Les diagrammes des objectifs sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. A ce stade, la construction des diagrammes doit être décrite avec précision.

Dans le cas du diagramme des objectifs affichés, les sources précises des objectifs ou effets (citations exactes, références des documents d'origine) doivent être fournies. Leur place dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Les hypothèses auxquelles la construction du diagramme a dû cependant recourir doivent être explicitées.

Il en est de même du diagramme des effets. La manière dont il a été extrait du diagramme des objectifs doit notamment être clairement expliquée.

Présentations orales

L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). Le diagramme des objectifs ou celui des effets se révèlent être un moyen très efficace de communication sous la condition qu'il soit immédiatement lisible sans être excessivement simplificateur.

La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites.

Quelles sont les ressources nécessaires ?

Encadré 4 - Les ressources nécessaires
En temps Collecte et identification des objectifs : 4 à 6 jours
Analyse et réalisation : 5 à 10 jours
Test : 1 à 4 jours
Humaines Connaissance des procédures d'élaboration des stratégies et programmes en usage à la CE
Connaissance des documents auxquels ils donnent lieu
Maîtrise des outils informatiques
Rigueur logique
Expérience dans les domaines couverts par les stratégies et les programmes
Connaissance du pays, secteur ou thème concernés.
Financières Un budget de 5 000 € à 10 000 € est nécessaire, ce budget pouvant aussi permettre de réaliser les diagrammes des problèmes et des décisions.

Quels sont les avantages et les limites de l'outil?

Encadré 5 - Les avantages et les limites
Avantages Hiérarchisation des objectifs et des effets
Le diagramme présente de manière explicite les objectifs/effets et les différents rangs auxquels ils se situent, de l'objectif global à plus ou moins long terme à l'ensemble des actions entreprises ou prévues pour sa réalisation.

Il révèle les liens logiques entre ces objectifs/effets ou, au contraire, les faiblesses logiques de ces liens.

Définition des questions d'évaluation
Il permet de formuler les questions que l'évaluation doit affronter pour répondre à l'interrogation essentielle :

Dans quelle mesure les objectifs poursuivis ou les effets attendus ont-ils été atteints ?

Présentation de la stratégie
Bien construit et clairement présenté, il est un outil pédagogique très précieux de présentation et de compréhension de la stratégie.

Limites L'abandon de la représentation en arbre (arbre des objectifs) au profit du diagramme permet de lever la plupart des contraintes de construction et des limites qu'elles induisent (à l'exception notoire de la non représentation des boucles de rétroaction).

Représentation simplifiée de la réalité
Comme tout graphe, c'est une représentation simplifiée de la réalité dont l'efficacité dépend d'un degré raisonnable de simplification.

Il est d'ailleurs possible d'éviter le simplisme en jouant d'effets de loupe, des sous-diagrammes développant des sections du diagramme principal.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QU'EST CE QU'UN DIAGRAMME D'OBJECTIFS ET UN DIAGRAMME DES EFFETS?

.

Que représentent-ils ?

Objectifs et effets: Définitions

L'aide au développement (traduite en projet, programme ou stratégie) se donne en général une ambition qui peut être présentée soit comme un objectif à atteindre, soit comme un effet attendu. L'objectif s'exprime en terme d'action et l'impact à atteindre en terme d'état, conséquence de l'action


La grande proximité des deux termes se trouve confirmée par les définitions proposées par les glossaires d'évaluation, par exemple par celui de l'OCDE (Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats ).

Objectif de développement
Impact attendu, en termes physiques, financiers, institutionnels, sociaux, environnementaux ou autres, par une ou plusieurs actions de développement, au bénéfice d'une société, d'une communauté, d'un groupe de personnes
Impacts
Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non

L'objectif de l'aide recouvre des réalités d'ampleur variable, à savoir aussi bien des actions très concrètes (routes, formations…) que des changements macro-économiques ou sociétaux. En revanche, le terme impact est utilisé, en évaluation, pour traduire un effet à grande échelle et à long terme, les effets à moyen terme étant, par convention, dénommés résultats et les effets immédiats des activités réalisations. Pour englober l'ensemble des conséquences de l'aide (réalisations, résultats, impacts) on utilisera le terme effets.
Lorsque le diagramme est utilisé comme outil de structuration les effets représentés sont les effets attendus de l'aide. Le diagramme peut également être utilisé comme outil d'analyse des résultats de l'évaluation. Les effets représentés sont alors les effets observés.
Au stade de la planification, l'ambition poursuivie par l'aide est à l'heure actuelle plus couramment exprimée en objectifs. Au stade de l'évaluation, les concepts d'objectif et d'effets peuvent être l'un et l'autre utilisés selon les cas.

Le diagramme dans la planification

Le système des objectifs

Même simple, un objectif stratégique global à long terme - qualifié par hypothèse d'objectif de premier rang - est atteint par la réalisation de plusieurs objectifs de second rang, chacun d'eux pouvant dépendre de la réalisation de plusieurs objectifs de troisième rang et ainsi de suite, jusqu'aux objectifs tout à fait concrets que sont les projets d'action.

La plupart du temps, donc, ce que l'on nomme objectif est en réalité l'un des moyens de réaliser un objectif de rang supérieur, en même temps qu'il dépend pour sa réalisation de la mise en œuvre d'un certain nombre de moyens (ou objectifs) subordonnés.

Le système des objectifs représente l'ensemble des objectifs de tous rangs et des liens les unissant.

Le système des effets

Les conséquences de l'exécution d'un projet, d'un programme, d'une stratégie d'aide sont des réalisations qui leur sont directement attribuables, les résultats à court terme liés à ces réalisations et les impacts (directs ou indirects) à plus long terme. Ces conséquences peuvent être regroupées sous le terme 'effets' et sont liées entre elles par un ensemble de relations de causalité ou de synergie constituant le système des effets.

L'arbre des objectifs

C'est dans les procédures d'élaboration de programmes et de projets relevant de la planification par objectif qu'est apparu la nécessité de hiérarchiser de manière logique l'ensemble des objectifs. concourant à la réalisation d'un objectif de rang supérieur. Le système des objectifs est alors classiquement représentée par une arborescence dénommée arbre des objectifs.
Cette représentation en arborescence est soumise à un certain nombre de règles de principe ou de construction :

  • il ne peut y avoir qu'un seul objectif de premier rang ou objectif global,
  • tout objectif d'un certain rang se rattache à un objectif (et un seul) d'un rang immédiatement supérieur,
  • les interactions entre objectifs de même rang et des boucles de rétroaction (les effets devenant des causes et inversement) ne sont pas représentées.

Le niveau d'un objectif exprime sa place dans le système des causes et effets. La représentation graphique traduit le niveau en rang.

Arbre des objectifs (forme classique)


Les arbres des objectifs soumis à ces contraintes sont donc des représentations très simplifiées du système des objectifs défini dans l'élaboration d'une stratégie (ou d'un programme).

Dans le contexte de l'aide de la Commission Européenne, ils décrivent la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie qu'elle soit géographique (région, pays), sectorielle ou thématique, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution.

Le diagramme des objectifs et le diagrammes des effets dans l'évaluation

Le diagramme des objectifs

L'expérience des évaluations, quelles soient thématiques, sectorielles ou géographiques, montre une réalité plus complexe des systèmes d'objectifs ou d'effets mis en œuvre. En effet, les stratégies et programmes soumis à évaluation ne résultent pas toujours d'une procédure de planification par objectifs et, lorsque c'est le cas, l'énoncé et la hiérarchisation des objectifs y procèdent parfois moins de la rationalisation de choix fondamentaux que de la mise en forme de choix circonstanciels.

Il peut en résulter en particulier :

  • une pluralité (deux ou davantage) d'objectifs de premier rang non réductibles à un objectif global unique,
  • des objectifs d'un certain rang liés à plusieurs objectifs de rang immédiatement supérieur,
  • des objectifs d'un certain rang se rattachant à un objectif situé deux rang au dessus,
  • des objectifs de même rang à forte interaction.

Utiliser la forme d'arborescence simple dans le cadre d'une évaluation reviendrait à présupposer une rationalisation très poussée de la définition des objectifs dans un champ stratégique lui-même réductible à des représentations simplifiées.

C'est pourquoi à l'arbre classique des objectifs, très strictement codifié, est préféré une forme plus souple à laquelle est donnée le nom de diagramme des objectifs.

Le diagramme des effets

L'aide publique au développement tend à l'heure actuelle à passer progressivement de la planification et de la gestion par objectifs à la planification et à la gestion axées sur les résultats. De ce fait, l'évaluation est amenée à prendre en compte et à structurer le système des effets liés au programme ou à la stratégie à évaluer. Le terme diagramme des effets sera utilisé pour désigner la structuration figurée du système des effets (réalisations, résultats à court terme et impacts intermédiaires) conduisant à l'impact global attendu.

Le diagramme des effets présente la hiérarchie des réalisations, des résultats et des impacts qui peuvent être attendus de la poursuite du système des objectifs, il se présente comme une arborescence conduisant des activités concrètes envisagées et des réalisations auxquelles elles doivent donner lieu aux résultats directs, aux impacts intermédiaires à moyen-long terme et à l'impact global attendu à long terme. Une lecture inverse peut aussi en être faite, l'impact global attendu étant atteint dans l'enchaînement des impacts intermédiaires, résultats, réalisations et activités

D'où vient le diagramme des objectifs ?

Apparaît d'abord le diagramme des objectifs, qui trouve son origine dans le courant du management par objectifs qui s'est développé au cours des années soixante dans les milieux économiques américains d'abord, puis l'ensemble du monde occidental.

Il a été adapté pour les besoins du Département américain de la Défense, puis transposé à la gestion de l'aide aux pays tiers par l'USAID à la fin des années soixante, en tant que composante du cadre logique.

Les premières utilisations connues, notamment celle de l'USAID, sont liées à la construction des cadres logiques.

Représentation schématique du cadre logique

Il est intégré dans un ensemble d'outils de décision d'aide aux pays tiers, associé notamment à l'arbre des problèmes, dans la planification de projet par objectifs (ZOPP).

Au début des années 1980, le GTZ procède à une révision de la méthode de planification par objectifs (ZOPP). Dans un souci pédagogique, il fixe les étapes de la démarche participative conduisant au cadre logique.

La séquence type est la suivante :

Analyse des problèmes dans la séquence simplifiée du cycle de projet


Il présente alors des caractéristiques marquées :

  • il est utilisé dans la conception des projets,
  • il est partie intégrante d'une méthode de planification, dans lequel il se déduit de l'arbre des problèmes et débouche sur le cadre logique,
  • il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première étape du processus.

À la suite du GTZ, nombre de donneurs publics et d'opérateurs (agences et ONG) ont adopté l'arbre des problèmes comme élément de planification ou gestion des projets.

Son utilisation comme outil de participation et d'appropriation n'a cependant pas toujours le caractère fondamental que lui ont donné les concepteurs du ZOPP. L'insuffisance d'analyse des parties prenantes et/ou la ritualisation des procédures de participation l'ont transformé en exercice en chambre, voire en manipulation. Elles ont réduit le cadre logique au rôle de procédure rigide de gestion des projets et programmes oubliant qu'il est d'abord un outil d'apprentissage et de négociation. Elles ont fait alors ressortir le simplisme des formulations sans la justification de la finalité pédagogique.

La critique la plus profonde porte sur l'hypothèse qu'un consensus peut être atteint entre les parties prenantes (donneur, opérateurs et bénéficiaires) sur les objectifs du développement et la manière de le conduire.

Les insuffisances et déviations apparues au stade de la conception des programmes ne peuvent être ignorées au stade de l'évaluation. Celle-ci doit en particulier s'interroger sur la procédure d'élaboration du système des objectifs et écarter les outils exigeant ou produisant une représentation simpliste de ce système.

Quelles formes peuvent prendre le diagramme des objectifs et le diagramme des effets?

Arborescence simple ou diagramme complexe

L'arbre des objectifs représente un arbre classique des objectifs. Il répond pleinement aux contraintes du genre :

  • un seul objectif global (rang 1),
  • décomposition de chacun des objectifs d'un rang donné en deux ou plusieurs objectifs de rang inférieur (niveau 2),
  • rattachement d'un objectif donné à un (et un seul) des objectifs de rang supérieur (niveau 3),
  • absence de relations horizontales,
  • absence de boucles de rétroaction (les effets devenant des causes et inversement).

Lorsque ces arbres sont produits dans le cadre de la planification par objectif, l'objectif de rang 1 est habituellement dénommé objectif global. Les objectifs de rang inférieur ont reçu des dénominations diverses auxquelles sera préféré le terme d'objectifs intermédiaires. Il peut y avoir plusieurs rangs d'objectifs intermédiaires. Quant aux objectifs situés à la base de l'arborescence, ils sont qualifiés d'objectifs opérationnels.

Le diagramme des objectifs ci-après représenté est un système d'objectifs sensiblement plus complexe :

  • l'un des objectifs de rang intermédiaire (2) se rattache directement à l'objectif global et non à un objectif intermédiaire (1),
  • une interrelation est établie entre deux objectifs de rang intermédiaire (3),
  • l'un de ces mêmes objectifs se rattache à deux objectifs de rang supérieur (intermédiaire 2),
  • le rang des objectifs intermédiaires (2) apparaît incomplet.

Diagramme des objectifs (forme complexe)


Des systèmes d'objectifs encore plus complexes peuvent se présenter, notamment avec deux objectifs globaux et réticulation des objectifs intermédiaires. Toutefois, les diagrammes des objectifs ne permettent pas de traduire visuellement les liens de type boucle de rétroaction.
D'apparition plus récente la représentation structurée du système des effets a, dès son origine, pris en compte les insuffisances de la forme arbre et adopté celle plus souple de diagramme. Les systèmes de réalisations, résultats et impact peuvent en effet avoir le même degré de complexité que le système des objectifs et se traduire en diagrammes de forme analogue.

Diagramme des effets


Diagramme vertical ou horizontal

La disposition des diagrammes peut être verticale ou horizontale.

Dans la disposition verticale, les diagrammes se lisent du haut vers le bas ou du bas vers le haut. En général l'objectif global occupe le niveau supérieur du diagramme.

Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite.

Qu'est ce qu'un lien logique?

Définition

Les objectifs et les effets représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. Ces liens sont logiques lorsqu'ils expriment une relation d'inférence (induction ou déduction) validée par l'expérience. Ils manifestent ainsi le fait que :

  • l'adoption d'un objectif/effet d'un certain rang induit l'adoption d'objectifs/effets subordonnés,
  • un objectif/effet d'un certain rang se déduit d'un objectif/effet de rang (immédiatement ou non) supérieur,
  • deux objectifs/effets de même rang ont entre eux une relation de synergie.

Le caractère logique des liens entre objectifs ou effets se fonde pour l'essentiel sur l'expérience et sur les éventuelles théories du développement qui en sont issues. Expérience et théories sont généralement en mesure de définir dans quels objectifs/effets subordonnés un objectif/effet d'un certain rang doit se concrétiser pour pouvoir être atteint dans de bonnes conditions.
Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Cela tient, par exemple, à ce que les relations entre objectifs ou effets dépendent de facteurs nombreux et parfois mal connus.
Ainsi, par exemple, même lorsqu'ils sont d'accord sur la pertinence d'un objectif global, les experts peuvent diverger sur la définition des objectifs intermédiaires et, à plus forte raison, des objectifs opérationnels. C'est que le contenu même des grands objectifs, par exemple la réduction de la pauvreté, est matière à débat et évolue avec le temps.

Vérification du caractère logique

Dans la pratique, le caractère logique d'un lien entre objectifs ou effets et donc d'un diagramme d'objectifs ou d'effets se vérifie en faisant appel simultanément à deux types d'expérience:

  • celles d'experts reconnus ayant opéré dans des pays divers et des conditions différentes,
  • des responsables de la conception et de la mise en œuvre des programmes entrant dans le champ de l'évaluation.

Le caractère logique peut alors être validé unanimement ou partiellement par les deux groupes.

L'évaluation doit exposer clairement le processus de validation et son résultat.

.

POURQUOI ET QUAND?

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?

Les trois éléments de base des programmes d'aide au développement


Un programme d'aide peut être considéré de divers points de vue : résultats, procédures internes, partenariats, etc. Lorsqu'il est évalué en termes d'efficacité, ce qui est le cas le plus général, ses résultats directs et/ou impacts qu'il a produit sont rapportés aux objectifs ou impacts attendus de tous ordres qu'il s'est fixé. Cela suppose que ces objectifs soient d'une part identifiés ou identifiables et d'autre part hiérarchisés ou hiérarchisables.

Cas des programmes établis sur la base du cadre logique

Lorsque le programme à évaluer a été établi à l'aide d'un cadre logique, celui-ci présente clairement les objectifs de différent rang que le programme entend atteindre. Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs de ce programme. L'établissement de cadres logiques axés sur les résultats ne s'est pas encore généralisé, mais le diagramme des effets peut généralement être déduit du cadre logique des objectifs. L'évaluation a intérêt à reproduire le diagramme des objectifs s'il est présenté par le programme ou, si cela n'est pas le cas, à le reconstituer à partir de la première colonne du cadre logique et à le convertir, s'il y a lieu, en diagramme des effets.

Cas des politiques et stratégies plus complexes

La situation est différente lorsque l'évaluation porte sur un ensemble d'interventions (projets et programmes) qui ne trouvent pas de justification explicite dans un cadre logique, ce qui est un cas très fréquent pour les politiques ou stratégies complexes. Bien souvent, l'évaluateur ne dispose pas d'une présentation explicite et logiquement structurée des objectifs poursuivis ou effets attendus par le donneur. Pourtant, l'évaluation ne se justifie que si elle est en mesure de répondre aux interrogations essentielles suivantes :

  • Les objectifs ou impacts attendus de la politique ou de la stratégie évaluées sont-ils atteints ?
  • Dans quelle mesure ces objectifs ou effets attendus ont-ils été atteints ?

Pour ce faire, l'évaluateur doit identifier et hiérarchiser les objectifs ou les effets de cette stratégie ou de cette politique. Les diagrammes des objectifs et impacts s'avèrent en général de bons outils de reconstruction et de représentation du système des objectif et/ou du système des effets.

Dans les deux cas, la construction des diagrammes des objectifs et impacts devrait constituer l'une des toutes premières tâches de l'évaluation. Il permet de guider le premier cycle de recherche d'informations et de conduite d'entretiens visant à approfondir la connaissance du programme (de la politique, de la stratégie) à évaluer.

Quels sont les avantages et les limites ?

Quels sont ses avantages ?

Hiérarchisation des objectifs et des effets

Le diagramme présente de manière explicite les objectifs/effets et les différents rangs auxquels ils se situent, de l'objectif global à plus ou moins long terme à l'ensemble des actions entreprises ou prévues pour sa réalisation.

Il révèle les liens logiques entre ces objectifs/effets ou, au contraire, les faiblesses logiques de ces liens.

Définition des questions d'évaluation

Il permet de formuler les questions que l'évaluation doit affronter pour répondre à l'interrogation essentielle :

Dans quelle mesure les objectifs poursuivis ou les effets attendus ont-ils été atteints ?

Présentation de la stratégie

Bien construit et clairement présenté, il est un outil pédagogique très précieux de présentation et de compréhension de la stratégie.

Quelles sont ses limites ?

L'abandon de la représentation en arbre (arbre des objectifs) au profit du diagramme permet de lever la plupart des contraintes de construction et des limites qu'elles induisent (à l'exception notoire de la non représentation des boucles de rétroaction).

Représentation simplifiée de la réalité

Toutefois, comme tout graphe, il est une représentation simplifiée de la réalité et son efficacité pédagogique dépend de l'adoption d'un degré raisonnable de simplification.

Il est d'ailleurs possible d'éviter le simplisme en jouant d'effets de loupe, des sous-diagrammes développant des sections du diagramme principal.

Une cohérence en trompe-l'œil

Le diagramme établit le lien logique entre un objectif et un autre objectif de rang supérieur ou entre un effet et un autre effet de rang supérieur. Tout objectif s'y présente comme logiquement déduit d'un objectif de rang supérieur et tout effet s'y présente comme logiquement déduit d'un effet de rang supérieur. Les réalisations produites par les actions réalisées ou envisagées dans le cadre du programme apparaissent ainsi comme des contributions à la réalisation de l'objectif/impact global donnant une cohérence généralement forte au système des objectifs et des impacts.

Les diagrammes des objectifs et des effets, qu'ils soient tirés du cadre logique du programme ou qu'ils aient été reconstruits à partir des documents justificatifs du programme, masque toutefois une série de choix. Chacun des objectifs ou effets d'un rang donné x se met en effet en œuvre par l'intermédiaire d'objectifs ou effets subordonnés dont le choix doit être justifié. Il est en effet rare qu'une stratégie ou un programme veuille couvrir la totalité du champ correspondant à son objectif global. Ils limitent donc leur champ par des choix opérés à tous les rangs d'objectifs ou d'effets. À défaut de justification explicite des choix par les documents stratégiques, l'évaluation doit répondre à une série de questions :

  • Les choix opérés sont-ils les seuls possibles ?
  • Sont-ils les plus pertinents au regard de rang x ?
  • Quels sont les facteurs externes qui ont conduit à leur choix ?
  • Quelles raisons ont conduit à leur élimination ?

Objectifs retenus, objectifs non retenus


Effets retenus, effets non retenus


Faute d'envisager ces questions, l'évaluation va présenter le programme ou la stratégie avec une pertinence et une cohérence qui est plus formelle que réelle.

Avec quels outils peut-on le combiner ?

Le diagramme des problèmes

Le diagramme des objectifs est fréquemment, mais pas toujours, déduit de l'arbre des problèmes. 

Les diagrammes des problèmes donnent une vision synthétique des aspects de la situation que doit, au moins partiellement, améliorer la stratégie. Les objectifs hiérarchisés que se donne la stratégie doivent pouvoir en être déduits.

En planification, la transposition n'est pas forcément automatique. En effet, il peut arriver que, pour des raisons diverses, tous les problèmes inscrits dans le diagramme ne peuvent être affrontés avec la même priorité.

Conversion du diagramme des problèmes en diagramme des objectifs


En évaluation, la reconstitution du diagramme des problèmes comprend une étape dans laquelle le tri est opéré entre les problèmes de contexte et les problèmes d'intervention. Dès lors, le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque niveau de problèmes un niveau équivalent d'objectifs.

Cadre logique

Dans les documents de stratégie ou de programmation, le diagramme des objectifs est en général associé au développement du cadre logique, dont il fournit la colonne de gauche en même temps que l'ossature.

Le diagramme des décisions

L'analyse du processus d'élaboration du programme (diagramme des décisions) peut être utilisée pour expliquer les partis pris dans le choix des objectifs des différents rangs, notamment des rangs supérieurs.

Dans les évaluations intermédiaires de programme, il peut être demandé à l'évaluateur de reconstituer tel ou tel de ces outils, outre le diagramme d'objectifs lui-même.

Quelles sont les conditions nécessaires à son usage?

Consultation des documents initiaux

Lorsque le diagramme des objectifs ou des effets existe dans les documents initiaux du programme ou qu'il se déduit directement d'un cadre logique, il est indispensable d'accompagner sa présentation d'un examen des choix qui ont permis sa construction. Cela suppose la consultation des documents qui ont permis sa construction ainsi que l'interrogation des acteurs directement impliqués dans son élaboration.

En évaluation sectorielle, les documents de base sont les documents de stratégie sectorielle tant au niveau de la Commission Européenne (Communications, lignes directrices, manuels, etc.) que du gouvernement partenaire ainsi que des autres bailleurs de fonds.

Il faut y ajouter les autres documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation, ainsi que les accords bilatéraux tels que Accord d'Association, Accord de Coopération et leurs documents de suivi.

En l'absence des acteurs impliqués et des documents

Si ni les documents ni les acteurs ne sont disponibles ou accessibles l'évaluateur pourra émettre un jugement sur la pertinence du système d'objectifs présenté par le diagramme après, au besoin, consultation de spécialistes.

Dans ce cas, l'équipe d'évaluation devra en tout cas :

  • s'assurer de la validité de ces documents et, au besoin, les compléter
  • tester la validité des liens hiérarchiques et interrelations qu'elle met en évidence par recherche documentaire et/ou entretiens.

Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'équipe d'évaluation devra expliciter les hypothèses qu'elle a faites pour construire le diagramme. Elle fournira au lecteur les indications précises relatives aux sources (citations et références complètes des documents) sur lesquelles elles se fondent.

Le diagramme des objectifs en évaluation projet

Se concentrer sur la logique d'intervention du projet

En règle générale, il existe un cadre logique pour tous les projets. L'analyse devra se concentrer sur ce cadre logique tout en appréciant la cohérence verticale et horizontale par rapport au contexte donné. Au cas où aucun cadre logique n'existe, l'évaluation essaiera de reconstituer la logique d'intervention en se basant sur les documents de projets (voir Etape 2 : identifier les objectifs et les effets).

Parfois, le délai entre la préparation du projet et son démarrage peut être important. Dans ce cas, il devient nécessaire de vérifier que le document est toujours valable au démarrage du projet.

Les autres interventions dans la zone du projet doivent être prises en compte afin d'apprécier la cohérence des interventions dans la zone du projet.

Quels objectifs doivent être pris en compte?

L'évaluation portera sur les objectifs mentionnés dans le cadre logique, ou dans le cadre logique reconstitué.

Il est important d'apprécier dans quelle mesure les différents types d'acteurs se sont appropriés les différents objectifs du projet. Cet aspect sera particulièrement important dans le cas d'une évaluation participative.

Une fois reconstitué, le diagramme raisonné des objectifs débouche sur deux démarches parallèles concourant à l'évaluation du projet :

  • L'analyse des critères de qualité de projet (pertinence, efficience, efficacité et durabilité) en fonction des différents niveaux d'intervention (activités, résultats, objectifs spécifique),
  • la cohérence interne de la stratégie du projet (cohérence verticale) et sa pertinence au regard des objectifs généraux de l'Union Européenne, de la politique de l'État partenaire et de la position de la communauté des donneurs.

.

COMMENT REALISER LE DIAGRAMME DES OBJECTIFS ET LE DIAGRAMME DES EFFETS?

.

L'évaluation a pour objet premier la mise en évidence des résultats de l'aide et leur comparaison avec les objectifs qu'elle s'est fixée. La phase de structuration requiert que soient analysés les objectifs et qu'en soient déduits les effets attendus.
Après avoir précisé la délimitation du champ de l'évaluation, les évaluateurs construiront un diagramme des objectifs affichés par les documents de stratégie et de programmation, puis ils en tireront successivement un diagramme raisonné des objectifs et pour finir un diagramme des effets (attendus).

Etape 1: Délimiter le champ de l'évaluation

Habituellement, le champ est très précisément délimité par les termes de référence de l'évaluation, qui précisent la période et les instruments financiers à évaluer.

Dans tous les cas, aussi bien pour la période que pour les instruments financiers, l'équipe d'évaluation doit obtenir de l'autorité responsable de l'évaluation une définition extrêmement précise du champ. Cela ne doit cependant pas l'empêcher d'attirer l'attention de cette autorité sur les conséquences d'une délimitation restrictive.

Période d'évaluation

La période soumise à évaluation correspond en totalité ou partie à celle couverte par un ou plusieurs documents de stratégie et/ou de programmation. Toutefois, au cours de cette période, sont exécutés des projets ou programmes trouvant leur origine et justification dans des documents antérieurs.

Quelle part faut-il accorder à leurs objectifs ou effets ?

Deux cas sont à considérer suivant que les documents de stratégie et de programmation entrant dans la période sont en continuité ou en rupture avec les précédents. 

Lorsqu'il y a rupture entre les documents

Il est suggéré de faire une analyse générale des points de rupture pour ce qui concerne à la fois la stratégie globale et le type d'intervention (projets et programmes) et de ne pas inclure les objectifs propres (ou effets) de ces projets et programmes dans l'analyse.

Lorsqu'il y a continuité entre les documents

Les objectifs propres (ou effets) des programmes et projets exécutés durant la période soumise à évaluation doivent alors être inclus dans l'analyse des objectifs.

Instruments financiers

Des termes de références explicites

Les termes de référence peuvent préciser que l'évaluation s'applique aux interventions conduites par une institution spécifique (une Direction Générale de la Commission) avec un instrument financier spécifique. Le champ apparaît alors clairement délimité. L'équipe d'évaluation doit cependant inclure les autres institutions dans la catégorie des "Autres bailleurs" et rechercher dans leurs interventions les éléments de cohérence qui font éventuellement défaut au système des objectifs ou effets de l'institution soumise à évaluation.

Elle doit également examiner les modalités de coordination entre les interventions entrant dans le champ de l'évaluation et les autres et porter un jugement sur les conséquences possibles d'une coordination insuffisante.

Des termes de références non explicites

Lorsque les termes de référence ne précisent pas les limites de l'évaluation, l'analyse des objectifs et effets doit s'étendre à l'ensemble des interventions de la Commission quelle que soit l'institution particulière dont elles relèvent et l'instrument financier qui les finance.

Etape 2: identifier les objectifs et les effets

Collecter les documents

La première étape consiste à collecter les documents nécessaires à l'établissement des diagrammes. Ils sont en général disponibles auprès de l'unité concernée des Directions Générales des Relations extérieures ou du Développement.
Ces documents comprennent :

  • des documents de base présentant les politiques, les stratégies et les programmes,
  • des documents complémentaires à caractère officiel.

Ils varient toutefois selon qu'il s'agit d'évaluations pays, sectorielles ou thématiques.

Relever les références aux objectifs dans les documents de base

Le travail commence par une lecture attentive des documents de base. Elle donne lieu à un relevé (citation exacte, source précise) de toute référence faite à un objectif, c'est-à-dire à ce qui est visé par l'intervention de la Commission Européenne, ainsi qu'aux liens explicitement mentionnés entre cet objectif et d'autres objectifs. 

Attention ! Les documents n'annoncent pas toujours : " ceci est un objectif ". Ils se contentent en général de les introduire par des conjonctions telles que : " pour ", " afin de ", " de sorte que ", etc. Les objectifs eux mêmes peuvent être qualifiés de " priorités ", " domaines d'intervention ", voire " secteurs de concentration " ou autres.

Un tableau précis de ce relevé doit être établi.

Distinguer les objectifs stratégiques des objectifs d'arrière-plan

Les citations relevées dans les documents de référence sont traduites en objectifs. Chacun des objectifs est assorti d'un numéro d'identification renvoyant aux citations.
Parmi les objectifs, les documents identifient ceux auxquels l'intervention est sensée répondre. Les autres seront considérés comme constituant l'arrière-plan.

L'équipe d'évaluation proposera, en annexe des rapports (Comment restituer les résultats ?) concernés, la liste de tous les objectifs pris en considération répartis entre les deux catégories : objet de l'intervention et arrière-plan.

Etape 3: établir le diagramme des objectifs affichés

Procéder à un premier classement des objectifs selon les rangs

Plusieurs situations sont à considérer :

  • le rang est explicité ; c'est assez souvent le cas de l'objectif de rang 1, qualifié de global ou à long terme,
  • la relation de cause à effet avec un autre objectif est explicitée ; on peut donc les situer l'un par rapport à l'autre,
  • aucune indication n'est donnée sur le rang (absolu ou relatif) de l'objectif ; il convient alors de se référer aux documents complémentaires ou autres documents pour repérer d'éventuels liens de cause à effet ; en leur absence, l'équipe d'évaluation devra faire preuve de logique et/ou recourir à l'expertise d'un spécialiste dans les domaines pour lesquels il considère n'avoir pas toute la compétence (Les ressources humaines et le temps de travail) voulue.

Chacun des classements en rangs devra être justifié, au besoin par des interprétations prenant la forme d'hypothèses explicites.
Un premier classement pourra être effectué en distinguant trois grandes strates d'objectifs :

  • objectifs globaux,
  • objectifs intermédiaires à court-moyen terme,
  • objectifs opérationnels.

La définition des relations logiques occupe une place centrale dans le classement. Elle est avant tout affaire d'expérience. L'équipe d'évaluation est ainsi conduite à considérer qu'une relation entre deux phénomènes est logique lorsqu'elle est reconnue comme telle par les experts du domaine concerné et par les responsables de l'exécution de la stratégie ou de la politique évaluées.

Établir un diagramme provisoire

A partir du premier classement en rangs, un premier diagramme des objectifs affichés peut être établi. Celui-ci pourra faire apparaître des incohérences qui devront être corrigées. Les corrections résultent alors d'interprétations et doivent être clairement désignées comme telles.

Faut-il commencer la construction à partir de l'objectif global ou des objectifs
opérationnels (i.e. objectifs qui définissent les résultats attendus) ?

La pratique montre que ces deux types d'objectifs sont les mieux identifiables, alors que les objectifs intermédiaires sont plus difficiles à identifier et davantage encore à hiérarchiser. Il est donc recommandé de commencer simultanément par les deux extrémités.
Dans le diagramme chaque objectif est représenté par une boite portant son énoncé résumé. Il est recommandé d'y inscrire également un numéro d'identification renvoyant à la liste des citations. Il est en outre pratique de donner aux boites une couleur correspondant à la strate à laquelle il appartient.
Il est également utile de référer chacun des liens à une ou plusieurs citations (grâce au numéro d'identification).
Le diagramme est complété par la mention des moyens spécifiques (financiers et non financiers) mobilisés pour la réalisation de chacun des objectifs opérationnels.

Identifier les auteurs de la formulation des objectifs

Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont, à titre principal ou secondaire, contribué à la formulation des objectifs (rédaction du chapitre, apports sectoriels, participation à des réunions d'élaboration, etc.).

Il est alors utile de vérifier quel rôle cette formulation a joué dans la définition des objectifs opérationnels des programmations.

Tester le diagramme provisoire

Le diagramme doit être testé auprès des auteurs des documents de base et des documents complémentaires afin de valider les classements en rang et les liens entre objectifs. Il s'agit de vérifier que les interprétations de l'évaluateur reflètent correctement les intentions des auteurs. À défaut ou à côté des auteurs, toute autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile.

C'est en général possible pour les documents les plus récents dont les auteurs (ou contributeurs) peuvent être toujours en poste ou joignable dans un service du Siège. C'est beaucoup plus problématique pour les documents les plus anciens dont les auteurs peuvent être difficiles à identifier et en encore plus à joindre.

Il ne sera en outre malheureusement pas toujours possible, à l'issue d'entretiens, de faire le tri entre la reconstitution fidèle de la démarche d'élaboration des documents et les tentations plus ou moins conscientes de justification a posteriori.

Établir la version définitive du diagramme des objectifs affichés

Cette version tient compte des avis recueillis lors du test de la version provisoire.

Elle sera dès lors considérée comme rendant compte fidèlement des intentions initiales de la Commission Européenne telles que manifestées dans les documents officiels.

Etape 4 : passer du diagramme des objectifs affichés au diagramme raisonné des objectifs

Avantages et limites du diagramme des objectifs affichés

Les avantages du diagramme des objectifs affichés

Il existe des diagrammes d'objectifs affichés qui présentent une forte cohérence interne : à l'exception de l'objectif ou impact attendu global, tout objectif x renvoie à un objectif (immédiatement ou non) supérieur et se trouve développé par un ou plusieurs objectifs subordonnés.
C'est notamment le cas lorsque ces diagrammes des objectifs affichés sont extraits d'un cadre logique et que celui-ci a été établi dans les règles de l'art. Ils peuvent être considérés comme pleinement logiques et tiennent lieu de diagramme raisonné des objectifs.

Liens logiques d'un objectif donné x (cas des diagrammes d'objectifs)


Dans le cas idéal où le système d'objectifs présenté par les documents de stratégie et de programmation est décrit de manière complète et cohérente, il n'est bien entendu pas nécessaire d'établir un diagramme raisonné.

Les limites du diagramme des objectifs affichés

Cependant, les diagrammes des objectifs affichés dévoilent un certain nombre de déficiences logiques de construction sur la base des documents stratégiques ou politiques, tels que :

  • l'absence de formulation d'un objectif global,
  • une faible pertinence des liaisons causales entre les objectifs,
  • des objectifs d'un rang donné ne renvoyant à aucun objectif situé à un rang supérieur ou sans lien avec des objectifs de rang inférieur prévoyant les modalités de mise en œuvre,
  • des documents stratégiques ou politiques faisant état d'une multitude d'objectifs sans indications suffisantes permettant de les hiérarchiser.

Dans ces cas, l'équipe d'évaluation sera bien en peine de définir précisément le champ thématique de l'évaluation et de proposer les questions d'évaluation sur lesquelles elle estime souhaitable de se concentrer. Elle sera dès lors amené à construire un diagramme raisonné.

Constitution du diagramme raisonné des objectifs

L'équipe d'évaluation s'attachera à reconstituer un diagramme des objectifs complet et cohérent en s'aidant de la documentation disponible, de son expertise propre et, si besoin, de celles de spécialistes. Cet exercice de reconstruction devra être totalement transparent (Comment restituer les résultats ?) : autant qu'il se pourra, il mettra en évidence graphiquement les reclassements et déplacements d'objectifs, les modifications de liens entre objectifs, l'introduction d'objectifs intermédiaires manquants. Chacune des opérations de rationalisation sera en outre justifiée par une note technique.

Etape 5: construire le diagramme des effets

Diagrammes d'objectifs et diagrammes des effet attendus obéissent aux mêmes règles générales de construction.
La construction du diagramme des effets s'opère pratiquement par transformation de chacun des objectifs figurés dans le diagramme dans l'effet attendu correspondant.


.

EN EVALUATION PAYS

.

Fau-il utiliser les diagrammes des objectifs et des effets ?

Tout donneur se doit de justifier, explicitement ou implicitement, l'aide qu'il attribue à un pays ou une région au cours d'une période donnée. A cet effet, il définit les objectifs qu'il poursuit ou des effets qu'il souhaite voir intervenir en attribuant cette aide. Il établit donc périodiquement des documents présentant ses objectifs généraux ainsi que ses priorités pour la période. De tels documents peuvent soit présenter des orientations, soit un programme précis, soit encore une combinaison des deux.

Ces documents peuvent présenter des programmes définis conjointement par le donneur et le bénéficiaire. Dans ce cas les activités prévues prises en compte sont d'une part celles de la Commission européenne et d'autre part celles du pays partenaire. Les résultats et impacts attendus sont alors la conséquence de la mise en œuvre de ces deux types d'activités.

Concernant les programmes nationaux

Les programmes nationaux (PIN) peuvent être inscrits dans un cadre logique unique ou dans un cadre logique pour chacun des principaux secteurs d'intervention. Il est alors naturel que l'évaluation adopte les cadres logiques (objectifs et indicateurs de concrétisation) comme base des critères d'efficacité référentiel, et qu'elle se donne pour objet de vérifier dans quelle mesure le système d'objectifs et d'effets initiaux ont été atteints par la mise en œuvre du programme.

Concernant les stratégies pays

Les stratégies pays (DSP) ne s'appuient généralement pas sur un cadre logique d'ensemble, car elles sont valables pour une longue période et sont mises en œuvre par plusieurs programmes successifs pouvant chacun d'eux s'appuyer sur un cadre logique. Dans ce dernier cas, l'évaluation sera conduite à reconstituer le système d'objectifs et d'effets et à construire un diagramme le représentant pour chacun des programmes.

Qels objectifs et effets doivent être pris en compte?

Dans les stratégies et les programmes complexes d'aide bilatérale, le donneur est la Commission Européenne, tandis que ses partenaires sont en général des États ou institutions publiques nationales. Commission et États partenaires ont chacun leurs objectifs globaux correspondant à leurs problèmes propres. Dans une certaine mesure, toutefois, et à un certain degré de détail, les objectifs deviennent communs. Dans un accord d'assistance bilatérale entrent donc en jeu trois systèmes d'objectifs ou d'effets :

  • un système propre à la Commission, correspondant aux problèmes stratégiques que le donneur espère résoudre par l'aide (par exemple, instabilité régionale, faible capacité d'absorption du marché local, immigration incontrôlée),
  • un système propre au partenaire, relatif aux problèmes politiques majeurs auxquels l'État se trouve confronté (déséquilibres macroéconomiques, instabilité sociale, faible rythme de croissance, disparités sociales ou pays, etc.),
  • un système commun à la Commission et à son partenaire, correspondant à certaines causes communes aux problèmes de chacun des deux et relatives aux domaines entrant dans le champ de l'assistance (santé, PME, irrigation, environnement, par exemple).

Sauf cas d'évaluation participative, l'équipe d'évaluation s'intéressera prioritairement au premier et au troisième groupe d'objectifs.

Quelle place occuppent les diagrammes des objectifs et des effets dans l'évaluation des pays?

Une fois reconstitué, le diagramme raisonné des objectifs puis celui des effets débouchent sur deux démarches parallèles concourant à l'évaluation de la stratégie pays :

  • la formulation de questions d'évaluation portant d'une manière générale sur l'efficacité et l'impact de la mise en œuvre et donc aussi sur l'efficience et indirectement sur la durabilité des réalisations et impacts,
  • la cohérence interne de la stratégie et sa pertinence au regard des objectifs généraux de l'Union Européenne, de la politique de l'État partenaire et de la position de la communauté des donneurs.

Les deux démarches sont figurées sur le tableau ci-après. À partir du tronc commun d'élaboration du diagramme raisonné des objectifs, le graphe se scinde en deux branches : la branche de droite se rapporte aux questions d'évaluation, tandis que celle de gauche concerne l'analyse globale de la stratégie.

Place des diagrammes d'objectifs dans la conduite d'une évaluation axée sur les questions d'évaluation


Remarque

La pertinence est examinée sous deux aspects principaux :

  • (a) : relativement aux objectifs généraux de l'Union européenne et de la Commission européenne,
  • (b) : relativement aux besoins et/ou demandes du(des) bénéficiaire(s)

Les questions mettent en regard les effets attendus (réalisations, résultats, impacts secondaires) avec les moyens spécifiques et généraux mobilisés pour les mettre en œuvre.

L'analyse générale interroge la construction de la stratégie, c'est à dire :

  • le choix de l'impact attendu,
  • le choix des réalisations, résultats, impacts secondaires
  • leur pertinence au regard de la situation du pays et de la politique des acteurs majeurs,
  • la recherche de complémentarités et de synergies avec les autres donneurs.

Quels sont les différents types de diagrammes des objectifs et de diagrammes des effets utilisables en évaluation de pays?

Les évaluateurs disposent pour établir le référentiel des évaluations dont ils ont la charge de deux types de diagramme décrivant les objectifs du programme ou de la stratégie à évaluer.

Le diagramme des objectifs affichés

Le diagramme des objectifs affichés présente deux utilités :

  • Il reproduit strictement le système des objectifs des cadres logiques lorsqu'il y en a. Il traduit aussi fidèlement que possible le système des objectifs plus ou moins explicite dans les documents ne présentant pas de cadre logique. Il est en cela une étape indispensable dans la construction du diagramme raisonné.
  • Il met en évidence, s'il y a lieu, les limites de la cohérence (Les limites du diagramme des objectifs affichés) du système des objectifs. Il se présente comme une contribution à une évaluation ex ante qui n'a pas eu lieu et participe donc d'une pédagogie à l'usage des auteurs de documents de stratégie et de programmation.
  • Il se présente comme la transposition graphique fidèle des déclarations contenues dans les documents de stratégie (DSP, DSR) et de programmation (PIN, PIR) relatives aux objectifs poursuivis et aux liens entre ces différents objectifs.

Le diagramme raisonné des objectifs

Le diagramme raisonné des objectifs définit le champ thématique de l'évaluation.

Il établit la hiérarchie raisonnée du système des objectifs tels qu'ils sont présentés dans les cadres logiques ou ont été reconstitués dans le diagramme des objectifs affichés. Il est également la reconstitution logique de la hiérarchie des objectifs proposés par les documents de stratégie (DSP, DSR) et de programmation (PIN, PIR).

Il contribue à l'identification des points forts ou faibles sur lesquels sera mis l'accent par le biais des questions d'évaluation :

  • pertinence du choix des objectifs,
  • qualité des formulations,
  • liens logiques entre rangs, etc.

Il est d'autant plus indispensable que les documents stratégiques ou d'orientation de l'aide pays ne comprennent pas d'exposé systématique (avec ou sans diagramme) du système des objectifs.

Il doit être présenté, au moins sous une forme simplifiée, dans le rapport final d'évaluation et intégralement inclus dans les annexes.

Remarques

Il convient de noter que les diagrammes ne sont pas les seuls outils utilisables pour l'analyse des objectifs ou des effets. D'autres outils, de type matriciel, sont fréquemment employés.

Combien de diagrammes des effets faut-il établir ?

Un seul diagramme

Si l'analyse de la situation ne change pas radicalement au cours de la période et si l'intervention se concentre sur un impact attendu global unique, un seul diagramme suffit.

Plusieurs diagrammes selon les situations

Il est d'autres cas cependant où les stratégies marquent des évolutions sensibles, il y a lieu de reconstituer autant de diagrammes des effets qu'il y a de stratégies différentes de la Commission Européenne. Dans le cas où l'évaluateur ne parvient pas à identifier un impact global unique, et où chacun des impacts globaux relève d'un système d'effets relativement indépendant, il peut être justifié d'établir autant de diagrammes que d'impacts globaux.

Diagrammes intermédiaires

Afin de construire le diagramme des objectifs ou des effets affiché, il peut être opportun d'établir des diagrammes intermédiaires correspondant à chacune des priorités (ou secteurs de concentration) de l'aide au cours de la (ou des) période(s) couvertes par l'évaluation. C'est en particulier le cas lorsque les programmes présentent un cadre logique pour chacune des priorités.
Ces diagrammes peuvent être utiles pour définir et justifier les questions d'évaluation.

Diagrammes loupes

Lorsque les diagrammes d'ensemble sont très complexes, leur lisibilité et leur qualité pédagogique risquent d'en souffrir. Il est conseillé d'en tirer d'une part un diagramme d'ensemble simplifié et des diagrammes de détail offrant un effet de loupe sur certaines zones du diagramme d'ensemble.

Quels documents utiliser en évaluation pays ?

Documents de base

Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation.

Il faut y ajouter les accords bilatéraux tels que Accord d'Association, Accord de Coopération et leurs documents de suivi, ainsi que les accords multilatéraux (Accord de Lomé et Cotonou, par exemple) et les documents assimilés (Déclaration de Barcelone, par exemple).

Ils sont en général fournis à l'évaluateur dès le début de la mission.

Toutefois celui-ci doit veiller à deux points :

  • tous les programmes successifs, y compris les modifications ultérieures éventuelles, lui sont remis,
  • les versions des documents remises sont les versions définitives.

Documents complémentaires

Trois types de document complémentaire doivent être obtenus :

  • les documents de stratégie et de programmation relatifs aux interventions de la Commission au niveau régional (DSR et PIR) dans le cas des évaluations pays,
  • les documents officiels relatifs aux autres ressources budgétaires non pays mobilisables pour l'aide pays (lignes budgétaires dites horizontales, autres contributions),
  • les documents d'orientation spécifiques relatifs aux principaux domaines de l'aide (secteurs dits de concentration ou assimilés).

Autres documents d'information

D'autres documents peuvent être utiles. Il s'agit notamment des versions successives des documents de base (on s'assurera de leur datation exacte) ainsi que des diverses contributions et réactions dont ils ont fait l'objet de la part de services de la Commission, des partenaires nationaux et d'autres donneurs (États Membres en particulier). Ils peuvent être précieux, mais ne sont pas faciles à identifier ni toujours disponibles ou accessibles.

.

COMMENT UTILISER LES DIAGRAMMES ?

                                                                                                                                    .
Les diagrammes des objectifs et des effets sont des instruments essentiels de la phase de structuration de l'évaluation. Leur contribution est multiple :
  • ils donnent une description de la stratégie (géographique) ou de la politique (sectorielle, thématique) à travers le système des objectifs,

  • ils permettent de définir les thèmes des questions d'évaluation,

  • ils présentent de manière très pédagogique les forces et faiblesses du système des objectifs à atteindre ou des effets attenduss

Description et analyse de la stratégie

Les diagrammes donnent une vision synthétique de la stratégie géographique proposée par les documents officiels. Lorsque l'évaluation porte sur une période couverte par deux ou plusieurs documents stratégiques (géographiques) ou politiques (sectoriels, thématiques), il convient d'établir des diagrammes pour chacun des documents (à moins qu'il y ait continuité totale de ligne stratégique ou politique).

Les diagrammes présentent la hiérarchie des objectifs, de l'objectif global aux projets et programmes envisagés pour le mettre concrètement en œuvre ou la hiérarchie des effets de l'impact global aux des réalisations et aux activités (projets). Le diagramme raisonné des objectifs ou des impacts est un moyen pédagogique d'introduire des commentaires sur :

  • sa cohérence interne,

  • la pertinence des objectifs ou des effets au regard du contexte (stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, situation des pays, thèmes ou secteurs et objectifs des acteurs majeurs, champ d'intervention et objectifs des autres donneurs),

  • le caractère approprié des moyens affectés à la poursuite des objectifs ou à la réalisation des effets.

Restituant fidèlement le système des objectifs, le diagramme des objectifs affichés quant à lui permet en outre une première appréciation de la qualité de la pensée stratégique ou politique. Un diagramme confus, incomplet, plus ou moins incohérent peut en effet mal augurer de la pertinence de la programmation à venir ou de sa fidélité au système initial des objectifs.

Ces analyses doivent être présentées dans les notes et rapports de la phase d'évaluation consacrée à la structuration. Elles apparaissent également sous une forme plus résumée dans le rapport final.

Définition des thèmes des questions d'évaluation

Les analyses précédentes suscitent des interrogations portant notamment sur :

  • la fidélité de la stratégie ou de la politique aux objectifs globaux de l'UE en matière d'aide aux pays tiers,

  • leur pertinence au regard de la situation du pays, du secteur ou du thème objet d'évaluation, ainsi que de la politique des acteurs majeurs (gouvernements en particulier),

  • la recherche de complémentarités et de synergies avec les autres donneurs,

  • les conséquences des éventuels défauts de cohérence du système des objectifs,

  • la pertinence des moyens mobilisés en rapport avec les objectifs.

Ces interrogations permettent de définir un ensemble de thèmes pouvant donner lieu à des approfondissements dans les phases suivantes de l'évaluation, en particulier par le biais de questions d'évaluation.

Cependant les questions d'évaluation ne sauraient se déduire automatiquement de ces analyses. En effet d'une part d'autres interrogations peuvent surgir au cours de la phase de structuration, formulées par les principaux responsables de la mise en œuvre de la stratégie et donc davantage reliées aux problèmes rencontrés aux stades de la programmation et de la réalisation. D'autre part, le nombre de questions auxquelles une évaluation classique peut répondre est limité et il sera donc nécessaire de procéder à un choix.

COMMENT RESTITUER LES RESULTATS ?

                                                                                                                                    .

Notes et rapports de la phase de structuration

Les diagrammes des objectifs sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. A ce stade, la construction des diagrammes doit être décrite avec précision.

Dans le cas du diagramme des objectifs affichés, les sources précises des objectifs ou effets (citations exactes, références des documents d'origine) doivent être fournies. Leur place dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Les hypothèses auxquelles la construction du diagramme a dû cependant recourir doivent être explicitées.

Il en est de même du diagramme raisonné. La manière dont il a été extrait du diagramme des objectifs affichés doit notamment être clairement expliquée.

Rapport final

Dans la mesure où ils ne sont pas de simples étapes dans la formulation des questions, mais où ils illustrent l'analyse de la stratégie et l'évaluation qui peut en être faite, les diagrammes ont leur place dans le rapport final.

Il peut en être fait une présentation succincte dans le rapport proprement dit et ils doivent faire l'objet d'une annexe permettant de saisir leurs tenants et aboutissants.

Présentations orales

L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). Le diagramme des objectifs ou celui des effets se révèlent être un moyen très efficace de communication sous la condition qu'il soit immédiatement lisible sans être excessivement simplificateur.

La solution réside dans la construction d'un diagramme principal et de sous-diagrammes mettant sous la loupe les sections essentielles du diagramme principal. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites.

QUELS MOYENS SONT NECESSAIRES POUR RECONSTITUER UN DIAGRAMME D'OBJECTIFS ET UN DIAGRAMME DES EFFETS ?

                                                                                                                                    .

Les ressources humaines et le temps de travail

Capacité de travail pour la réalisation d'un diagramme des objectifs


Observation :
Le nombre de jours nécessaires dépend principalement de l'étendue du champ de l'évaluation et donc du nombre de programmes à examiner et de diagrammes à construire.

Déplacements

Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des services du Siège (DG Services Relations extérieures ou Développement). Ces derniers jouent également un rôle essentiel dans la programmation. Quant à EuropeAid, il continue à être très actif dans la conception des projets. Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. Cette situation sera amenée à évoluer et les Délégations devraient voir leurs responsabilités s'accroîtrent.

Les besoins actuels (2004) de déplacements à Bruxelles


Ces éléments (et les composants budgétaires correspondants) devront être reconsidérés lorsque les Délégations auront exercé leurs compétences étendues en matière d'élaboration de stratégie (2007).

Outils informatiques

La plupart des problèmes graphiques peuvent être résolus à l'aide du logiciel MS PowerPoint.

                                                                                                                                    .

EXEMPLES

.

.

BIBLIOGRAPHIE

.

Le cadre logique et l'arbre des objectifs

  • Manuel de Gestion du cycle du projet, Commission Européenne, EuropeAid, mars 2001.
  • Guide récapitulatif des Formations - Gestion du Cycle de Projet, Commission Européenne, EuropeAid, Itad Ltd, Particip GmbH. version 1.1, février 2001.
  • " Logical framework analysis", BOND Guidance Notes No 4, March 2003. [EN]
  • "The Logical Framework Approach (LFA) ", A summary of the theory behind the LFA method, Sida - Swedish International Development Co-operation Agency, Draft, June 2002.
  • "The Logical Framework Approach", Handbook for Objectives-oriented Planning, NORAD, 4th edition, January 1999.
  • " The logical framework approach ", Australian agency for international aid (AusAid), AusGuide, AusGuidelines, 2000. [EN]
  • " A critical assessment, logical frameworks gasper ", working paper # 264, Institute of Social Studies, the Hague, December 1997.

Utilisation du cadre logique dans l'évaluation

  • " Project appraisal 2(4) ", Logical Framework Approach to the Monitoring and Evaluation of Agricultural and Rural Development Projects, Coleman G., 1987, p. 251-259.

Les autres approches

  • Program Theory in Evaluation : Challenges and Opportunities, New Directions for Evaluation, a publication of the American Evaluation Association, Fall 2000.

.

 

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
L'analyse préliminaire des stratégies concernées a-t-elle été effectuée?  
L'analyse préalable des institutions intervenant dans l'élaboration et la mise en œuvre de la stratégie et/ou des programmes a-t-elle été effectuée ?  
La liste des documents pertinents a-t-elle été établie ?  
La liste a-t-elle été soumise au groupe de pilotage de l'évaluation?  
La datation des documents a-t-elle été confirmée par les auteurs ou contributeurs ?  
Mise en œuvre
 
Une double lecture des documents a-t-elle été opérée ?  
Les points apparemment manquants ont-t-ils été recherchés lors des tests ?  
Les hypothèses et incertitudes sur les positionnements des objectifs ou des effets sont-elles explicitées ?  
Ont-elles été vérifiées auprès des auteurs et/ou contributeurs lors du test ?  
Les points de vue ont-ils été croisés ?  
Des spécialistes confirmés ont-ils été consultés, au besoin avec un avis écrit ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions
Réponse
Les références documentaires et citations sont-elles produites ?  
La liste des documents consultés pour établir les diagrammes est-elle complète ?  
Les diagrammes apparaissent-ils cohérents ?  
Les relations entre les objectifs et les effets sont-elles explicites ?  
Les hypothèses et les incertitudes sont-elles énoncées ?  
Les effets externes ont-ils été identifiés ?  
Les contraintes et les risques sont-ils exposés?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions

Diagramme des décisions

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

Les stratégies sont conçues à l'issue d'un processus intégrant des objectifs globaux, des éléments de contexte et des orientations des partenaires. Le diagramme des décisions représente le processus de conception, la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier. Il visualise les choix effectués au cours de l'élaboration de la stratégie et leurs conséquences que les objectifs retenus et les impacts attendus. Le diagramme des décisions constitue un complément utile aux diagrammes des objectifs et des effets.

Les documents qui présentent les stratégies de coopération exposent en général un ensemble d'objectifs parmi lesquels peuvent être distingués un ou plusieurs objectifs globaux, des objectifs opérationnels relatifs aux projets concrets d'aide et un ensemble d'objectifs intermédiaires situés à divers niveaux. Les choix faits par les auteurs des documents de stratégie et de programmation prennent en compte notamment :

  • les recommandations des instances dirigeantes de l'Union Européenne (Conseil, Parlement, Commission),
  • l'analyse de faits extérieurs (évènements majeurs, situation du pays),
  • l'intervention d'acteurs extérieurs (gouvernement partenaire, États Membres ou autres donneurs),
  • les enseignements de programmes ou projets antérieurs.

Ce sont précisément les effets de ces orientations, données contextuelles et analyses qui sont décrits dans le diagramme des décisions. Chaque cellule de la colonne centrale du diagramme représente les choix opérés (objectifs retenus, objectifs non retenus), alors que les cellules latérales représentent les flux de ressources qui sont les justifications externes de ces choix.

Quels usages peut-on faire du diagramme des décisions ?

Le diagramme des décisions rend visible :

  • l'ensemble des options possibles dans l'établissement du système des objectifs (objectif global, objectifs intermédiaires retenus et écartés, etc.)
  • les incidences externes ayant conduit aux choix.

Le diagramme des décisions contribue à l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets.

Il en est de même pour l'examen des 3C (Cohérence, Coordination, Complémentarité).

Comment réaliser le diagramme des décisions ?

Encadré 1 - les étapes de la réalisation du diagramme de décision

La démarche d'élaboration d'un diagramme des décisions à des fins d'évaluation repose sur deux piliers :

  • l'identification des moments de décision (choix des objectifs),
  • le repérage, la collecte et le traitement des informations correspondantes.

Les étapes de réalisation du diagramme de décision

Etape 1 : identifier les moments de décision

Dans la plupart des cas, l'établissement du diagramme des décisions fait suite à la construction du diagramme des objectifs. Le diagramme des objectifs est l'outil de base pour identifier les moments de choix. Hormis le moment de définition de l'objectif global, les autres moments de choix se situent à chacun des embranchements du diagramme. C'est là précisément que se pose la question : Pourquoi ces objectifs ont-ils été retenus ? Pourquoi pas d'autres ?

Encadré 2 - les choix des objectifs retenus

Etape 2 : formuler les questions

Comment identifier les questions qui visent à justifier les choix des objectifs ? Notons que l'identification des objectifs non retenus contribue à les préciser. Pour chacun des moments de choix, quatre possibilités peuvent se présenter :

  • Les documents de stratégie et de programmation explicitent les objectifs non retenus et fournissent alors les raisons qui ont conduit à les écarter.
  • Les documents de travail (versions provisoires, notes et correspondances diverses) permettent de les repérer et parfois justifient les choix qui ont été faits (ce qui est en principe toujours le cas s'agissant des réactions des États Membres et des réponses qu'elles entraînent).
  • Aucun des documents disponibles n'explicite les choix opérés, mais les entretiens avec les responsables impliqués dans ces choix apportent des éclairages pertinents.
  • Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits.

Dans les trois premier cas, les évaluateurs retiendront en première hypothèse les informations fournies sur les objectifs envisagés et non retenus, ainsi que les raisons pour lesquelles ils n'ont pas été retenus. Dans le dernier cas, il conviendra d'identifier les objectifs théoriquement envisageables.

Etape 3 : la collecte des informations utiles

Préalablement à la construction du diagramme, il est nécessaire d'apprécier la fiabilité des sources d'information. Si elle se révèle insuffisante, il est recommandé de renoncer.

D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents :

  • le document stratégique et le programme peuvent apporter des informations sur les enseignements des réalisations passées, le contexte politique, économique, social, l'intervention des États Membres et des principaux autres donneurs,
  • tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent éclairer le choix des priorités,
  • des évaluations peuvent rendre compte d'expériences porteuses d'enseignements,
  • les documents plus généraux du Conseil et de la Commission (conclusions, recommandations, rapports), ainsi que les traités et accords présentent souvent des éléments de situation, des enseignements et des priorités que les auteurs des stratégies et programmes ont forcément en tête.

C'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité des sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Ce jugement fortement étayé sera porté à la connaissance des responsables de l'évaluation, qui statueront.

Etape 4 : établir le diagramme provisoire

Sur la base du diagramme des objectifs, une première sélection des informations pertinentes est opérée. Elle passe par :

  • L'établissement d'un ou plusieurs chronogrammes qui décrivent la succession des évènements et/ou informations intervenant dans le processus d'élaboration de la stratégie et du programme ;
  • La sélection dans les documents collectés de textes relatifs au choix des objectifs et des modalités d'aide prévues ou aux facteurs influençant ces choix ;
  • Le classement et l'indexation des textes.

Des réponses provisoires aux questions seront formulées sur la base des informations recueillies. Certaines questions peuvent demeurer sans réponse. Le diagramme des objectifs sert de base à la chaîne des décisions. Il identifie quatre (parfois cinq) moments de choix concernant :

  • l'objectif global,
  • les objectifs intermédiaires à court et moyen terme,
  • les objectifs opérationnels.

L'élaboration des stratégies et programmes est rarement exclusivement guidée par une telle logique. Les auteurs partent, explicitement ou implicitement, d'un objectif global. Ils examinent ensuite par quels moyens concrets à sa disposition la Commission européenne peut poursuivre cet objectif. La succession des choix se ramène alors à deux moments :

  • choix de l'objectif global,
  • choix des domaines et modalités d'intervention.

Le diagramme d'ensemble en arête de poisson doit complété de diagrammes détaillés correspondant à chacun des moments de choix. Une loupe à gauche du schéma permet d'expliciter les résultats du choix, notamment les objectifs retenus et ceux qui ne l'ont pas été.

Encadré 3 : Diagramme des décisions de l'élaboration de la stratégie de la commission en Tanzanie 2000-2007

Etape 5 : tester le diagramme provisoire

Les choix opérés et leur explication doivent être testés auprès des acteurs principaux de l'élaboration stratégique et de la programmation, dont idéalement les services de la Commission (Siège et Délégation), les représentants des autres parties prenantes (États Membres, ONG, etc.), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires.

Etape 6 : établir le diagramme définitif

Il peut arriver que le test débouche sur une remise en cause d'une partie du diagramme provisoire, notamment lorsque les justifications apportées ne sont majoritairement pas considérées comme traduisant la réalité de la démarche d'élaboration stratégique et de programmation.

Dans ce cas, un retraitement de l'information, voire une collecte complémentaire peut s'imposer. Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). Il est accompagné du tableau explicatif du traitement de l'information collectée.

Quelles sont les ressources nécessaires?

Encadré 4 - Les ressources nécessaires
En temps Collecte et préparation : 3 à 8 jours
Analyse : 3 à 8 jours
Tests : 3 à 10 jours
Humaines Connaissance des procédures d'élaboration des stratégies et programmes de la CE. Maîtrise convenable des outils informatiques. Rigueur logique, Expérience dans les domaines couverts par les stratégies et les programmes. Connaissance spécifique du pays, du secteur ou du thème concerné.
Financières Un budget de au moins 5 000 € est nécessaire.

Quels sont les avantages et les inconvénients de l'analyse multicritère?

Encadré 5 - Les avantages et les limites
Avantages La clarification de la stratégie

Le diagramme des décisions rend visible l'ensemble des options possibles dans l'établissement du système des objectifs et les incidences externes ayant conduit aux choix. Il facilite l'analyse de la stratégie, de sa cohérence interne et de sa pertinence au regard externe.

Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets. Il en est de même pour l'examen des 3C (Cohérence, Coordination, Complémentarité).

Limites Les limites majeures de l'utilisation de l'instrument sont de deux ordres :

  • disponibilité de l'information
  • incertitudes sur les causalités.

Les informations directes sur les facteurs intervenant dans le processus de formulation stratégique et de programmation sont parfois peu abondantes dans les documents officiels. Les documents non publics (études, notes, correspondances) sont en principe plus riches. Malheureusement ils peuvent être soit indisponibles soit d'accès malaisé.

Une interprétation est parfois nécessaire, avec les risques d'erreur qu'elle comporte notamment lorsque les choix peuvent trouver leur justification dans la conjonction de plusieurs causes.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QUEST CE QUE LE DIAGRAMME DES DECISIONS?

.

Que représente le diagramme des décisions?

Définition générale

Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux exprimés par les plus hautes instances de l'Union Européenne en matière de coopération avec les pays tiers en général sont traduits en décisions de coopération bilatérale à moyen terme et à court terme.

Il présente l'enchaînement des décisions, formelles ou informelles, qui conduisent à la programmation de l'aide.

Les facteurs de décision

Les facteurs de décision sont a priori de deux types :

  • des facteurs internes au processus, chaque objectif retenu justifiant les objectifs de rang inférieur,
  • des facteurs externes influant sur le choix.

Ces facteurs externes interviennent dans la prise de décision sous forme de flux d'informations en provenance soit des institutions de l'Union Européenne, soit d'autres provenances (conjoncture stratégique, situation du pays concerné, politique gouvernementale, position des états membres et des autres donneurs, etc.). Ils sont dénommés ressources.

D'où vient le diagramme des décisions?

Différents domaines d'utilisation

La prise de décision est un thème important de la théorie du management. Divers outils ont été proposés dans la définition des politiques publiques (dans le domaine de la défense notamment), dans la décision médicale et les décisions d'entreprise. Ils prescrivent en général une succession de choix pour des solutions alternatives. Ils sont donc complétés par des outils de rationalisation des choix (par exemple, l'analyse coût-efficacité).

L'utilisation d'outils de ce type dans l'analyse rétrospective d'un processus de prise de décision stratégique a été proposée, sauf erreur, pour la première fois sous une forme simplifiée dans l'évaluation de la stratégie de coopération de la Commission Européenne avec l'Égypte, sans qu'il ait été cependant effectivement utilisé dans la conduite de cette évaluation.

Les raisons de son utilisation

En management, il vise à rationaliser le processus de décision, à le rendre plus efficace compte tenu des problèmes à résoudre et des objectifs à atteindre. Il répond à la question suivante :

Quels éléments doivent être pris en compte pour parvenir à la décision opérationnelle
la plus pertinente, au regard des objectifs recherchés et des moyens mobilisables ?

Cet outil peut prendre appui sur l'un des nombreux logiciels (Outils informatiques) offrant de guider le preneur de décision dans la conduite du processus. Il est donc normatif et par nature simplificateur.

L'évaluateur, quant à lui, a besoin d'un outil pouvant décrire un processus complexe, à la rationalité parfois opaque et mettant en jeu des acteurs multiples aux finalités différentes. De tels processus sont guidés par la recherche du compromis plus que par celle de l'efficacité et n'obéissent le plus souvent à aucun modèle formalisé de rationalisation de la prise de décision.

Peut-on le combiner avec d'autres outils ?

Le diagramme des décisions se combine parfaitement avec le diagramme des objectifs et des effets (et donc, indirectement, avec celui des problèmes). C'est même pour pallier les insuffisances du diagramme des objectifs qu'il a été conçu, même s'il peut présenter une utilité par lui-même.

Sa construction peut s'appuyer sur une analyse SWOT et/ou sur une analyse culturelle et sociale dans lesquels on trouvera des informations de contexte relatif aux sociétés concernées par la stratégie.

Sous quelles formes se présente le diagramme des décisions ?

La forme en arête de poisson peut être utilisée pour transcrire les trois catégories majeures de constituants du processus de prise de décision. Ainsi, dans un diagramme théorique des décisions de la Commission Européenne en matière d'aide aux pays tiers seront représentés :

  • dans l'axe du diagramme (colonne centrale), la chaîne des décisions de planification, qui va des orientations les plus générales aux décisions les plus concrètes, en passant par les décisions stratégiques et politiques à moyen terme et les décisions opérationnelles,
  • dans la partie gauche, les flux de ressources provenant des instances de l'Union Européenne (Conseil, Parlement, Commission), telles que les décisions, les positions, les communications, les directives, les enseignements tirés de l'exécution de stratégies et les programmes antérieurs, revue des projets en cours ou en portefeuille, etc.,
  • dans la partie droite, les flux de ressources d'autres provenances, c'est-à-dire les informations se rapportant à des événements et tournants majeurs de la situation mondiale ou régionale, à l'évolution et besoins des partenaires et aux positions et interventions des autres donneurs.

Diagramme des décisions simplifié (en arête de poisson) 


Le diagramme permet ainsi de représenter rétrospectivement les étapes de la prise de décision et les principaux flux d'information d'origine externe intervenant dans la formulation de la décision stratégique ou politique.

.

POURQUOI ET QUAND LE DIAGRAMME DES DECISIONS PEUT-IL ÊTRE UTILISE?

.

Dans quel cas l'outil gagne-t-il à être utilisé?

Au stade de la conception des stratégies

Les stratégies d'intervention extérieure de la Commission Européenne sont conçues à l'issue d'un processus complexe intégrant aussi bien des éléments de contexte que des positions de parties prenantes.

Ce processus est généralement empirique et plutôt opaque. Tout effort de rationalisation et d'explicitation conduirait à des décisions (choix de priorités, adoption de programmes) mieux justifiées et aurait ainsi une influence positive sur l'appropriation des stratégies par les partenaires de la Commission Européenne (État bénéficiaire et États Membres en particulier).

Le recours à un outil de prise de décision tels que le diagramme des décisions permettrait d'organiser le processus de conception, notamment pour ce qui concerne la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier.

L'objet de cette méthode concerne toutefois l'utilisation de l'outil à des fins d'évaluation (dans la phase de structuration). Son utilisation au stade de la conception des stratégies exigerait une adaptation.

Au stade de l'évaluation des stratégies

La représentation des choix explicités

Les stratégies de coopération et les politiques d'intervention des donneurs nationaux ou multinationaux obéissent à des visées explicites ou implicites. Les documents qui les présentent exposent en général un ensemble d'objectifs plus ou moins hiérarchisés (voir la forme complexe du diagramme des objectifs), parmi lesquels peuvent être distingués un ou (plus rarement) plusieurs objectifs globaux, des objectifs opérationnels relatifs aux projets concrets d'aide et un ensemble d'objectifs intermédiaires situés à divers niveaux.

Ainsi, les constituants opérationnels d'un programme (projets envisagées et/ou engagés) trouvent leur justification dans le système des objectifs que présentent les documents stratégiques ou politiques dont ils relèvent.

Dans un diagramme des objectifs, le choix de l'objectif global, sa décomposition en un certain nombre d'objectifs intermédiaires et ainsi de suite jusqu'aux objectifs opérationnels, procèdent en effet de choix souvent non explicités.

Sauf à supposer des décisions purement arbitraires, les choix faits par les auteurs des documents de stratégie et de programmation prennent en compte notamment :

  • les recommandations des instances dirigeantes de l'Union Européenne (Conseil, Parlement, Commission),
  • l'analyse de faits extérieurs (évènements majeurs, situation du pays),
  • l'intervention d'acteurs extérieurs (gouvernement partenaire, États Membres ou autres donneurs),
  • les enseignements de programmes ou projets antérieurs.

C'est précisément l'incidence de tels flux d'information sur les choix successifs et donc sur l'élimination d'options alternatives qui est décrite dans le diagramme des décisions. Chacune des boites de la colonne centrale du diagramme représente en effet les choix opérés (objectifs retenus, objectifs non retenus), alors que les boites latérales représentent les flux de ressources qui sont les justifications externes de ces choix.

Deux séquences de décision à portée: l'une stratégique, l'autre opérationnelle

Les documents de stratégie sont désormais établis pour chaque période budgétaire de sept ans. Les informations qui les affectent concernent des événements, orientations ou changements à l'impact profond et durable, mondial (par exemple, les attentats du 11 septembre 2001) ou régional (le déclenchement de la deuxième Intifada en 2000, ou l'invasion militaire de l'Irak en 2003). Si de tels évènements surviennent au cours de la période stratégique, ils peuvent justifier une révision du document stratégique (à l'issue de la révision à mi-parcours, notamment). En règle générale, ces documents restent inchangés jusqu'au terme des périodes pour lesquels ils ont été conçus.

Les programmes sont parfois de plus courte durée (deux à trois ans). Ils peuvent être affectés par des changements substantiels dans les orientations politiques du gouvernement partenaire, par des catastrophes affectant sensiblement la situation du pays (typhon, sécheresse), par la signature d'accords d'association ou de coopération, par des changements de politique des donneurs majeurs, etc. Leur révision ou l'élaboration de nouveaux programmes marquant une réorientation sensible sont des actes habituels de l'activité de programmation en cours de période budgétaire.

Tout en conservant une présentation résumée de l'ensemble du processus de prise de décision (représenté par un diagramme résumé), il est donc logique, à des fins d'évaluation, de scinder en deux le diagramme théorique (diagramme des décisions simplifié).

Il en résultera d'une part un diagramme des décisions stratégiques et d'autre part un diagramme des décisions opérationnelles.

Diagramme simplifié des décisions stratégiques


Diagramme simplifié des décisions opérationnelles


Une telle scission présente en outre l'intérêt secondaire de limiter le nombre de boites de chacun des diagrammes et d'améliorer ainsi leur lisibilité.

L'évaluation du processus de décision

L'élaboration des documents de stratégie et de programmation est en principe partenariale. Ces documents sont négociés avec les gouvernements partenaires dans la région ACP.

Dans les autres zones géographiques, seuls les programmes font l'objet d'un accord entre les deux partenaires, tandis que les stratégies sont l'occasion d'une communication pour information.

Avec les États Membres, la consultation de tous les documents de stratégie et de programmation est obligatoire pour tous les pays. L'expérience montre que l'approche partenariale se traduit diversement et revêt parfois un aspect assez formel.

Il est donc concevable que la Commission souhaite un examen approfondi du processus de décision, soit comme partie d'une évaluation pays, soit comme évaluation thématique en soi. Dans les deux cas, le diagramme des décisions devrait se révéler un outil très intéressant.

Quels sont ses avantages et ses limites?

Quels sont ses avantages ?

Une clarification de la stratégie

Le diagramme des décisions rend visible :

  • l'ensemble des options possibles dans l'établissement du système des objectifs (objectif global, objectifs intermédiaires retenus et écartés, etc.)
  • les incidences externes ayant conduit aux choix.

Complétant ainsi le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Une visualisation des interventions des principaux partenaires et de
l'examen des 3 C

Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets.

Il en est de même pour l'examen des 3C (Cohérence, Coordination, Complémentarité).

Quelles sont ses limites ?

Les limites majeures de l'utilisation de l'instrument sont de deux ordres :

  • disponibilité de l'information (étape 3),
  • incertitudes sur les causalités.
Information de base

Les informations directes sur les facteurs intervenant dans le processus de formulation stratégique et de programmation sont parfois peu abondantes dans les documents officiels présentant stratégies et programmes. D'autres documents publics, tels que les évaluations, peuvent fournir des indications, mais leur apport reste limité. Les documents non publics (études, notes, correspondances) sont en principe plus riches. Malheureusement ils peuvent être soit indisponibles soit d'accès malaisé.

Les informations orales sont sujettes aux mêmes limites de disponibilité et d'accessibilité des informateurs.

Interprétation causale

Même lorsque des éléments potentiellement explicatifs sont fournis (intervention des autres donneurs, priorités du gouvernement, par exemple), les relations de causalité ne sont pas toujours explicites. Une interprétation est parfois nécessaire, avec les risques d'erreur qu'elle comporte notamment lorsque les choix peuvent trouver leur justification dans la conjonction de plusieurs causes.

Quelles sont les conditions de faisabilité?

L'usage du diagramme des décisions est soumis à trois importantes conditions.

L'existence d'un diagramme d'objectifs

L'existence d'un diagramme d'objectifs dans les documents de stratégie ou de programmes est une condition préalable à la construction du diagramme des décisions. Si tel n'est pas le cas, l'évaluateur devra construire un diagramme d'objectifs.

L'existence et la pertinence des informations

La disponibilité et la mise à disposition d'informations (étape3) écrites ou orales fiables, c'est-à-dire abondantes et vérifiables, sont également une condition nécessaire.

Une collaboration étroite avec les services de la Commission Européenne

Une collaboration confiante entre les évaluateurs et les services de la Commission Européenne (Services compétents des DG Développement et Relations extérieures, Délégations) garantit l'accès à l'information et son interprétation.

.

QUELLES SONT LES ETAPES DE CONSTRUCTION D'UN DIAGRAMME DES DECISIONS?

.

Après avoir réunit toutes les conditions de faisabilité, la démarche d'élaboration d'un diagramme des décisions à des fins d'évaluation repose sur deux piliers :

  • l'identification des moments de décision (choix des objectifs),
  • le repérage, la collecte et le traitement des informations correspondantes.

Dans la mesure où les informations utiles ne sont pas contenues dans un ou plusieurs documents identifiables, la démarche ne peut pas partir du rassemblement de documents. Elle doit reposer sur une définition préalable du type de document où l'on cherchera l'information.

L'identification des objectifs aux différents niveaux (global, intermédiaire et opérationnel) renvoie à des choix, lesquels peuvent se traduire en questions : pourquoi tel objectif ? pourquoi pas tel autre ?

C'est donc la formulation des questions qui oriente la quête d'informations susceptibles d'apporter des réponses. La pertinence de ces réponses fait l'objet d'une vérification, qui peut conduire à la recherche de nouvelles informations (écrites ou orales), voire à la reformulation des questions, notamment sur les objectifs non retenus.

Etape 1: identifier les moments de décision.

Principe général

Le diagramme des décisions (existant ou à construire) identifie les moments où, explicitement ou implicitement, ont été opérés les choix des objectifs.

Mais tandis que le diagramme des objectifs permet d'évaluer la cohérence interne du système des objectifs, le diagramme des décisions représente pour chacun des moments de choix les facteurs externes qui conduisent à retenir tels objectifs plutôt que tels autres.

Identification des moments de choix des objectifs

Dans la plupart des cas, l'établissement du diagramme des décisions fait suite à la construction du diagramme des objectifs. Si tel n'est pas le cas, il convient de procéder tout d'abord à cette construction en utilisant l'outil conçu à cet effet.

Le diagramme des objectifs est l'outil de base pour identifier les moments de choix. Hormis le moment de définition de l'objectif global, les autres moments de choix se situent à chacun des embranchements du diagramme. Dans le diagramme des objectifs par exemple, trois embranchements sont ainsi représentés. C'est là précisément que se pose la question suivante:

Pourquoi ces objectifs ont-ils été retenus ? Et pourquoi pas d'autres ?

Les choix que mérite d'interroger le diagramme des décisions sont :

  • le choix initial de l'objectif global,
  • les choix ultérieurs des objectifs intermédiaires et opérationnels.

On ne doit pas se cacher toutefois que l'exercice de planification est à la fois stratégique (mise en place des meilleurs moyens pour atteindre les objectifs de différent niveau) et empirique (utilisation des moyens connus justifiable par la poursuite de certains objectifs). Quelle que soit la démarche, elle implique des choix que le diagramme des objectifs permet d'identifier.

Il est recommandé de doter chacun des moments d'un code d'identification (qui peut inclure une indication chronologique) permettant de faciliter son report dans les tableaux d'analyse (voir l'étape 3).

Etape 2: formuler les questions

Identification des objectifs non retenus

Les questions concernent la justification du choix des objectifs. Elles gagnent à être précises grâce à l'identification des objectifs non retenus. Comment les identifier ? Pour chacun des moments de choix, quatre possibilités peuvent se présenter :

  • Les documents de stratégie et de programmation explicitent les objectifs non retenus et fournissent alors les raisons qui ont conduit à les écarter.
  • Les documents de travail (versions provisoires, notes et correspondances diverses) permettent de les repérer et parfois justifient les choix qui ont été faits (ce qui est en principe toujours le cas s'agissant des réactions des États Membres et des réponses qu'elles entraînent).
  • Aucun des documents disponibles n'explicite les choix opérés, mais les entretiens avec les responsables impliqués dans ces choix apportent des éclairages pertinents.
  • Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits.

Dans les trois premier cas, les évaluateurs retiendront en première hypothèse les informations fournies sur les objectifs envisagés et non retenus, ainsi que les raisons pour lesquelles ils n'ont pas été retenus.

Dans le dernier cas, il conviendra d'identifier les objectifs théoriquement envisageables par recours à la compétence propre à l'équipe d'évaluation ou à l'expertise externe. Les propositions ainsi faites pourront s'appuyer notamment :

  • sur les informations et analyses présentées dans les documents disponibles (par exemple sur la situation du pays partenaire ou sur les engagements des autres donneurs),
  • sur le cas de pays relativement analogues.

Formulation des questions

Dans tous les cas, le résultat sera la question suivante :

Pourquoi tel objectif possible n'a pas été retenu ?

Chacun des moments de choix peut justifier plusieurs questions de ce type.

Etape 3: la collecte des informations utiles

Préalablement à la construction du diagramme, une appréciation des sources d'information doit être opérée par les responsables de l'évaluation ou à défaut par l'équipe d'évaluation. Si elle révèle la pauvreté ou la faible fiabilité de ces sources, il est recommandé de renoncer.

Quelles sont les informations utiles ?

Les informations utiles, écrites ou orales, ne peuvent faire l'objet d'une identification ni limitative ni exhaustive. Une identification valable pour tous les types d'évaluation ne peut être que générale.

Informations écrites

D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents :

  • le document stratégique et le programme peuvent apporter des informations sur les enseignements des réalisations passées, le contexte politique, économique, social, l'intervention des États Membres et des principaux autres donneurs,
  • tout document préparatoire (comptes rendus de réunions, notes de fin de missions préparatoires, correspondances et notes internes ou entre services) peuvent éclairer le choix des priorités,
  • les évaluations pays, thématiques ou sectorielles, ainsi que les évaluations de projets peuvent rendre compte d'expériences porteuses d'enseignements,
  • les documents plus généraux du Conseil et de la Commission (conclusions, recommandations, rapports), ainsi que les traités et accords présentent souvent des éléments de situation, des enseignements et des priorités que les auteurs des stratégies et programmes ont forcément en tête.
Informations orales

En outre, s'ils sont accessibles, les auteurs et contributeurs des documents principaux (documents de stratégie et programmes) doivent pouvoir fournir des explications sur les choix opérés.

Quelles sont les informations spécifiques à l'évaluation pays ?

Pour les raisons formulées ci-dessus, les informations utiles ne peuvent faire l'objet d'une identification ni limitative ni exhaustive. 

Informations écrites

La liste suivante est indicative tant par la nature des documents utilisables que par le type d'information qu'ils contiennent :

  • La version définitive du document stratégique pays donne les priorités et la programmation définitive ; elle explicite parfois les enseignements des réalisations passées, les problèmes économiques et sociaux du pays et les priorités du gouvernement partenaire ; elle contient presque systématiquement les engagements de coopération des États Membres et des principaux autres donneurs. Les versions successives de ce document peuvent présenter les priorités et la programmation envisagées et finalement non retenues.
  • Les comptes-rendus de réunions et notes de fin de missions préparatoires peuvent fournir des justifications aux choix de priorité et de programmation.
  • Les correspondances et notes internes ou entre services, produites au cours de l'élaboration des documents, peuvent fournir des précisions et explications sur les choix de priorité et de programmation.
  • Les documents relatant les réactions des États Membres aux projets sur les choix opérés et leurs demandes d'explications montrent les types de questionnements qu'ils se posent.
  • La réponse de la Commission aux États Membres, obligatoire, présente les justifications correspondant aux choix contestés.
  • Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales.
  • Les évaluations thématiques ou sectorielles, ainsi que les évaluations de projets peuvent exposer des enseignements et recommandations justifiant les choix ultérieurs.
  • Les révisions à mi-parcours sont censées réexaminer les analyses sur lesquels ont été fondés les choix de priorités et la programmation.
  • Les accords bilatéraux ou multilatéraux particuliers (de coopération, d'association) et les comptes-rendus des organes communs de suivi précisent les orientations communes ou particulières des deux partenaires.

L'existence de la plupart de ces documents est avérée pour les stratégies établies postérieurement à 2001. Pour les périodes antérieures, cette existence est plus problématique. Même avec une relation de confiance entre les évaluateurs et les services de la Commission, l'accessibilité des documents est loin d'être assurée. 

Informations orales

A défaut ou en complément des informations écrites, les auteurs et contributeurs des documents principaux (documents de stratégie et programmes), ainsi que les responsables du choix des projets effectivement engagés, peuvent être des informateurs extrêmement précieux. Cela suppose qu'ils soient accessibles ou qu'ils aient quelque ancienneté dans le poste qu'ils occupent au siège (DG Développement et Relations extérieures, EuropeAid) ou en Délégation.

Comment collecter les informations utiles ?

Collecte de l'information écrite

Elle sera avant tout cherchée auprès des services de la Commission, à savoir les unités géographiques compétentes (pays et région) des DG Relations extérieures et Développement, ainsi que la Délégation de la Commission Européenne dans le pays concerné. 

Collecte de l'information orale

Ce sont les responsables des mêmes services qui sont les principaux interlocuteurs. Le cas échéant, la recherche pourra aussi inclure d'anciens responsables s'ils sont faciles à rencontrer ou à contacter.

Les informations sont-elles suffisantes ?

Si aucun inventaire des sources d'information n'a été opérée par les responsables de l'évaluation, c'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité de ces sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Ce jugement fortement étayé sera porté à la connaissance des responsables de l'évaluation, qui statueront.

Etape 4: établir le diagramme provisoire

Premier traitement de l'information

Sur la base du diagramme des objectifs, une première sélection des informations pertinentes est opérée. Elle passe par :

  • L'établissement d'un ou plusieurs chronogrammes qui décrivent la succession des évènements et/ou informations intervenant dans le processus d'élaboration de la stratégie et du programme ;
  • La sélection dans les documents collectées de textes relatifs au choix des objectifs et des modalités d'aide prévues ou aux facteurs influençant ces choix ;
  • Le classement et l'indexation des textes.

L'analyse des textes peut conduire soit à une sélection complémentaire d'information dans les documents déjà collectés, soit à la recherche de nouveaux documents (démarche aux résultats incertains).

Formulation des explications

Sur la base des informations recueillies seront formulées des réponses provisoires aux questions. Il ne peut être exclu que certaines questions demeurent sans réponse.

Les résultats du traitement de l'information pourront être reportés sur un tableau des questions, qui pourra prendre la forme suivante:

Tableau A : résultats du traitement de l'information collectée

Moment
(code)
Question
(formulation du choix)
Réponse
(justification du choix)
Identification du texte source
       
       
       

Dans ce tableau A, les colonnes collectent les données suivantes :

  • Moment du choix: il y a un avantage à l'identifier par un code rendant compte de l'enchaînement des choix et de la place des moments successifs dans cet enchaînement. Ce code peut être la date du choix.
  • Question relative à la justification du choix: à chaque moment correspondent en général plusieurs questions sur les objectifs retenus et non retenus.
  • Réponse aux questions: permet d'apporter la justification des choix opérés par les stratégies et programmes.
  • Identification des textes sources : se réfère aux textes précédemment sélectionnés et indexés.

Établissement d'un diagramme provisoire

Le diagramme des objectifs sert de base à la chaîne des décisions. Il identifie quatre (parfois cinq) moments de choix concernant :

  • l'objectif global,
  • les objectifs intermédiaires de premier rang,
  • les objectifs intermédiaires de second rang,
  • les objectifs opérationnels.

Bien souvent, cependant, l'élaboration des stratégies et programmes n'est pas strictement et exclusivement guidée par une telle logique et intègre en fait une bonne dose d'empirisme. Les auteurs partent, explicitement ou implicitement, d'un objectif global. Ils examinent ensuite par quels moyens concrets à sa disposition la Commission européenne peut poursuivre cet objectif. La succession des choix se ramène alors à deux moments :

  • choix de l'objectif global,
  • choix des domaines et modalités d'intervention.

Précédant chacun de ces moments sont placés de part et d'autre de la chaîne des décisions les flux de ressources identifiés par traitement de l'information écrite et orale collectée.

Une loupe à gauche du schéma permet d'expliciter les résultats du choix :

  • objectifs retenus,
  • objectifs non retenus.

Le diagramme d'ensemble en arête de poisson est ainsi complété de diagrammes détaillés correspondant à chacun des moments de choix.

Représentation des moments de choix : cas des objectifs intermédiaires de premier rang


Etape 5: tester le diagramme provisoire

Les choix opérés et leur explication doivent être testés auprès des acteurs principaux de l'élaboration stratégique et de la programmation, dont idéalement les services de la Commission (Siège et Délégation), les représentants des autres parties prenantes (États Membres, ONG, etc.), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires.

Les observations des responsables consultés peuvent être consignées dans le tableau suivant :

Tableau B : résultats du test du diagramme provisoire

Moment
(code)
Choix opéré selon le diagramme provisoire Justification selon le diagramme provisoire Observations des responsables consultés
       
       
       

Dans ce tableau B, les colonnes collectent les données suivantes :

  • Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A, colonne 1).
  • Choix opéré selon le diagramme provisoire: à savoir l'identification des objectifs retenus et des objectifs non retenus, qui ont fait l'objet des questions présentées dans la colonne 2 du tableau A.
  • Justification selon le diagramme provisoire: telle qu'elle, il résulte des réponses aux questions apportant la justification des choix opérés par les stratégies et programmes (colonne 3 du tableau A).
  • Observations des responsables consultés : c'est-à-dire approuvant avec ou sans réserves, ou rejetant les choix opérés et leur justification.

Etape 6: établir le diagramme définitif

Si les observations des responsables consultés sont mineures, le diagramme provisoire est amendé pour faire place à leurs observations. Il en résulte un diagramme définitif.

Il peut arriver que le test débouche sur une remise en cause d'une partie du diagramme provisoire, notamment lorsque les justifications apportées ne sont majoritairement pas considérées comme traduisant la réalité de la démarche d'élaboration stratégique et de programmation.

Dans ce cas, un retraitement de l'information, voire une collecte complémentaire pourraient s'imposer. Les évaluateurs et les gestionnaires de l'évaluation devront apprécier la nécessité de construire un nouveau diagramme provisoire et de le tester. Il se peut en effet que les observations recueillies lors du test effectué soient suffisamment précises pour qu'un nouveau test puisse être évité et que le diagramme définitif puisse être établi.

Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). Il est accompagné du tableau explicatif du traitement de l'information collectée.

.

COMMENT UTILISER LE DIAGRAMME DES DECISIONS?

.

Combien de diagrammes faut-il établir?

Diagramme des décisions stratégiques

On doit en principe construire autant de diagrammes que de documents stratégiques produits au cours de la période d'évaluation.

Il se peut néanmoins que les évaluateurs et les gestionnaires de l'évaluation s'accordent sur le fait que l'ancienneté des premiers documents ne garantisse pas la disponibilité des documents et informateurs à même de permettre la construction d'un diagramme des décisions. Dans ce cas, seul le dernier document ferait l'objet d'un tel diagramme.

Il est à recommander quoi qu'il en soit que les révisions stratégiques éventuellement consécutives à une révision à mi-parcours fassent l'objet d'un diagramme des décisions.

Diagramme des décisions opérationnelles

Un diagramme de ce type doit normalement être établi pour chacun des programmes d'aide.

Or, un document de stratégie peut correspondre à plusieurs programmes. Une période d'évaluation d'une dizaine d'années peut donc comprendre quatre ou cinq programmes.

La construction d'un aussi grand nombre de diagrammes représente cependant une charge de travail et un coût élevés avec des résultats aléatoires du fait des incertitudes sur la disponibilité des informations (documents et informateurs). Les évaluateurs et responsables de l'évaluation peuvent estimer raisonnable de s'en tenir aux programmes correspondant au dernier document de stratégie.

Comment utiliser le diagramme des décisions?

Considérations générales pour l'évaluation pays

L'ensemble des analyses et propositions faites dans cet outil concernant l'utilisation du diagramme des décisions s'appliquent pleinement au cas des évaluations pays. Elles sont d'ailleurs basées sur l'expérience de ce type d'évaluations.

La construction d'un diagramme des décisions devrait s'imposer chaque fois que l'évaluation vise à vérifier dans quelle mesure les objectifs poursuivis étaient pertinents au regard des finalités de l'Union Européenne, de la situation du pays et du contexte plus général.

L'expérience montre en effet, hors cas extrêmes, que les objectifs et les interventions présentent une cohérence convenable, sans pour autant que l'opportunité des choix puisse être démontrée de manière irréfutable. C'est précisément cette insuffisance des évaluations que prétend surmonter le diagramme des décisions.

L'utilisation du diagramme des décisions dans les évaluations thématiques et sectorielles paraît envisageable, mais reste sujette à vérification et, sans doute à adaptation.

Évaluation de la pertinence de la stratégie et de la programmation

Les explications et justifications des choix recueillies dans les documents et auprès des informateurs compétents méritent d'être évaluées.

Il est suggéré que dans un premier temps, sur la base des compétences des informateurs ou par recours à l'expertise externe, les évaluateurs émettent alors un jugement sur la pertinence des explications recueillies pour chacun des choix. Le jugement considère dans quelle mesure le rejet de tel objectif apparaît justifié.

La justification du choix de l'objectif global (par rejet d'autres objectifs globaux possibles) sera examinée au regard des finalités stratégiques formulées par les institutions de l'Union Européenne (Conseil, Parlement, Commission). La justification des autres objectifs sera vue au regard d'une part de l'objectif global ou de ceux qui en découlent, d'autre part des intrants de la chaîne de décisions.

Évaluation du partenariat

Le partenariat avec les autorités du pays tiers et les représentants des États Membres peut être évalué en considérant certains des flux d'intrants.

Il est ainsi possible d'émettre un jugement sur la prise en compte dans le processus de décision stratégique et programmatique des facteurs suivants :

  • stratégies, programmes et engagements des États Membres,
  • positions des Etats membres sur l'intervention de la Commission Européenne,
  • priorités et engagements du gouvernement partenaire,
  • souhaits du gouvernement partenaire relatifs à l'intervention de la Commission Européenne.

Évaluation des 3C

De la même manière peuvent être analysées :

  • la cohérence de la stratégie d'aide avec les autres politiques de l'Union Européenne (migrations, commerce, agriculture, etc.),
  • la coordination entre la politique de coopération de la Commission et celle des États Membres,
  • la complémentarité de la programmation de la Commission avec celle des autres donneurs (y compris la BEI).

Outils complémentaires

Ces outils peuvent être utilisés lorsque les facteurs de décision ne sont pas explicités dans les documents collectés ou lorsque leur interprétation prête à hésitation.

En règle générale ils sont réservés aux évaluations dont les termes de référence incluent explicitement l'analyse de la prise de décision (cas des évaluations thématiques sur les processus de prise de décision en particulier).

Les évaluateurs exposent leur jugements successifs dans une série de tableaux constituant des outils complémentaires du diagramme.

Validation du diagramme par les responsables consultés lors du test

Tableau C : évaluation proposée de choix d'objectifs

Moment (code) Choix opéré selon le diagramme définitif Justification selon le diagramme définitif Observations des responsables consultés Jugement porté
         
         
         

Dans ce tableau C, les colonnes collectent les données suivantes :

  • Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A, (étape 4) (colonne 1).
  • Choix opéré selon le diagramme définitif : à savoir identification des objectifs retenus et des objectifs non retenus.
  • Justification selon le diagramme définitif : prenant en compte les résultats du test tels que consignés dans le tableau B (étape 5) (colonne 4).
  • Observations des responsables consultés : c'est-à-dire approuvant avec ou sans réserves, ou rejetant les choix opérés et leur justification.
  • Jugement porté par les évaluateurs : c'est-à-dire prenant à leur compte avec ou sans réserves, ou rejetant les observations des responsables consultés.
Validation du diagramme par un panel d'officiels de la Commission et d'experts indépendants

Cette évaluation pourrait être ensuite soumise à un panel composé de représentants des services de la Commission (unité géographique, délégation) et d'experts indépendants et reconnus. Les résultats seraient alors consignés dans un tableau tel que :

Tableau D : évaluation définitive des choix d'objectifs

Moment (code) Choix opéré selon le diagramme définitif Opinions favorables sur le diagramme définitif Opinions défavorables sur le diagramme définitif Jugement des évaluateurs
         
         
         

Dans ce tableau D, les colonnes collectent les données suivantes :

  • Moment du choix : identifié sa place dans l'enchaînement des choix (code identique à celui du tableau A (étape 4), colonne 1).
  • Choix opéré selon le diagramme définitif : à savoir identification des objectifs retenus et des objectifs non retenus (colonne 2 du tableau C).
  • Opinions favorables : concernant le diagramme définitif par les membres du panel.
  • Opinions défavorables sur le diagramme définitif : par les membres du panel.
  • Jugement des évaluateurs : c'est-à-dire retenant (en totalité ou partiellement) ou rejetant les opinions des membres du panel.

Comment restituer les résultats?

Documents intermédiaires

Les documents intermédiaires sont adressés aux gestionnaires et au groupe de référence de l'évaluation. Ils doivent présenter dans le détail les graphes et les tableaux.

Rapport final

Le rapport final est destiné à un large public, en général davantage intéressé par les résultats que par la méthode de l'évaluation.

Il est conseillé de regrouper dans une annexe les graphes et les tableaux d'analyse et de présenter dans le rapport principal une synthèse des résultats sous les trois rubriques ci-dessous :

  • pertinence des choix stratégiques et programmatiques,
  • pratique du partenariat avec les États Membres et le Gouvernement bénéficiaire,
  • cohérence, coordination, complémentarité (les 3 C).

Un diagramme simplifié des décisions stratégiques et opérationnelles peut toutefois être utilement inclus dans le rapport principal.

Restitutions

Le diagramme simplifié mérite en outre d'être projeté lors des présentations des résultats de l'évaluation.

Quels sont les moyens nécessaires pour reconstituer le diagramme des décisions?

Les ressources humaines et en temps de travail

Capacité de travail pour la réalisation d'un diagramme des décisions (cas général)


Déplacements

Jusqu'à présent, les documents stratégiques ont été établis sous la responsabilité des Directions Générales de la Commission (Relations extérieures ou Développement). Ces derniers jouent également un rôle essentiel dans la programmation.

Quant à EuropeAid, il continue à être très actif dans la conception des projets.

Il en résulte que la grande majorité des documents utiles (la totalité des documents de base) sont disponibles à Bruxelles. Cette situation a récemment évolué et les Délégations sont intervenues dans l'élaboration des documents les plus récents et devraient voir leurs responsabilités s'accroître.

En outre, les responsables des pays ACP bénéficiaires de l'aide sont en théorie partie prenantes de l'élaboration des stratégies et programmes dont ils sont co-signataires.

Outils informatiques

Des logiciels existent pour l'aide à la prise de décision. À première vue leur pertinence pour l'évaluation n'est pas évidente. Mieux vaut s'en tenir aux logiciels généralistes tels que PowerPoint ou Excel.

.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

  • Carluer F. et Richard A., " Analyse stratégique de la décision ", 2002.
  • Cox et Jacobson, " The anatomy of influence : decision making in international organization", 1973.
  • Muller P. et Y. Surel. " L'analyse des politiques publiques ", 1998.
  • Muller P. et Y. Surel (eds), " Les approches cognitives des politiques publiques ", Revue française de science politique, avril 2000.
  • Simon H. A., " Administration et processus de décision ", 1983.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 

Un inventaire de la nature et de la qualité des informations préalables a-t-il été fait par les responsables de l'évaluation ?

 

À défaut, l'équipe d'évaluation a-t-elle procédé à un tel inventaire, soumis aux responsables de l'évaluation et validé par eux ?

 
Construction de l'outil
 

Les choix qui ont guidé le choix des objectifs ont-ils été clairement identifiés ?

 

L'enchaînement des choix a-t-il été incontestablement établie ?

 

La documentation disponible fournit-elle des indications sur les objectifs non retenus et les raisons qui ont conduit à les écarter ?

 

Les entretiens avec les auteurs des documents permettent-ils de pallier toutes les déficiences de la documentation écrite ?

 

Les questions relatives aux choix effectués dérivent-elles logiquement de l'identification des objectifs retenus et non retenus ?

 

Le diagramme provisoire présente-t-il de manière explicite les résultats des choix (objectifs retenus, objectifs non retenus) ?

 

Le test du diagramme provisoire a-t-il été opéré auprès des acteurs principaux (auteurs, opérateurs, partenaires) ?

 

Les résultats du test ont-ils été pris en compte impartialement dans l'élaboration du diagramme définitif ?

 

Le diagramme a-t-il servi à juger dans les règles de l'art la pertinence de la stratégie et de la programmation, la qualité du partenariat, les 3C, etc. ?

 

Le jugement exprimé a-t-il été soumis pour validation à un panel d'officiels de la Commission et d'experts indépendants ? Les conclusions du panel sont-elles fidèlement prises en compte ?

 

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Le diagramme traduit-il l'ensemble du système des objectifs et présente-t-il de manière explicite les raisons des choix effectués ?

 

Le test du diagramme provisoire a-t-il été opéré auprès des acteurs principaux (auteurs, opérateurs, partenaires) ?

 

Le diagramme permet-il de juger la pertinence de la stratégie et de la programmation, la qualité du partenariat, les 3C, etc. ?

 

Le jugement a-t-il été soumis pour validation à un panel d'officiels de la Commission et d'experts indépendants ? Les conclusions du panel sont-elles fidèlement prises en compte ?

 

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel

Entretien individuel

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

L'entretien individuel est une technique de recueil de l'information qui se déroule dans une relation de face-à-face entre l'évaluateur et la personne enquêtée. C'est un outil simple et rapide d'utilisation, dont les ressources nécessaires à sa réalisation restent abordables. Ceci en fait un outil incontournable en évaluation.

Encadré 1 : L'entretien individuel dans l'évaluation

Quels usages peut-on faire de l'entretien individuel ?

L'entretien individuel permet de recueillir différents types d'informations en évaluation :

  • Des faits et des vérifications de faits
  • Des opinions et des points de vue
  • Des analyses
  • Des propositions
  • Des réactions aux premières hypothèses et conclusions des évaluateurs

L'entretien individuel permet de collecter des informations quantitatives mais surtout qualitatives. Il est nécessaire de clairement distinguer les informations, qui sont des faits vérifiables, des points de vue, analyses et opinions.

L'entretien individuel peut être conduit de 3 manières différentes :

Entretien non directif

La personne interrogée s'exprime librement sur des questions dont le champ est assez large. Elle peut aborder des sujets que l'évaluateur n'a pas prévu. Celui-ci n'intervient que pour faciliter l'expression de la personne interrogée ou pour l'amener à approfondir certaines questions.

Ces entretiens conviennent particulièrement en début d'évaluation, à un niveau très global pour " défricher " le sujet.

Entretien semi-directif

Ce type d'entretien est centré sur le recueil de l'expression des acteurs par rapport à une trame générale souple, construite à partir du questionnement de l'évaluation - le guide d'entretien. Le guide peut être complété par des questions visant à éclairer ou préciser les réponses faites par la personne interrogée.

C'est la forme la plus employée en évaluation, dès que l'évaluateur dispose d'une information suffisante sur les enjeux et les questions prioritaires à traiter au cours de l'évaluation.

Entretien directif

Le guide d'entretien est appliqué, ici, de façon stricte. L'évaluateur décline les questions les unes après les autres, sans laisser la possibilité à la personne interrogée de développer d'autres points. Lui-même s'abstient d'effectuer des relances ou de développer des questions non prévues dans la grille d'entretien. Les réponses à chaque question sont en général assez brèves.

Ce type d'entretien est utile lorsque l'on veut réaliser un grand nombre d'entretiens, et minimiser les risques de subjectivité de la part de l'enquêteur.

Les développements suivants concernent essentiellement la mise en œuvre des entretiens individuels sous leur forme semi-directive, car c'est la forme la plus courante en évaluation.

Comment mettre en oeuvre l'entretien individuel ?

Les étapes de préparation de l'entretien ?

Il s'agit dans un premier temps de formuler les questions à poser dans le cadre des entretiens.

La liste de questions permet d'identifier les catégories d'acteurs à interviewer. Les personnes à rencontrer susceptibles de fournir les informations recherchées seront choisies sur cette base. L'évaluateur doit identifier:

  • ceux qui auront été effectivement bénéficiaires de la politique mise en place,
  • ceux qui ont joué un rôle stratégique,
  • ceux qui ont été concerné par la mise en œuvre du programme,
  • ceux qui auraient pu être à l'origine de blocages ou d'effets non prévus (acteurs aux intérêts divergents, acteurs intervenant au cours du processus, groupes cibles de la politique ou du programme…).

Une fois les catégories d'acteurs définies, l'évaluateur peut planifier les entretiens, en essayant de trouver un équilibre entre une vision rationalisée et optimisée de son propre temps et une vision souple et humaine du temps de l'autre.

Les grilles de questionnement (questions stratégiques de l'évaluation) et les guides d'entretien (questions à poser au cours de l'entretien) qui en découlent varient en fonction des interlocuteurs, de leurs relations à l'objet étudié et du type d'entretien (non directif, directif, semi-directif)

La grille de questionnement est constituée de l'ensemble des thèmes et questions que l'on souhaite aborder dans l'entretien. Elle est l'interface entre la conceptualisation de l'étude et sa mise en œuvre.

Le guide d'entretien offre un cadre à l'entretien individuel, dont l'évaluateur peut s'affranchir, s'il en estime le besoin.

Les étapes de réalisation de l'entretien ?

Etape 1: Phase de démarrage et de mise en confiance
  • Connaître et respecter les us et coutumes
  • Prévoir les problèmes de langage
  • Présenter et expliquer les raisons de l'enquête
  • Exposer les règles du jeu : la durée prévue de l'entretien, l'enregistrement ou non des réponses, l'anonymat
Etape 2 :Phase d'ajustement entre le sujet et les réponses des personnes cibles
  • S'adapter au statut de l'interlocuteur et veiller aux spécificités des réponses
  • Etre flexible, tout en maîtrisant l'évolution de l'entretien
Etape 3 :Phase de suivi du guide d'entretien et d'approfondissement
  • Montrer de la réactivité (en utilisant la contradiction, la relance, …)
  • Faire des observations directes, y compris lorsqu'elles ne sont pas prévues par le guide d'entretien
Etape 6 :Phase de conclusion et post entretien
  • Garder la mémoire des informations : relire et remettre en forme rapidement les notes prises durant l'entretien et noter les éléments non verbalisés qui en ont marqué le déroulement
  • Préserver la confidentialité
  • Faire valider par la personne interrogée les comptes-rendus d'entretiens, si nécessaire

Quelles sont les ressources nécessaires?

Encadré 2 - Les ressources nécessaires
En temps La préparation de l'entretien n'exige pas une durée très longue.

Le nombre d'entretiens dans une journée est limité. L'expert peut être amené à interroger plusieurs personnes à la fois, à la demande de la personnes contactée initialement. Cette usage particulier de l'entretien permet d'augmenter les chances de recueillir l'information voulue.

Humaines Les entretiens doivent être réalisés par une personne :

  • maîtrisant la problématique,
  • les techniques d'entretien (capacité d'écoute et de relance, réactivité et esprit de synthèse, contrôle du déroulement de l'entretien)
  • dotée d'une bonne capacité à cerner les intentions de l'interviewé pour mieux s'ajuster
Financières Frais éventuels de déplacement.

Les coûts varient selon le nombre de personnes à rencontrer mais l'entretien ne suscite pas de coûts importants.

Quels sont les avantages et lmes limlites de l'outil ?

Encadré 3 - Les avantages et les limites
Avantages Rapide et simple d'utilisation.

Délais courts et faible coût.

Outil approprié pour rencontrer un nombre limité d'interlocuteurs incontournables en évaluation.

Outil indispensable pour développer les analyses et cerner les logiques d'action et les différentes représentations.

Limites Nombre limité de personnes que l'on peut rencontrer à coût raisonnable.

Problème de la représentativité des interlocuteurs, notamment des groupes sociaux et de bénéficiaires.

L'information doit être vérifiée et l'outil doit être souvent combiné avec d'autres outils d'analyse de contenu.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel > Outil détaillé

Outil détaillé

.

Structure de la section:

.

POURQUOI ET QUAND?

.

Quels sont ses objectifs et ses modalités d'utilisation?

A quoi sert-il ?

L'entretien individuel est incontournable en évaluation.
Cet outil permet d'effectuer une collecte d'informations, de récolter des points de vue et de les analyser, à toutes les étapes de l'évaluation.
L'entretien individuel correspond à une situation de face à face entre l'évaluateur et la personne enquêtée.

D'où vient-il ?

Les disciplines dans lesquelles l'entretien individuel est utilisé sont nombreuses. Il puise ses références en psychologie, sociologie, anthropologie et philosophie.
En psychologie, cette technique s'intéresse aux motivations ou raisons du comportement d'une personne. L'entretien individuel a été employé pour l'étude de l'action humaine et la compréhension de la vie psychique.
En ethnologie, son utilisation intervient dans le cadre de l'observation directe. En sociologie, l'ensemble des recherches l'utilise.

Les trois formes principales de l'entretien individuel en évaluation

Entretien non directif

Lors de tels entretiens, la personne interrogée s'exprime librement sur des questions dont le champ est assez large. Elle peut aborder des sujets que l'évaluateur n'a pas prévu. Celui-ci n'intervient que pour faciliter l'expression de la personne interrogée ou pour l'amener à approfondir certaines questions.
Ces entretiens conviennent particulièrement en début d'évaluation, à un niveau très global pour «défricher» le sujet.

Entretien semi-directif

Pour ces entretiens, le guide d'entretien est appliqué avec souplesse et peut être complété par des questions visant à éclairer ou préciser les réponses faites par la personne interrogée.
C'est la forme la plus employée en évaluation, dès que l'évaluateur dispose d'une information suffisante sur les enjeux et les questions prioritaires à traiter au cours de l'évaluation.

Entretien directif

Le guide d'entretien est appliqué, ici, de façon stricte. L'évaluateur décline les questions les unes après les autres, sans laisser la possibilité à la personne interrogée de développer d'autres points. Lui-même s'abstient d'effectuer des relances ou de développer des questions non prévues dans la grille d'entretien. Les réponses à chaque question sont en général assez brèves.
L'entretien directif est assez rarement employé en évaluation où une certaine souplesse est nécessaire de la part de l'évaluateur. Il peut néanmoins servir pour classer en plusieurs catégories les points de vue et informations sur les effets d'une mesure ou d'un programme. Sur la base des résultats obtenus, il est possible de mener ensuite une enquête par questionnaire pour analyser les effets de la mesure ou du programme en question.

Les développements suivants concernent essentiellement la mise en œuvre des entretiens individuels sous leur forme semi-directive, car c'est la forme la plus courante en évaluation.

Dans quels cas utiliser l'entretien individuel?

Quels types d'informations l'entretien individuel permet-il de recueillir ?

L'entretien individuel permet de collecter des informations quantitatives mais surtout qualitatives.
L'entretien individuel est un outil simple et rapide d'utilisation dans une évaluation et les ressources nécessaires restent abordables.
L'entretien individuel permet de recueillir:

  • des faits et des vérifications de faits,
  • des opinions et des points de vue,
  • des analyses,
  • des propositions,
  • des réactions aux premières hypothèses et conclusions des évaluateurs.

Cependant, aucune quantification du phénomène ne peut être issue d'une série d'entretiens individuels, puisque les réponses ne sont pas standardisées. C'est ce qui distingue cet outil d'une enquête par questionnaire.

Le "plus" de l'entretien individuel

Entre autres avantages, c'est un outil indispensable pour développer des analyses car il permet de recueillir les informations de façon approfondie, dans leur contexte, et de cerner les logiques d'actions des différents acteurs en présence et leurs différentes représentations des enjeux, problèmes, acquis etc.

Comment combiner l'entretien individuel ?

L'entretien individuel est un très bon outil pour bâtir des hypothèses et des analyses, pour identifier des enjeux, des dynamiques à l'œuvre, des logiques d'acteurs, des systèmes de représentations et d'opinions.
En fonction de l'outil d'observation retenu en priorité et en fonction de l'étape de l'évaluation dans laquelle on se trouve, l'entretien individuel peut:

  • soit compléter les autres instruments, en précédant, par exemple, une série de focus groups afin de tester au début d'une évaluation les principales questions à traiter,
  • soit être complété par une enquête par questionnaire quand le contexte et les conditions du pays s'y prêtent, ou par des focus groups de bénéficiaires, par exemple.

Comment se déroule l'entretien individuel ?

L'entretien se déroule généralement en face à face. C'est la modalité la plus efficace : elle permet d'établir une relation de confiance et de compléter les informations non verbales.
Cependant, au-delà de l'information verbale, d'autres éléments sont significatifs et utiles : contexte, climat, entourage etc…, mais aussi les réactions de la personne interrogée : hésitations, silences, regards…

Auprès de qui l'entretien individuel permet-il de collecter des données?

L'entretien individuel est un outil pertinent pour recueillir informations, analyses et jugements auprès d'un nombre limité d'interlocuteurs incontournables:

  • Les responsables et partenaires de la politique et du programme évalué,
  • Les acteurs institutionnels stratégiques,
  • Les principaux responsables et acteurs impliqués dans la mise en œuvre,
  • Des représentants de bénéficiaires.

A quelles étapes de l'évaluation utiliser l'entretien individuel?

Les différents types d'entretien selon les étapes de l'évaluation

Les étapes de l'évaluation
Types d'entretien
Ce qu'il apporte à l'évaluation
Desk phase:
mise en place de la méthode et préparation de la mission dans le pays
Entretien préparatoires à l'élaboration de grilles de questionnement et à la sélection de personnes à interroger ; à ce niveau, les guides d'entretien sont ouverts et visent à rappeler les thèmes sur lesquels doit porter l'entretien. Il est utiliser pour "caler " la problématique et compléter la grille de questionnement. Une forme souple et ouverte d'entretiens est requise.
Collecte de l'information dans le pays et à Bruxelles
Entretiens de collecte d'information et de recueil des points de vue ; plusieurs guides d'entretien peuvent être définis afin qu'ils soient adaptés aux différents types d'interlocuteurs et aux diverses problématiques. Recueil des informations sur les objectifs et les résultats obtenus auprès des responsables, des opérateurs, des acteurs parties prenantes et des bénéficiaires.
Analyse et formulation des jugements
Entretiens d'approfondissement et de confrontation des premiers résultats et analyses à l'avis des acteurs. A cette étape, l'évaluateur teste la pertinence et la recevabilité de ses hypothèses. Réactions sur les premières analyses. Approfondissement de certaines informations et reformulation de nouvelles questions.

Quels sont les avantages et les limites de l'entretien individuel?

Les avantages


L'entretien individuel est un outil bien adapté pour les évaluations de projets, mais c'est aussi un outil précieux dans les évaluations plus complexes, comme les évaluations sectorielles ou les évaluations pays/régionales. Dans ces derniers cas, il gagne à être combiné avec d'autres outils.

Les limites


Quelles sont les ressources nécessaires?

Les ressources temporelles

La préparation des entretiens individuels n'exige pas une durée très longue.

Un expert ne peut pas effectuer un nombre très important d'entretiens individuels dans une même journée. Le nombre total d'entretien lors d'une mission est donc limité.

Or, dans les faits, il peut être amené à interroger plusieurs personnes à la fois, à la demande de la personne contactée pour l'entretien. Cette usage particulier de l'entretien permet ainsi d'augmenter les chances de recueillir l'information voulue.

Les ressources humaines

Les entretiens doivent être réalisés par une personne qualifiée. Les compétences demandées sont:

  • une bonne maîtrise de la problématique en question dans l'évaluation concernée,
  • une bonne maîtrise des techniques d'entretien :

  • la capacité à saisir le point de vue de l'interviewé pour mieux s'ajuster : quel est son intérêt dans l'entretien ? parle-t-il librement ? comment l'impliquer davantage si nécessaire ?

Les ressources financières

Les coûts varient selon le nombre de personnes à rencontrer et leur localisation dans le pays. Mis à part le temps de travail et les frais éventuels de déplacement, l'entretien individuel ne suscite pas de coûts importants.

.

COMMENT FAIRE?

.

Quelles sont les étapes de préparation de l'entretien?

Etape 1 : Lister les types d'acteurs et les personnes auprès desquels obtenir des informations

Il convient de distinguer en deux temps :

  • le choix des types d'acteurs,
  • le choix des personnes représentatives de ce type d'acteurs.
Exemples de catégorie d'acteurs.
  • Acteurs responsables de la stratégie opérationnelle / Acteurs responsables de la mise en œuvre,
  • Acteurs spécialisés par secteur d'intervention,
  • Acteurs intervenant à l'échelle locale / à l'échelle nationale,
  • Acteurs techniques : responsables / opérateurs,
  • Acteurs du secteur public (Etat, administration, etc…) ou du secteur privé (société civile, ONG, etc…),
  • Bénéficiaires.

Ces catégories d'acteurs sont à affiner en cours d'évaluation, avec éventuellement des entretiens complémentaires à prévoir.
Ces choix sont parfois évidents (par exemple la personne en charge de la mise en œuvre d'un programme national), parfois plus complexe.
L'évaluateur doit prendre en compte le mode d'accès à la personne qu'il souhaite rencontrer selon:

  • son degré d'accessibilité (directement ou par un intermédiaire)
  • son degré de disponibilité
Quelles sont les bonnes questions à se poser pour choisir les personnes à interroger ?
  • Dans telle institution, qui connaît bien tel programme ou telle politique ?
  • Qui est responsable?
  • Qui est en charge de la mise en œuvre? Du suivi?
  • De quels aspects du programme la personne interrogée est-elle en charge ?
  • Qui saura retracer l'évolution du programme dans un contexte de renouvellement rapide des équipes ?

Dans le choix des personnes, il faut veiller à distinguer ce qui constituera les propos d'un témoin direct d'une situation, d'un événement etc., des propos reconstitués ou de deuxième main.

Etape 2 : Elaborer une grille de questionnement

Les grilles de questionnement, et les guides d'entretien qui en découlent, varient en fonction des interlocuteurs, de leurs relations à l'objet étudié.
La grille de questionnement est constituée de toutes les consignes, les thèmes et les questions que l'on souhaite aborder dans l'entretien.

Plusieurs phases pour structurer la grille


La grille de questionnement est l'interface entre la conceptualisation de l'étude et sa mise en œuvre.

La construction du guide d'entretien


L'enquêteur doit rester le plus près possible de la conversation en acceptant les détours, les incohérences, les pauses, les hésitations, etc.
Les questions sont soit prévues à l'avance dans la grille de questionnement, soit interviennent en fonction de la tournure de l'entretien, pour compléter, approfondir, relancer, confronter.

Etape 3 : Planifier les entretiens

Cette phase d'organisation dépend de l'étape de l'évaluation lors de laquelle est utilisé l'entretien individuel et bien sûr des disponibilités de la personne à interroger.
Il convient d'établir des critères clairs de sélection des personnes à rencontrer en priorité.
L'évaluateur doit notamment faire attention :

  • à l'emploi du temps souvent chargé des responsables à interroger,
  • au temps de mission assez court,
  • aux temps de déplacements,
  • à un emploi du temps trop chargé de rendez-vous qui pourront ne pas être honorés, par mauvais calcul ou pour cause d'imprévus,
  • au respect des rendez-vous et des horaires, notions qui ne sont pas appréhendées de la même façon dans tous les pays,
  • au démarrage trop rapide de l'entretien. Il faut parfois savoir prendre le temps d'établir un climat de confiance et de respecter les us de politesse.
  • aux entretiens fortuits qui peuvent s'ajouter parce qu'une personne "intéressante" non prévue est indiquée, disponible, de passage,
  • à 'l'usure" de celui qui mène l'entretien : trop de rendez-vous dans la journée réduisent sa capacité d'écoute.

Il faut donc trouver un équilibre entre :


La programmation de 4 à 6 entretiens par jour paraît souvent un bon compromis entre ces deux visions.

La prise de rendez-vous

Elle représente le premier contact entre la personne interrogée et l'évaluateur ; le choix de la personne qui prend les rendez-vous n'est donc pas neutre. Il est souvent préférable de prévoir des rendez-vous à l'avance. Mais il faut également pouvoir disposer de temps pour d'autres entretiens non prévus, en particulier dans le cadre d'entretiens en évaluation pays.
Il est important que l'évaluateur sache résister aux pressions l'incitant à rencontrer le plus de personnes possible. Une des solutions peut être l'organisation d'entretiens de groupe.

Envoi préalable de guides d'entretien

Cette étape est optionnelle mais elle facilite souvent le déroulement du rendez-vous, en offrant à la personne interrogée la possibilité de savoir ce sur quoi elle va être interrogée, de rassembler à l'avance les éléments et/ou les documents nécessaires, voire de proposer à l'évaluateur la participation conjointe d'autres personnes à son entretien. Cette organisation permet aux deux interlocuteurs de gagner du temps et d'être plus à l'aise. La plupart du temps, la qualité de l'entretien s'en ressent.

Entretiens complémentaires

Ils sont souvent nécessaires au vu des premiers éléments et des avancées de l'évaluation. Il faut donc les prévoir dans le calendrier de réalisation et dans le budget.

Quelles sont les étapes de la réalisation de l'entretien?

Etape 1 : Phase de démarrage et de mise en confiance

L'entretien individuel est un outil simple, mais il peut donner des résultats très variables selon la façon de le réaliser.

Les "devoirs" de l'évaluateur :

  • Connaître et respecter les us et coutumes (codes de politesse, silence, formulation des questions, temps de discussion avant d'aborder les questions etc.).
  • Prévoir les problèmes de langage (codes, qualité des éventuels interprètes, sens des termes comme "développement" par exemple).
  • S'adapter à son interlocuteur, son rôle, son statut hiérarchique dans l'organisme pour la conduite de l'entretien ou l'échange d'informations (certaines peuvent devoir rester confidentielles).
  • Prendre en compte et veiller à l'environnement matériel, social, hiérarchique, symbolique, éléments qui influent sur l'attitude de la personne rencontrée.
  • Présenter et expliquer les raisons de l'enquête, la façon dont les personnes rencontrées ont été choisies, comment les réponses seront utilisées.
  • Poser (voire négocier) les règles du jeu : la durée prévue de l'entretien, l'enregistrement ou non des réponses, etc.
  • Préciser immédiatement si les réponses seront exploitées de façon anonyme ou pas.
  • Vérifier la bonne compréhension de cette introduction par la personne interrogée, et le caractère volontaire de ses réponses.

Etape 2 : Phase d'ajustement entre le sujet et les réponses des personnes cibles

L'évaluateur doit s'adapter à son interlocuteur, et en fonction de son rôle, son statut hiérarchique dans l'organisme, veiller aux spécificités des réponses de ce dernier qui peuvent en découler :

  • façon d'aborder la question,
  • difficulté éventuelle à exprimer des points de vue, des critiques,
  • messages que l'interlocuteur pourrait vouloir faire passer à travers l'évaluateur,
  • perception éventuelle de l'évaluateur comme un contrôleur.

L'évaluateur doit également s'adapter à l'attitude de son interlocuteur : ses expériences personnelles, les points qu'il souhaite évoquer même s'ils ne sont pas prévus dans le guide d'entretien, etc.

La flexibilité de l'évaluateur reste la clef du succès de la collecte de données en entretien individuel. Toutefois, tout au long de l'entretien, il doit en maîtriser l'évolution, en évitant d'être poussé vers le hors-sujet ou de trop longtemps s'appesantir sur le même point.

Etape 3 : Phase de suivi du guide d'entretien et d'approfondissement

Flexibilité et contrôle maintenu pendant la durée de l'entretien sont donc les deux règles élémentaires à suivre. L'écoute permet de traiter en temps réel l'information donnée par l'interlocuteur. Il ne s'agit ni de parler à sa place, ni de le laisser poursuivre son propos selon son propre fil directeur. La réactivité de l'évaluateur permet de trouver cet équilibre entre flexibilité et contrôle.

Trois formes de réactivité de l'évaluateur :

  • La Contradiction (on se fait l'écho d'éventuelles contradictions de la personne interrogée ou d'informations différentes obtenues de personnes tierces sans les citer).
  • La consigne (on annonce qu'on passe à un nouveau thème, à une nouvelle question).
  • Larelance (on demande de développer un point évoqué).

La relance

La relance simple Répéter sous forme interrogative les derniers mots prononcés
La relance différée Revenir sur un point développé quelques minutes auparavant, parfois énoncé de manière superficielle par l'interlocuteur
La relance interprétative Reprendre la teneur d'un propos énoncé en le résumant, vérifier sa bonne interprétation auprès de la personne et passer au point suivant, ou corriger si nécessaire

.

Intervenir directement

Le guide d'entretien offre un cadre à l'entretien individuel, dont l'évaluateur peut s'affranchir, s'il en estime le besoin.

Ainsi, faire des observations directes pendant l'entretien permet de recueillir des données spécifiques sur les attitudes, les comportements et les pratiques des personnes interrogées et/ou de leur entourage. Elles peuvent être l'occasion de constater des discordances entre le comportement et le discours tenu par la personne.

La nature de l'information recueillie

Il faut clairement distinguer les informations qui sont des faits vérifiables du recueil de points de vue, d'analyses et d'opinions. Amener la personne interrogée à préciser ses allégations par des faits ou des exemples concrets permet de renforcer son propos, voire de le vérifier, ou de le pondérer.

Ne pas demander l'impossible

Les questions posées lors de l'entretien doivent rester dans le domaine du possible pour la personne interrogée. Il convient de ne surtout pas la décourager, en lui demandant par exemple des données qui nécessiteraient la consultation d'archives ou de rapports importants.

Le contrôle de l'information

Le premier niveau de contrôle intervient au cours de l'entretien par le système de triangulation des questions. Son principe définit que trois sources différentes d'information sont nécessaires pour valider la fiabilité d'une information. Il peut être adapté à l'entretien individuel de deux façons :

  • d'une part, en posant systématiquement les mêmes questions au moins à trois sources différentes (donc, trois personnes différentes) avant d'y prêter foi,
  • d'autre part, au sein d'un même entretien, en reposant de façon différente certaines questions trois fois, afin de vérifier les informations et d'appréhender le degré de variations possibles des analyses et les interprétations des évènements faites par l'interlocuteur.

Etape 4 : Phase de conclusion et post entretien

Conclure

Finir l'entretien soit sur des considérations positives, soit sur une libre discussion. Prévoir s'il sera nécessaire de recontacter la personne. Ne pas oublier les formules de remerciement pour clore l'entretien.

Garder la mémoire des informations

Il convient de relire et de remettre en forme rapidement les notes prises durant l'entretien, ainsi que de noter, en fonction de la précision souhaitée, les éléments non verbalisés qui en ont marqué le déroulement : attitude, climat, gêne, silences, interruptions, relation établie avec l'évaluateur, mais aussi les indications d'autres personnes à contacter, de documents existants etc.

Ces éléments, souvent absents des bandes d'enregistrement ou des notes prises rapidement, sont souvent de précieuses informations. L'impression immédiate de l'évaluateur à la sortie de l'entretien doit être exploitée comme une ressource à part entière.

Préserver la confidentialité

Si la confidentialité a été posée par l'interlocuteur comme condition sine qua non, ce principe doit être respecté, tout comme la préservation de la vie privée de la personne.

Validation par la personne interrogée des comptes-rendus d'entretiens, si nécessaire

Cette étape peut s'avérer nécessaire en fonction de l'usage qui est fait des propos d'une personne interrogée. A titre d'exemple, quelques raisons à cela :

  • soit parce que le propos est cité,
  • soit parce que le propos est utilisé comme argument à part entière,
  • soit parce qu'il n'apparaît pas comme évident aux yeux de l'évaluateur et peut donner lieu à une mauvaise interprétation, voire un contresens,
  • soit parce que la personne interrogée exerce une fonction officielle ou sensible,
  • soit parce qu'elle l'a posée comme condition avant d'accepter de répondre à l'évaluateur,

Penser à la suite…

  • aux formes d'utilisation des informations recueillies,
  • à leur traitement,
  • aux formes de restitution, répondant aux attentes du commanditaire, voire aussi des personnes rencontrées qui peuvent souhaiter un retour sur l'utilisation des informations recueillies auprès d'elles.

.

EN EVALUATION PAYS

.

Quelles sont les tâches spécifiques à effectuer?

Elaboration des hypothèses et de la grille de questionnement

Une évaluation pays nécessite de rapidement cerner les questions stratégiques et de ne pas se perdre dans une recherche d'informations trop exhaustive.


Les trois éléments doivent être étroitement reliés :

  • Les premières hypothèses permettent de bâtir les grilles de questionnement.
  • Les grilles de questionnement permettent de sélectionner les interlocuteurs.
  • Les entretiens avec les interlocuteurs font évoluer ces hypothèses, donc la grille de questionnement… et donc le choix de nouveaux types d'interlocuteurs à rencontrer.

Les tâches de l'évaluateur durant cette phase initiale

-la sélection des types d'informations à rechercher :
  • la hiérarchisation des informations à recueillir entre les questions stratégiques prioritaires et les questions plus secondaires.
  • la méthode pour circonscrire à bon escient la recherche documentaire : les domaines couverts en évaluation pays/région sont tellement vastes que le risque d'éparpillement est grand.
-L'élaboration et la structuration du questionnement

C'est-à-dire, les questions clés classées par enjeux et par catégories de personnes sollicitées.

-La définition d'une liste de personnes auprès de qui recueillir des informations
-Déterminer l'ordre des rendez-vous

Quelles catégories d'entretiens mener?

Différents types d'entretien peuvent être conduits selon les phases d'exécution de l'évaluation pays.

Première phase

Les premiers entretiens d'appréhension des enjeux

Il s'agit de rencontrer des personnes qui ont une vision assez globale de la politique, de ses objectifs comme de ses effets, et qui appartiennent à des institutions différentes. Ceci permet d'éviter le biais d'un processus d'évaluation défini à partir de l'unique point de vue des institutionnels en charge de la définition et du pilotage de cette politique.

Les entretiens de confrontation avec d'autres catégories d'acteurs

Il s'agit de rencontrer des acteurs participant au processus d'élaboration, de définition, de négociation et de choix opérationnels de mise en œuvre de la politique.
Le rôle des différents partenaires dans ce processus d'élaboration et de négociation constitue un élément déterminant dans la pertinence et l'impact des stratégies pays.

Seconde phase

Les entretiens auprès des opérateurs et des bénéficiaires

Dans le cadre d'une évaluation pays, l'entretien individuel est rarement un outil conseillé pour analyser l'impact de l'aide auprès des bénéficiaires en raisons de problèmes d'effectifs, de représentativité etc. Il peut néanmoins intervenir en amont d'autres méthodes de recueil d'information, comme les entretiens de groupe ou les questionnaires.
Les entretiens individuels peuvent être centrés sur des catégories fines de bénéficiaires et/ou sur des questions très ciblées portant sur des hypothèses différentes.

Comment trouver de bons interlocuteurs?

Dans une évaluation pays, cette question est cruciale. Elle consiste moins à se demander comment recueillir les informations, qu'à en déterminer leur objet précis et auprès de qui les trouver, dans un contexte où le temps imparti à la mission est court et le champ de l'enquête vaste.
La question des catégories d'acteurs à rencontrer se pose en particulier pour:

  • identifier ceux qui auront été effectivement bénéficiaires de la politique mise en place,
  • identifier ceux qui ont joué un rôle stratégique,
  • identifier ceux qui ont joué un rôle intermédiaire,
  • identifier ceux qui auraient pu être à l'origine de blocages ou d'effets non prévus (acteurs aux intérêts divergents, acteurs intermédiaires intervenant au cours du processus, groupes cibles de la politique ou du programme…),
  • analyser les stratégies et les différentes logiques à l'œuvre.

Distinguer le type d'institutionnels à rencontrer

Les listes d'acteurs institutionnels à rencontrer sont souvent longues à cause de la nature même de l'évaluation pays qui couvre un grand nombre de programmes et de projets.
Il faut donc opérer un choix, étant donné le temps de mission toujours très court dont dispose l'évaluateur, en fonction du budget consacré à l'évaluation. Une solution peut être trouvée dans la distinction entre les entretiens fondamentaux et les entretiens à caractère plus "protocolaire", ainsi que dans la façon de les traiter rapidement et à moindre coût.
Une fois identifiés les types d'acteurs que l'on souhaite rencontrer, il faut encore trouver les personnes correspondant à cette typologie. Cette sélection fait partie intégrante du processus évaluatif et se précise au fur et à mesure que se dégagent les premières hypothèses.

Dépasser les discours convenus

Dans les évaluations pays/région, la dimension politique et les enjeux économiques liés à l'évaluation rendent parfois délicats certains entretiens avec des autorités institutionnelles, ainsi qu'avec des acteurs qui peuvent "craindre" les effets de la hiérarchie. Les évaluateurs doivent pouvoir "décrypter" les informations qui leur sont données et tenir compte du contexte dans lequel l'entretien se déroule. Une solution à ce risque de discours convenu peut être trouvée dans une forme d'entretien moins protocolaire, voire informelle (par exemple hors du lieu de l'institution).

Equilibrer les entretiens avec les institutionnels et avec les bénéficiaires

Les évaluateurs doivent veiller à ne pas consacrer tout leur temps de mission à rencontrer les institutionnels aux dépens des bénéficiaires.
Ils doivent être particulièrement vigilants à la représentativité, toujours relative et parfois auto-proclamée, de la personne rencontrée.
Quelques questions peuvent aider l'évaluateur à cerner l'intérêt et la représentativité des personnes à rencontrer :

  • Quel groupe d'appartenance ?
  • Quel parcours ?
  • Poids dans la stratégie du programme ?
  • Quels intérêts directs et indirects, explicites et implicites ?
  • Quelle position par rapport à la politique ou au programme?
  • Quel mode d'élection au titre de représentant ?
  • Personne représentative de l'ensemble d'une catégorie d'acteurs ?
  • Combien de personnes rencontrer pour collecter des informations et des points de vue représentatifs ?

Comment trouver de bons interlocuteurs dans le contexte de l'évaluation pays?

Comment s'adapter au contexte

Quelques éléments pratiques à prendre en considération :

  • Hiérarchiser la recherche d'informations et choisir les personnes à rencontrer en fonction d'une première élaboration de questions précises.
  • Identifier rapidement les "relais" d'informations et les acteurs du programme. Ils sont souvent situés au carrefour de la circulation d'informations et peuvent constituer une bonne source stratégique pour orienter l'évaluateur vers les "bons" interlocuteurs disposant des informations recherchées.
  • Voir quelles personnes il serait plus opportun de rencontrer en groupe.
  • Envisager la possibilité de quelques entretiens téléphoniques, qui peuvent faire gagner du temps.
  • Ne pas surestimer le nombre de personnes qu'il est possible de rencontrer dans un temps de mission assez court.

Comment planifier les rendez-vous ?

Le contexte des évaluations pays/région demande de prendre des précautions particulières, en plus des précautions générales (dans " étape de préparation ; planifier les entretiens) lorsqu'on prend des rendez-vous.
L'évaluateur doit donc:

  • prévoir une partie des entretiens qu'il souhaite conduire sur place
  • s'organiser pour que les premiers rendez-vous soient pris pour son arrivée soit par les commanditaires de l'évaluation (auprès de la délégation européenne et des autorités nationales par exemple), soit par un consultant local.
  • conserver du temps disponible pour des entretiens non prévus, mais qui s'avèrent nécessaire à la lumière du nouvel éclairage de la mission sur place, ses hypothèses de travail s'en trouvant souvent modifiées, du moins enrichies.

Dans un esprit pratique, l'évaluateur doit garder à l'esprit que :

  • Le contact pris à l'avance avec la personne à rencontrer est une occasion de lui communiquer des informations sur le sujet : objectif de l'évaluation, attentes concernant l'entretien, durée de celui-ci. Il permet aussi à l'évaluateur de vérifier l'adéquation du contact avec l'information recherchée.
  • L'envoi au préalable d'un guide d'entretien est souvent apprécié, car il fait gagner du temps et permet à la personne de rassembler la documentation spécifique à communiquer à l'évaluateur.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
La liste des personnes à rencontrer a-t-elle été justifiée par les informations à collecter ?  
Des alternatives ont-elles été envisagées par les évaluateurs dans le cas d'une impossibilité d'entretien avec les acteurs prévus ?  
Les problèmes de représentativité, s'ils ont été rencontrés, ont-ils été résolus ?  
Pour les entretiens avec des acteurs représentatifs d'une catégorie ciblée, la représentativité des personnes choisies est-elle justifiée ?  
Les guides d'entretien couvrent-ils l'ensemble des thématiques abordées au cours des entretiens ?  
Les guides d'entretien sont-ils correctement déclinés en fonction des catégories d'acteurs ?  
Mise en œuvre
 
L'information recueillie a-t-elle été contrôlée et vérifiée par les évaluateurs?  
La forme prévue de restitution des résultats permet-elle de distinguer les informations fiables des opinions émises ?  
La diversité des points de vue selon les catégories d'acteurs est-elle restituée et présentée de façon explicite ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Préparation et Conception
 
La liste des personnes à rencontrer a-t-elle été justifiée par les informations à collecter ?  
Les guides d'entretien sont-ils déclinés en fonction des catégories d'acteurs ?  
L'homogénéité des différents entretiens est-elle assurée ?  
La forme prévue de restitution des résultats permet-elle de distinguer les informations factuelles des opinions émises ?  
La diversité des points de vue selon les catégories d'acteurs est-elle restituée et présentée de façon explicite ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group

Focus group

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

Un focus group est un type d'entretien de groupe composé de personnes concernées par une politique de développement ou une intervention. Il est destiné à obtenir des informations relatives à leurs opinions, attitudes et expériences ou encore à expliciter leurs attentes vis-à-vis de cette politique ou de cette intervention. Il s'agit donc d'une méthode d'enquête qualitative rapide.

Le focus group présente un intérêt à être utilisé en évaluation de projets ou de programmes, en particulier pour les études de terrain auprès des bénéficiaires et des acteurs intermédiaires. Lorsqu'il est utilisé à la suite d'un programme pour en évaluer l'impact, il permet de comprendre, d'analyser et de décomposer le fondement des opinions exprimées par les participants.

Quels usages peut-on faire du focus group ?

Encadré 1 - L'utilisation du focus group en évaluation

Le focus group est un moyen de recueillir rapidement des informations et des points de vue. Lorsqu'il regroupe des acteurs aux prises de position différentes, il permet à la fois l'expression et l'explication des différences de points de vue, et l'approfondissement de leurs opinions.

C'est le cas, par exemple, d'un focus group organisé sur la thématique de l'offre de santé, qui rassemblerait des médecins du secteur privé et du secteur public.

De façon plus marginale, le focus group peut aussi être un outil de restitution à l'échelle locale. L'outil se concentre alors sur les observations et les premières conclusions des analyses de terrain conduites par les évaluateurs.

Un tel type de focus group peut être organisé pour exposer les premiers résultats d'une enquête par questionnaire, afin de recueillir les réactions des acteurs cibles de l'intervention.

Dans le cadre d'une analyse d'impact, le focus group est utilisé pour identifier les différents groupes d'acteurs impliqués par l'intervention, ainsi que leurs sensibilités à un problème donné. L'objectif est de déceler les lignes de clivages dans un groupe aux positions a priori homogènes.

Dans le cadre de l'analyse d'impact de la construction d'un barrage, par exemple, un focus group regroupant les partisans de ce projet pour des raisons économiques peut permettre de révéler des lignes de clivages plus fines.

Le focus group est le seul outil à la disposition de l'évaluateur à la fois d'analyse et de confrontation de l'information. Cet outil est précieux pour mieux comprendre l'attitude des participants, leur compréhension et leur perception d'une intervention, ce qui ne serait pas possible sur une base individuelle. Se trouver en situation de groupe permet d'obtenir une variété de points de vue et de perceptions stimulés par l'interaction. Chaque participant est mis en position de justifier en permanence ce qu'il affirme.

Comment mettre en oeuvre le focus group ?

Quelles sont les conditions d'emploi du focus group ?

Avant de décider d'organiser un focus group, l'évaluateur doit cerner la problématique de l'évaluation et en dégager une thématique à laquelle l'outil pourra répondre.

Les ressources allouées à cette tâche donnent une première indication de ce que peut entreprendre l'évaluateur (mettre en œuvre un ou plusieurs focus group).

Encadré 1 - Schéma global de mise en œuvre du focus group

Les catégories d'acteurs qui seront ciblées par l'évaluation sont une deuxième indication du type de focus group à choisir, étant donné que la composition du focus group dépend des objectifs poursuivis : un objectif d'approfondissement requiert un groupe socialement homogène, alors que la confrontation publique d'un thème ne pourra se réaliser qu'avec un groupe aux points de vue contradictoires.

Pour évaluer l'effet d'une politique sur l'enseignement d'une nouvelle discipline scolaire, deux types de focus group peuvent être organisés : un premier regroupera les enseignants de cette discipline ; un second rassemblera les inspecteurs, les directeurs d'établissements et les enseignants.

Quelles sont les étapes de préparation du focus group ?

  • Déterminer les types et le nombre de focus group utiles aux différentes phases de l'évaluation
  • Recruter un ou plusieurs animateur(s) local(aux)
  • Identifier, au sein des catégories d'acteurs ciblées, les différents groupes d'intérêt par rapport à la politique évaluée
  • Sélectionner les participants
  • Elaborer le guide d'animation
  • Planifier le(s) focus group(s)

Comment le focus group se déroule-t-il ?

Qui réalise les focus groups ?

Les focus groups sont menés par un animateur maîtrisant les thématiques et les enjeux de l'évaluation, les techniques d'animation de groupe et parlant la langue des participants.

Si l'évaluateur n'est pas qualifié dans une de ces compétences, il doit faire appel à un animateur local, qui devra être formé sur les enjeux du focus group dans le cadre de l'évaluation, et sur le type d'animation.

Il est souvent utile de mobiliser des personnes ressources pour aider l'évaluateur à sélectionner les participants et identifier les leaders du futur groupe.

Un observateur s'avère utile, en plus de l'animateur, pour consigner le verbatim.

Comment animer la dynamique de groupe ?

Afin de s'assurer de la motivation des participants, l'animateur doit rencontrer les participants avant la tenue de la séance, afin de leur permettre d'arriver à la séance en ayant compris le principe du déroulement du focus group et en ayant déjà réfléchi au sujet. Ceci est particulièrement recommandé dans le cadre de focus group d'usagers ou de bénéficiaires.

Un focus group est organisé auprès de villageoises et leur recrutement s'effectue par l'entremise du chef de village. L'animateur aura intérêt à profiter d'une entrevue rapide avec les participantes pour se faire connaître, instaurer une relation moins " protocolaire " et proposer les premières pistes de réflexion.

L'entretien de groupe ne doit pas devenir une somme d'entretiens individuels. Il faut donc veiller à créer et maintenir une interaction dynamique entre les participants.

Une même réunion peut être rythmée par des moments où le groupe est "réactif" à la présentation d'une analyse, d'informations, etc. et des moments où il est "proactif", c'est-à-dire placé en situation de produire directement des informations organisées et des analyses.

L'animateur doit veiller à structurer la réunion en étapes, avec des moments de restitution intermédiaire au groupe.

Comment restituer la séance de focus group ?

Cette phase ne doit pas être sous-estimée pour les focus group de bénéficiaires en langue locale. Elle consiste à retranscrire le verbatim de la séance à partir des notes et de l'enregistrement de la séance (s'il a été prévu).

En absence d'enregistrement, il peut être judicieux d'organiser une séance de restitution afin de valider le contenu de la retranscription du focus group.

Exemple de l'utilisation de focus group en évaluation pays : mission test au Bénin

Afin d'apporter des éléments de réponse à une des questions d'évaluation (relative à la baisse de fréquentation des centres de santé ayant bénéficiés de l'aide de la CE), quatre focus groups ont été organisés. L'équipe d'évaluation avait décidé de les composer et de les administrer différemment pour juger des conditions de préparation et de mise en œuvre dans un contexte d'évaluation pays.

Deux focus groups de bénéficiaires ont été administrés par des animateurs locaux; 2 membres de l'équipe d'évaluation se sont chargés de l'animation d'un focus group réunissant des médecins du secteur privé et public de la zone de Cotonou, et d'un autre composé de sages femmes et d'infirmiers de Cotonou.

Le déroulement des focus group et leurs résultats permettent de tirer quelques conclusions : c'est un outil de collecte productif lorsqu'il réunit des groupes socialement homogènes, notamment d'une même catégorie socio-professionnelle. Il faut cependant être attentif à ne pas former des groupes dont les participants ont des expériences trop proches vis-à-vis des questions mises en débat et dont les positions risquent d'être trop identiques (le focus group avec les médecins a ainsi mieux fonctionné que celui avec les infirmiers et les sages-femmes).

Les différences dans le déroulement des deux focus groups d'usagers incitent à porter une attention particulière au recrutement des participants. Par exemple, l'animateur doit s'assurer de la présence de leaders dans le groupe afin d'inciter les participants à prendre la parole (l'animateur devra veiller à ce que ces leaders n'imposent pas leurs points de vue). Il doit aussi favoriser la motivation des participants en allant les voir la veille de la séance.

Quelles sont les ressources nécessaires?

Encadré 3 - Les ressources nécessaires
En Temps Si des focus groups doivent être animés par des animateurs locaux, leur recrutement doit être organiser avant l'arrivée de l'équipe d'évaluation sur place.

Prévoir une séance de présentation du guide d'animation à l'animateur.

Préparer les participants la veille de la session du focus group.

La séance doit durer au moins une demie-journée.

Prévoir une journée pour la retranscription du verbatim dans le cas de focus groups en langue locale.

Humaines Mobiliser des animateurs locaux dans le cas de l'organisation de plusieurs focus groups sur un large territoire ou en langue locale.

Mobiliser des personnes ressources pour la sélection des participants.

Financières Rémunération des animateurs et des interprètes éventuels.

Indemnisation éventuelle des participants.

Coûts relatifs à la logistique.

Qules sont les avantages et les limites de l'outil?

Encadré 4 - Les avantages et les limites
Avantages Il permet d'élargir l'échantillon de référence.

Il est très utile pour collecter auprès de groupes de bénéficiaires, notamment pour analyser l'impact perçu par ses derniers.

La dynamique de groupe incite les participants à approfondir, expliciter et justifier leurs prises de position.

Les coûts de mise en œuvre peuvent être limités. Gain de temps.

Limites Les informations recueillies sont d'ordre qualitatif.

Dans certains contextes, l'organisation du focus group peut être complexe du point de vue logistique : identification de groupes de bénéficiaires, distances à gérer, mobilisation de compétences nationales et locales.

L'expression publique peut être limitée par des poids d'ordre politiques et sociaux, ou relevant de la composition du groupe.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group > Outil détaillé

Outil détaillé

.

Structure de la section:

.

POURQUOI ET QUAND?

.

A quoi sert le focus group?

Les évaluateurs utilisent le focus group avec deux objectifs différents :

  • C'est un outil de collecte d'informations auprès des personnes réunies.
  • L'outil permet la confrontation en direct d'analyses et de points de vue, favorisant ainsi la diversité des propositions et le recoupement de l'information.

Le focus group permet de débattre des informations, opinions et jugements déjà collectés, d'éclairer les raisons qui motivent les opinions exprimées et de s'assurer de leur consistance. De ce fait, l'outil doit être utilisé après une collecte suffisamment complète pour nourrir le débat et favoriser la controverse. Le focus group contribue utilement à enrichir les matériaux de la collecte, mais il n'est pas un outil de collecte " primaire ".

Dans le cadre d'évaluations, le focus group peut être utilisé au cours des différentes phases de l'évaluation, avec des publics variés, selon les objectifs poursuivis.

Quels sont les usages les plus fréquents ?

On peut utiliser le focus group comme un :

  • moyen de recueillir des informations et des points de vue auprès d'une catégorie d'acteurs, d'opérateurs ou de bénéficiaires,
  • moyen d'approfondir des hypothèses et des analyses auprès d'une catégorie d'acteurs, d'opérateurs et de bénéficiaires,
  • moyen d'expression et d'explication des divergences de points de vue et d'analyses entre différents groupes d'acteurs, appartenant ou non aux mêmes catégories socio-institutionnelles,
  • outil d'analyse de l'impact d'un programme, notamment à l'échelle locale,
  • outil de restitution à l'échelle locale des observations et des premières conclusions des analyses de terrain des évaluateurs,
  • moyen de définir et de valider des axes de propositions et de recommandations (au niveau institutionnel comme local).

Les fonctions du focus group


Pour quels résultats ?

  • collecter des informations quantitatives et surtout qualitatives,
  • approfondir des analyses, des points de vue (les sujets sont en situation d'interaction : le but recherché est la confrontation de leurs avis en temps réel),
  • permettre une meilleure appréhension par certains acteurs, des points de vue d'autres groupes et approfondir ou dépasser la diversité des analyses et points de vue entre types d'acteurs. Par exemple, au cours d'évaluation de filières, des focus group avec les différents acteurs de la chaîne sont fréquemment menées et donnent de bons résultats.
  • élaborer ou tester des hypothèses de travail en début ou en cours d'évaluation,
  • élaborer ou tester des conclusions, des recommandations ou des propositions à mi-parcours de l'évaluation, avec des acteurs partie prenante, ou des bénéficiaires.

D'où vient le focus group?

Le focus group prend ses racines en sociologie, en anthropologie sous la forme de l'entretien collectif, ainsi qu'en marketing.

Débat

Les théoriciens ne sont pas tous d'accord pour rattacher le focus group à la "famille" des entretiens de groupe. Il existe différentes approches et méthodes de constitution de groupe, ainsi que d'animation de réunions. Les références scientifiques de chacune de ces "familles" d'entretien de groupe sont différentes. Le choix entre ces méthodes dépend de l'objectif que l'on donne à ces entretiens de groupe.

Différences entre l'entretien collectif et le focus group

Les entretiens collectifs sont conduits à partir d'une thématique relativement large. L'objectif recherché est alors de recueillir des informations, des points de vue, des pistes de réflexion. L'objectif du focus group est de centrer le débat sur un nombre limité de sujets et d'amener les participants à détailler leurs opinions, à produire leur analyse, voire des propositions.
La principale différence entre l'entretien collectif et le focus group se situe dans la méthode d'animation. Un entretien collectif est conduit selon un mode interactif entre l'animateur et les participants, alors que le focus group privilégie les interactions entre les participants.

Détails

  • En marketing, les focus group sont utilisés assez fréquemment pour élaborer et valider les messages publicitaires ou l'analyse de nouveaux produits.
  • Dans les pays en développement, ils sont utilisés en communication sociale pour mettre au point des messages compréhensibles, notamment dans des campagnes de sensibilisation (prévention anti-sida, etc.).

Quelle est sa place en évaluation?

Pour quel type d'évaluation ?

Le focus group est assez fréquemment utilisé en évaluation de projets ou de programmes, en particulier pour les études de terrain auprès des bénéficiaires.
Il pourrait davantage être utilisé dans le cadre d'évaluations sectorielles et pays. Dans ce cas, les objectifs et les catégories d'acteurs avec qui réaliser ces entretiens sont élargis.

A quelle étape de l'évaluation utiliser les focus group ?

Focus group d'approfondissement

Ces entretiens permettent d'approfondir, analyser et recueillir des réactions en cours d'évaluation, avec des acteurs opérationnels et des bénéficiaires notamment, sur les premières pistes de conclusions et recommandations.
Il ne faut pas les confondre avec des réunions de restitution ou de validation des conclusions finales avec les commanditaires.

Avec quels outils combiner le focus group?

En complément de l'étude de cas

Dans le cas d'évaluations sectorielles ou pays, le focus group peut compléter l'outil "étude de cas". Les évaluateurs peuvent par exemple créer des groupes comparatifs ou des groupes de réaction à des propositions.
Les entretiens avec ce type de groupes sont réalisés, soit dans d'autres zones, soit sur d'autres secteurs ou filières que ceux traités par l'étude de cas. Ils permettent de recueillir des informations et des points de vue que l'évaluateur pourra utiliser pour estimer le degré de spécificité ou au contraire de généralisation éventuelle de certaines conclusions de l'étude de cas.

En complément de l'entretien individuel

L'objectif est alors d'approfondir, de confronter et d'approfondir collectivement un certain nombre d'analyses et de points de vue particuliers, exprimés au préalable en entretien individuel.

En complément d'une enquête par questionnaire

Le focus group permet de comprendre et d'analyser les résultats obtenus à la suite d'une enquête par questionnaire, et proposer au débat les conclusions qui en sont tirées.

Quels sont les avantages et les limites de l'outil?

Quels sont les avantages ?

Un moyen de rencontrer de nombreux interlocuteurs
Cet outil permet de recueillir des informations, des analyses, et des opinions auprès d'un nombre de personnes plus important que lors d'entretiens individuels. Il élargit ainsi l'échantillon de référence.

  • Il permet d'approfondir et d'étayer certaines informations et analyses provenant d'entretiens individuels.
  • Il permet de vérifier qu'un point de vue exprimé individuellement représente bien celui d'un groupe d'acteurs.

Néanmoins les participants ne constituent pas un échantillon représentatif de la population ciblée et les résultats ne peuvent être traités statistiquement. Les informations recueillies sont d'ordre qualitatif.

Un outil qui peut faciliter l'étude de l'impact

Peu onéreux, cet outil peut donner en outre des indications intéressantes sur l'impact d'une politique ou d'un programme sur des catégories spécifiques de bénéficiaires ou d'acteurs.

Quand l'évaluateur utilise cet outil pour une analyse d'impact, il a besoin de recueillir les points de vue des groupes d'intérêts stratégiques concernant les enjeux de la politique ou du programme évalué.
Plus l'identification préalable et le découpage en groupes stratégiques d'intérêts sont fins, meilleure sera la qualité des informations recueillies.

Une source de créativité, si la dynamique de groupe est maîtrisée

Les entretiens de groupe de type "expression de points de vue contradictoires" constituent le moyen d'analyser les réactions des acteurs face aux points de vue des autres, d'approfondir les argumentations, représentations et analyses de chaque catégorie d'acteurs grâce aux exercices de confrontation et d'argumentation.
Même si ce n'est pas leur objectif, ces réunions permettent parfois de dépasser certains blocages ou des contradictions liées davantage à des incompréhensions qu'à des stratégies reposant sur des intérêts profondément contradictoires.
La dynamique de groupe incite les participants à expliciter et à approfondir leurs raisonnements, notamment par la confrontation à des opinions différentes. Les entretiens individuels sont plus limités sur cet aspect car l'évaluateur dispose rarement des éléments permettant de relancer le dialogue.

Quelles sont les limites ?

Une organisation et une préparation parfois complexes
  • Nécessité d'effectuer au préalable une analyse fine des groupes stratégiques en présence au sein des différentes catégories d'acteurs concernés.

Dans le cas d'évaluations dans des pays en développement:

  • Organisation de réunions complexe et longue dans le cas de bénéficiaires paysment éloignés les uns des autres,
  • Difficulté de certaines régions à identifier les compétences nationales et locales pouvant aider l'évaluateur dans la préparation et l'animation de ces entretiens de groupe.
Les limites de l'expression publique 

Le focus group présente le risque que l'évaluateur ne réussisse pas à obtenir une parole "libre" de la part des participants à cause :

  • du caractère public de l'expression,
  • de la présence de participants pouvant limiter l'expression des autres,
  • de l'absence de participants moteurs de la dynamique de groupe,
  • des enjeux politiques et sociaux qui prennent plus de poids dans une dynamique de groupe que dans un tête à tête,
  • de la tendance naturelle, dans un groupe, à répondre dans le sens de la majorité, plutôt que d'exprimer des opinions minoritaires.
Des délais qui peuvent s'allonger et des coûts s'allourdir

La multiplication de ce type d'entretiens peut néanmoins poser des problèmes de délais et de coûts lors de :

  • du temps de préparation,
  • du dédommagement des participants,
  • des frais de déplacement,
  • de la rémunération d'intermédiaires pour faciliter l'organisation de la réunion,
  • du temps de traitement de l'information recueillie, etc.

.

COMMENT FAIRE?

.

Quelles sont les étapes de préparation?

Déterminer les types de focus group utiles aux différentes phases de l'évaluation

Il faut préciser pour chaque type de focus group à mener :

  • les objectifs de l'entretien (information, analyse, confrontation, proposition, etc…),
  • les types de participants à réunir,
  • les tâches préalables à effectuer avant le focus group pour le préparer,
  • les modes d'animation à privilégier.

Programmer le calendrier de réalisation des focus groups

Pour cela, il est nécessaire de tenir compte de deux éléments :

  • Le temps de préparation des focus groups peut exiger une durée assez longue. Notamment la sélection des participants, la planification et l'organisation de la réunion requièrent du temps. C'est particulièrement le cas pour les focus groups réunissant des bénéficiaires finaux.
  • Les focus groups qui ont pour objet l'étude de l'impact d'une politique ou d'un programme, ne peuvent être réalisés qu'une fois que l'évaluateur dispose de premières hypothèses et analyses. Or, ils exigent un temps important de préparation.

Dans les délais impartis, il peut y avoir une certaine tension à gérer entre d'une part, le temps à consacrer à la qualité méthodologique requise pour un bon déroulement des focus groups et d'autre part, les délais de réalisation dont l'évaluateur dispose effectivement.

Identifier les groupes d'intérêts stratégiques

Un travail préalable d'analyse documentaire et d'entretiens individuels est toujours nécessaire avant l'organisation d'entretiens de groupe.
Ce travail est nécessaire pour pouvoir identifier précisément au sein des catégories d'acteurs et de bénéficiaires, les différents groupes d'intérêt stratégiques qui se dessinent. Ces groupes se distinguent par des attentes, des points de vue, des représentations sociales, des stratégie spécifiques, voire contradictoires, par rapport à la politique ou au programme évalué.

Sélectionner les participants

Une fois identifiés les groupes stratégiques en présence, il convient de sélectionner, en leur sein, les personnes qui seront invitées à participer au focus group. Pour effectuer cette sélection, il est souvent nécessaire d'avoir recours aux services d'un intermédiaire ou d'une personne ressource locale, notamment lorsqu'il s'agit d'inviter des représentants de populations vivant dans des zones difficiles d'accès ou qui ne parlent que les langues locales.

Le choix des personnes constituant les groupes doit se faire en fonction des disponibilités et des ressources humaines (comme un interprète, par exemple) et matérielles à disposition de l'évaluateur.
Si l'animation joue un rôle essentiel dans le déroulement général de la séance, la dynamique de groupe est aussi portée par un ou plusieurs leaders prenant souvent la parole et incitant les autres participants à se joindre au débat. L'animateur doit donc s'assurer de l'existence de tels leaders dans le groupe avec l'aide de la personne ressource.
Il est important de prendre le temps nécessaire pour motiver les participants et leur permettre d'arriver à la réunion, en comprenant le principe de son déroulement et en ayant réfléchi au sujet. Ceci est particulièrement recommandé dans le cas de focus group d'usagers ou de bénéficiaires, a priori moins sensibilisés à ce type de démarche.

Elaborer le guide d'animation

Le guide d'animation qui sera utilisé par l'animateur doit être élaboré suffisamment tôt pour que l'animateur ait le temps d'en prendre connaissance. L'évaluateur doit indiquer les thèmes d'étude et proposer les questions à aborder avec les participants. Il est important de rappeler que les participants doivent se sentir libres de développer d'autres questions liées aux problématiques prévues. Il est préférable d'indiquer en italique les recommandations à l'animateur (et notamment ce qu'il doit particulièrement veiller à collecter). Quelques conseils :

  • condenser les questions : la liste des questions ne doit pas être trop longue. Il ne s'agit pas d'un questionnaire mais d'un aide-mémoire. L'animateur doit formuler les questions selon la réactivité de l'assistance et la teneur des témoignages. De ce fait, certaines questions préparées par l'évaluateur ne seront pas soumises directement à l'assistance, car elles auront été abordées spontanément parles participants ;
  • éviter les questions sous forme d'alternative, car l'expérience montre que seule la première partie de la question est prise en compte.

Planifier les focus groups

Cette étape repose essentiellement sur les disponibilités de calendrier des personnes invitées aux focus groups, sur celles de l'équipe d'évaluation et des personnes ressources, et enfin sur l'avancée suffisante des travaux préparatoires à la réalisation des focus group.

Qui réalise les focus group?

Les focus groups sont généralement menés par un animateur (ou modérateur) qui doit être sélectionné en fonction de sa capacité à créer et à maintenir une dynamique de groupe. C'est, en effet, de celle-ci que va dépendre la qualité du focus group. De plus, il est le garant d'une discussion centrée et pertinente entre les participants. Il doit donc être bien informé des thématiques et enjeux de l'évaluation.

Quelles sont les compétences de l'animateur?

Les focus groups doivent être réalisés par une personne qualifiée. Elle doit :

  • bien maîtriser la problématique de l'évaluation,
  • bien maîtriser les techniques d'animation de groupe,
  • parler la langue des participants de la réunion,
  • posséder une connaissance suffisante des caractéristiques sociales et culturelles des participants afin de :
    • respecter les us et coutumes,
    • comprendre certains jeux de pouvoir entre les membres du groupe,
  • ne pas être partie prenante des enjeux de pouvoir et des conflits sociaux entre les participants.

Si l'évaluateur n'est pas qualifié dans une ces compétences, il doit faire appel à un animateur local.

La formation de l'animateur

Même si l'animateur doit être recruté en fonction de sa technique d'animation, il est rare que celui-ci ait une bonne maîtrise de l'animation des focus group. Il est donc nécessaire de le former sur les enjeux du focus group dans le cadre de l'évaluation et sur le type d'animation favorisant la réussite du focus group. Il peut être nécessaire de prévoir une journée de formation.
Cette séance de formation comprend la présentation du guide d'animation, des précisions sur les enjeux du focus group et sur le déroulement souhaité par l'évaluateur. Il est important de vérifier avec l'animateur et avant la séance que tous les termes et les expressions utilisés dans le guide d'animation sont bien compris.

Exemple (tiré de la mission test de l'outil au Bénin)

Avant la séance du focus group, l'animateur signale qu'il ne comprend pas la question suivante : « Le problème qui empêche les femmes de se rendre davantage dans les formations sanitaires est-il le coût des soins ou la disponibilité en liquidité ? » Après discussion avec l'évaluateur, la formule retenue par l'animateur devient : « Le problème qui empêche les femmes de se rendre davantage dans les formations sanitaires est-il la cherté des soins ou la disponibilité de l'argent ? ». Cet exemple souligne d'une part que le français parlé à l'étranger connaît des inflexions qu'il faut débusquer rapidement et d'autre part, qu'il est souhaitable d'éviter le plus possible des mots abstraits, ou le cas échéant, de s'assurer de les expliquer correctement à l'animateur.

Les conseils qui peuvent être donné à l'animateur:

  • rebondir sur les témoignages pour obtenir plus d'information ;
  • veiller à ce que tout le monde ait le temps d'exprimer son opinion ;
  • pour chaque thème abordé, faire une synthèse et demander aux participants de réagir dessus;
  • reformuler les questions si elles n'ont pas été bien comprises ;
  • prendre en compte le langage corporel (hochement de tête, rires)…

Quel est le rôle de l'animateur ?

-Produire
  • formuler le problème à résoudre sans donner de solutions,
  • préciser la situation de départ,
  • énoncer les hypothèses,
  • centrer les discussions sur les points majeurs du guide d'entretien.
-Aider
  • faire le point sur le travail du groupe,
  • hiérarchiser les problèmes posés,
  • reformuler les points obscurs,
  • relancer le débat.
-Moduler
  • rechercher les causes de blocage du groupe,
  • éviter les tensions,
  • contrôler les "leaders" et relancer les "timides",
  • prendre en compte les silences et les moments d'hésitation du groupe.

Le rôle de la personne ressource ou de l'intermédiaire

Il est souvent utile de mobiliser des personnes ressources pour aider l'évaluateur à sélectionner les participants.
La dynamique du groupe dépend de sa composition, et la présence d'une ou deux personnes prenant aisément la parole et incitant les autres à se joindre aux débats peut favoriser la dynamique. La personne ressource peut s'assurer de la présence de tels participants au sein du groupe.
La personne ressource peut aussi se charger de préparer les participants à la réunion ; leur expliquer les modalités de déroulement, les thématiques et les objectifs du focus group.

Le rôle d'un observateur

L'observateur peut être très utile, en plus de l'animateur, pour garder une mémoire des échanges de points de vue, notamment contradictoires, qui ont eu lieu pendant le focus group.
Il peut également prendre des notes, ce que n'a pas toujours le temps de faire correctement l'animateur, en plus de son rôle.

Comment déterminer la composition des groupes?

Comment constituer les groupes en fonction des objectifs ?

Composition des groupes en fonction des objectifs


Lorsque le focus group est utilisé comme un outil de formulation de points de vue par un groupe, il existe deux possibilités en fonction de la composition du groupe :

Le groupe est composé de personnes aux fonctions et positions relativement similaires

Lorsqu'un groupe est socialement homogène, les participants peuvent s'exprimer plus librement. Pour qu'il y ait débat, il faut cependant s'assurer que les participants n'aient pas des positions trop identiques vis-à-vis des questions proposées. Des analyses, des visions et des expériences différentes peuvent être confrontées sur une base commune de compréhension.

Exemple (tiré de la mission test de l'outil au Bénin)
Lors de la mission, quatre focus groups ont été organisés. Celui qui a le mieux fonctionné réunissait des médecins du secteur privé et public de la zone de Cotonou. Le groupe était socialement homogène mais les expériences de chacun des participants différaient selon les lieu d'activités et les institutions dans lesquelles ils intervenaient.

Dans le cas d'une composition homogène, le focus group est utilisé comme un outil permettant d'approfondir les informations et les points de vue d'une catégorie spécifique d'acteurs, qui partage les mêmes intérêts stratégiques (en termes de positions sociales et institutionnelles). Il permet de comprendre ce que les participants pensent mais aussi pourquoi ils le pensent. Le focus group offre alors à l'évaluateur une vision globale des expériences, des opinions, des attitudes et des besoins des participants

Le groupe est composé de personnes aux fonctions et positions différentes

L'évaluateur peut alors faire l'hypothèse que leurs analyses et points de vue par rapport aux questions débattues seront relativement divergents. Dans ce cas, le focus group est plutôt utilisé comme un moyen d'expression publique de ces informations. Il donne à chaque catégorie de participants l'occasion de présenter et d'argumenter son point de vue. Il permet alors de collecter des témoignages. Il permet aussi à l'évaluateur de préciser les éléments de convergence, de divergence et de complémentarité des points de vue représentés dans ce groupe. La dynamique d'expression de points de vue parfois contradictoires permettra à l'évaluateur de dégager des analyses et des compréhensions nouvelles concernant les tenants et les aboutissants de ces divergences.

Cas spécifiques

La composition des groupes peut parfois fausser le contenu des informations et les analyses discutées.

Exemple

  • Dans des sociétés hiérarchisées, certaines catégories éprouvent des difficultés à s'exprimer publiquement devant leurs supérieurs, et encore plus à défendre un point de vue contradictoire. C'est une des raisons du caractère artificiel des réunions villageoises d'analyse d'impact. Cette réalité sociale est souvent sous-estimée par les évaluateurs.

Des groupes formés d'agents et de cadres dirigeants d'une même institution peuvent également être montés. L'évaluateur devra, dans ce cas, rester vigilant sur les effets du caractère public de l'expression des points de vue.

Exemple

  • Dans des sociétés peu démocratiques, une prise de parole publique, voire même la demande par l'évaluateur d'une telle prise de parole, peut engendrer des risques pour les participants.

Les participants peuvent volontairement déformer leurs messages pour différentes raisons. Ils peuvent s'adresser en réalité à d'autres participants. Dans un autre cas de figure, ils peuvent défendre les intérêts stratégiques de leur groupe, l'évaluateur étant pris à partie, voire instrumentalisé s'il n'y prend garde.
L'évaluateur doit donc toujours être vigilant et maîtriser le déroulement de l'entretien de groupe. Il doit en particulier éviter qu'un individu monopolise la parole, qu'une coalition se forme et qu'elle domine le groupe. Enfin, il doit veiller à l'équilibre du temps de parole et à la teneur des propos.

Comment déterminer la taille du groupe ?

L'entretien collectif peut réunir des groupes de tailles très variables. Il est néanmoins conseillé de ne pas excéder 10 à 15 personnes par entretien, afin que chacun puisse s'exprimer effectivement.
En cas de groupes plus importants, il est possible de répartir les participants en sous-groupes d'entretiens collectifs, au moins sur une partie du temps. Il faut pour cela s'assurer de disposer de suffisamment d'animateurs pour chaque sous-groupe.
A l'inverse, en dessous de 4 ou 5 personnes, il est difficile de créer la dynamique de groupe qui constitue la "valeur ajoutée" de l'entretien collectif.

Comment animer la dynamique de groupe?

Présenter l'équipe en charge du focus group

Avant la séance de travail du focus group, il est important de rappeler le cadre de l'évaluation et ses objectifs ainsi que de ne pas oublier la présentation de l'équipe. Ces préalables permettent de limiter les malentendus susceptibles de modifier le discours des participants.

Exemple (tiré de la mission test de l'outil au Bénin)

Lors du focus group auprès des femmes du village de Porto-Novo, les participantes ont insisté avec pugnacité sur les travers des centres de santé publics : elles ont cru que le focus group était organisé par des représentants du Centre hospitalier. L'animateur a dû alors préciser à nouveau l'objectif du focus group et les fonctions de l'équipe qui l'anime afin de ne pas recueillir des témoignages uniquement sur les centres de santé publics.

L'évaluateur doit ainsi garder à l'esprit que lorsqu'il anime des focus group auprès des bénéficiaires, il est perçu comme le représentant des bailleurs de fonds, ce qui en fait le porte-parole idéal des dysfonctionnements constatés par les participants. Il doit donc être vigilant au fait que les participants sont naturellement portés à l'utiliser pour faire passer un message à d'autres groupes (de la société civile ou politiques). Ce n'est pas en soi un handicap pour la dynamique du focus group car cela permet un échange plus vif que le simple témoignage d'expériences personnelles.

Comment choisir la ou les méthodes d'animation de groupe ?

Au cours d'un focus group, l'animateur a souvent recours à différents modes d'animation de groupe, afin d'éviter la monotonie, le relâchement ou parce que la dynamique de groupe évolue.
L'entretien de groupe ne doit pas devenir une somme d'entretiens individuels. Il faut donc veiller à créer et maintenir une interaction dynamique entre les participants. Cette dynamique dépendra de la qualité de l'animation.

Concernant le mode de participation, on peut distinguer:

  • Les entretiens de groupe organisés sur un mode réactif: les participants sont amenés à donner des points de vue etc. sur des informations, analyses ou propositions élaborées par l'évaluateur comme support de réflexion collective. Ce mode d'animation permet de recueillir des informations et de valider les propositions des évaluateurs.
  • Les entretiens de groupes organisés sur un mode pro-actif: les informations et témoignages des participants servent de matière brute à l'élaboration collective d'analyses, voire de propositions.

Concernant le mode d'animation, on peut distinguer:

  • Les entretiens conduits à partir d'une thématique relativement large et une animation très "ouverte": l'objectif recherché est alors de recueillir des informations, des points de vue, des pistes de réflexion. Ce mode d'animation est souvent mis en place au début de l'évaluation.
  • Les entretiens conduits sur un mode plus structuré, plus directif et sur une thématique assez restreinte : l'objectif est alors d'amener les participants à produire une analyse ou des propositions.
  • Les entretiens conduits sur un mode interactif entre l'animateur et les participants, davantage que sur les interactions entre participants : l'objectif est alors de tester et de valider des conclusions ou des propositions émanant des évaluateurs.

Quelles suggestions pour animer les discussions d'un groupe ?

A faire ou à éviter dans l'animation d'un groupe

A faire

A éviter

Faire attention à son attitude générale vis-à-vis des participants : être détendu tout en étant attentif, concentré Interrompre brutalement les participants
Souligner l'intérêt pour les propos des participants par des expressions comme "je vois", "je comprends" Manifester de l'étonnement, de l'impatience ou de la désapprobation
Etre très attentif à ne pas accepter l'opinion d'une seule personne comme représentative de celle de tout le groupe Donner sa propre opinion
Encourager les timides à prendre la parole Laisser le monopole de la parole à quelques uns, pouvant dériver sur de longs monologues
Laisser les participants discuter entre eux s'ils sont bien en train de débattre de la question posée et s'ils le font à suffisamment haute voix pour que tous les participants puissent entendre Se laisser déborder par le groupe
Ne donner la parole qu'à une seule personne à la fois Vouloir à tout prix combler un silence. Il peut être révélateur d'un mouvement collectif particulier, à relever
Maîtriser le ton des débats et veiller à ce que s'expriment les avis contradictoires librement Laisser s'exprimer des expressions trop brutales, des affirmations critiques non fondées etc.
S'adresser d'abord à l'assistance, puis désigner un participant (volontaire ou non). Puis, après chaque thème ou question abordé, veiller à ce que tout le monde ait le temps d'exprimer son opinion par des questions comme " quelqu'un a-t-il quelque chose à rajouter ? " Lorsque l'assistance n'est pas réactive, donner la parole en faisant un tour de table et procéder de la sorte durant toute la séance, sans tenter de changer de rythme
Ne pas être lié par le guide d'animation : rebondir sur les témoignages pour obtenir plus de précision, en prenant soin de résumer ce qui vient d'être dit Se sentir lié par l'ordre des questions du guide d'animation
Reformuler les questions lorsqu'elles ne donnent pas satisfaction au regard des objectifs du focus grouo Laisser en suspens une réponse jugée insuffisante au regard des objectifs du focus grouo
Prendre en compte le langage corporel en demandant des explications de ces manifestations aux participants Ignorer les différentes formes d'expression des participants

L'évaluateur ne doit pas chercher à tirer des éléments quantitatifs du focus group, et encore moins d'en attendre une quelconque représentativité concernant l'ensemble d'un groupe cible, par exemple de bénéficiaires. Il ne doit pas négliger l'effet de distorsion des opinions personnelles provenant de l'effet de groupe (enjeu d'appartenance, de reconnaissance, effet de leadership, d'affirmation exagérée, création artificielle de conflit du fait de la confrontation des opinions, etc.).

Comment gérer le rythme du focus group?

Plusieurs éléments doivent être pris en compte :

  • Prévoir la durée de l'entretien de groupe : au moins une demi-journée. Il faut en effet un certain temps pour qu'un groupe commence à donner des résultats collectivement.
  • Structurer la réunion en étapes, avec des moments de restitution intermédiaire au groupe. Ces moments sont nécessaires pour vérifier et stabiliser progressivement les affirmations et les points de vue exprimés.
  • Veiller à créer rapidement une dynamique et un effet de groupe afin de ne pas rester sur une logique de type "somme d'individus". Il faut donc assurer une ambiance confiante et détendue, une prise de parole bien équilibrée, etc.
  • Maintenir la dynamique de groupe, notamment en alternant les méthodes d'animation.

Une même réunion peut être rythmée par des moments où le groupe est "réactif" à la présentation d'une analyse, d'informations, etc. et des moments où il est "proactif", c'est-à-dire placé en situation de produire directement des informations organisées et des analyses.

Quel mode de structuration ?

La participation sur un mode "proactif" nécessite une animation très structurée. A cette fin, elle peut s'appuyer sur des supports visuels ou auditifs, ainsi que sur des exercices, des simulations, des moments de synthèse, de récapitulation etc.
La progression peut être préparée avec différentes séquences prévues à l'avance. Néanmoins il reste difficile d'anticiper sur la qualité de la dynamique de groupe, et sur son rythme effectif.

Comment garder la mémoire des information?

Au cours de la réunion, la prise de notes sur un paper board ou d'autres outils de visualisation collectif permet au groupe de suivre et de contrôler la synthèse des informations.

L'évaluateur doit toujours conclure la réunion par une synthèse, pour restituer au groupe le résultat de sa production et vérifier qu'il n'y a pas de désaccord ou d'incompréhension. Cette restitution doit rester informelle pour éviter les longues discussions de validation formelle.

L'animateur ou l'observateur peuvent noter les catégories de participants qui s'expriment beaucoup et ceux qui le font peu; celles qui s'adressent aux autres ou peu etc. Ces remarques seront importantes pour contextualiser a posteriori les propos tenus.

Après la réunion, les rapporteurs et l'animateur revoient et confrontent leurs notes afin d'identifier et de combler les lacunes éventuelles. Il est aussi utile que les évaluateurs analysent la dynamique de la séance afin de considérer les contraintes et de décider des corrections éventuelles à apporter pour les focus groups ultérieurs.

Un bon moyen de garder en mémoire aussi bien les remarques sur le déroulement de la séance que le contenu des discussions est de les enregistrer. Cela permet de garder les propos in extenso, de libérer l'observateur qui peut ainsi se concentrer sur les éléments importants qui figureront dans la synthèse de la journée et intervenir dans la session pour des questions oubliées par l'animateur ou des éclaircissements.

Cela est particulièrement recommandé pour les focus group en langues locales. Dans ces cas, les prises de notes étant généralement effectuées dans une autre langue (français, anglais, espagnol, …), on observe une grande déperdition du verbatim de la session. ,L'enregistrement permet de récupérer ce que les prises de notes n'ont pu mémoriser. Dans la mise en œuvre d'un focus group, l'évaluateur devra donc prévoir la journée de travail supplémentaire nécessaire à la transcription de la séance.

Quelques suggestions sur la prise de notes pendant le focus group

Les notes sont rédigées à la première personne pour refléter les paroles exactes telles qu'on les entend. Les mots clefs et les idées fortes sont mis en évidence dans la prise de notes.
Les phrases originales et les dictons populaires sont notés tels quels pour ne pas être déformés
Les notes doivent être aussi complètes que possible et toutes les divergences d'opinion doivent y figurer.

Quel traitement des résultats ?

Le traitement dépend beaucoup de la qualité de structuration du focus group.

Cas du focus group très structuré

Dans ce cas, il est plus facile de grouper les réponses et d'identifier quelle partie du groupe a eu telle opinion, face à telle autre qui ne la partageait pas, sur telle question abordée.
Les résultats sont alors assez simples à mettre en place, et peuvent être directement utilisés par l'évaluateur.

Cas du focus group peu structuré

Le focus group se rapproche alors de la conversation entre plusieurs personnes. Peu de conclusions ont été formulées et adoptées collectivement par les participants. Dans ce cas, le traitement des résultats issus du focus group ressemblera davantage de celui des entretiens individuels.
Il s'agit d'une somme d'opinions individuelles, que l'évaluateur peut citer. L'avantage de ces opinions par rapport à l'entretien individuel, réside toutefois dans le caractère d'expression publique de ces opinions, qui les rend plus déterminantes car susceptibles d'être immédiatement contredites.

Quelles sont les ressources nécessaires?

Le focus group est un outil dont les coûts restent modestes. Ils varient toutefois selon le nombre de réunions collectives organisées et selon la complexité de leur organisation (distance, etc.). Le focus group s'avère en général moins cher qu'une enquête.

Les éléments de coût à prendre en compte

En plus du temps de travail et des frais de déplacement du ou des évaluateurs, il est nécessaire de prévoir :

  • La rémunération de spécialistes de l'animation de groupes, si l'évaluateur lui-même n'est pas en mesure de le faire
  • La formation éventuelle d'animateurs locaux
  • La rémunération éventuelle d'intermédiaires pour organiser des réunions à longue distance
  • La rémunération éventuelle d'interprètes
  • Les frais de déplacement des participants
  • Les frais de restauration, logistique, location de salles…

L'évaluateur doit-il accepter de tout rémunérer ?

Certains évaluateurs rémunèrent les participants à des focus group, en leur accordant par exemple des per diem en plus de la prise en charge des frais de déplacement et de restauration.
Il faut rester très prudent concernant cette pratique qui peut biaiser l'expression des participants et remettre en cause la validité des résultats. Cependant, il est vrai qu'en fonction du métier du participant (par exemple un commerçant ou un agriculteur), le manque à gagner en consacrant une demi ou une journée entière disponible pour le focus group peut être important.
Dans ce cas, il convient de rester pragmatique et de faire de l'indemnisation des participants une pratique exceptionnelle, avec des montants très modestes. Il ne faut surtout pas qu'elle soit la principale raison de la participation d'une personne, et encore moins que les autres participants aient l'impression que leur opinion a été "achetée".

.

EN EVALUATION PAYS

.

Pourquoi l'utiliser dans ce contexte?

Dans une évaluation pays/région, la question centrale est moins de savoir comment recueillir les informations, que de déterminer lesquelles rechercher, auprès de qui, sur une question très vaste et au cours d'une période réduite.

Quelles sont les difficultés spécifiques en évaluation pays ?

L'identification des enjeux stratégiques et des bénéficiaires

Un des enjeux de l'évaluation pays est de déterminer précisément les catégories d'acteurs qui ont effectivement été bénéficiaires d'une façon ou d'une autre de la politique mise en place. Il lui faut ensuite analyser les stratégies et logiques déployées par les différents groupes d'acteurs vis-à-vis de la politique évaluée.

Le grand nombre d'acteurs

L'évaluation pays est souvent confrontée à la difficulté du grand nombre d'acteurs à rencontrer : institutionnels en amont, opérateurs et acteurs de la mise en œuvre, bénéficiaires, etc

La sélection des participants

La sélection de personnes et d'institutions auprès de qui recueillir des informations et des points de vue est parfois trop restreinte. Souvent effectuée en début d'évaluation pour des questions de gestion du calendrier, elle n'est pas forcément adaptée aux enjeux et problèmes stratégiques.

Le manque de temps

Les évaluateurs sont souvent amenés à utiliser une grande partie de leur temps pour des entretiens individuels avec des institutionnels, et peuvent manquer de temps pour les études d'impact auprès des bénéficiaires (d'autant que la mesure de l'impact en évaluation pays s'avère délicate).
Le temps imparti et les budgets ne permettent pas d'effectuer des séries d'entretiens avec toutes les catégories d'acteurs potentiellement impliquées par la politique évaluée.

En quoi le focus group est-il adapté à ces difficultés ?

L'entretien de groupe a été jusqu'alors assez peu pratiqué en évaluation pays/région.
Pourtant, il gagnerait à l'être davantage, à toutes les phases de l'évaluation.
Dans le contexte de l'évaluation pays, le focus group peut donc être utilisé au service de deux objectifs :

  • pour identifier et analyser des problématiques,
  • pour mener une analyse d'impact.

Une importance variable sera accordée à ces deux objectifs, en fonction de la nature de l'évaluation, ex ante, à mi-parcours ou ex post. L'usage de le focus group dans une évaluation ex ante, par exemple, aura davantage pour finalité de définir les besoins et les priorités avec les acteurs susceptibles d'être concernés par un programme ou une politique. L'objectif d'analyse d'impact, quant à lui, sera peut-être moins recherché. Il n'est toutefois pas exclu : les évaluateurs peuvent chercher à mesurer l'impact d'une politique antérieure ou d'un autre bailleur, afin de mieux définir les orientations à prendre pour la nouvelle.
Dans une évaluation à mi-parcours, le focus group peut viser davantage à recueillir des opinions ou des suggestions d'acteurs opérationnels parties prenantes ou de bénéficiaires. Dans ce cas, il s'agit de mieux cerner les dysfonctionnements ou de souligner les points forts, dans la perspective des recommandations à faire réorientant la politique en cours.
La richesse du focus group en fait un outil souple qui peut s'adapter à différentes phases et à différents types d'évaluation. Il revient aux évaluateurs de bien définir dans leur méthode, au préalable, ce qu'ils en attendent.

Comment l'utiliser dans ce contexte?

En réponse à certaines difficultés propres au contexte de l'évaluation pays/région, le focus group peut être défini selon trois objectifs.

Un outil d'identification et d'analyse des problématiques

Dans ce cas, le focus group gagne à être combiné avec l'entretien individuel.

Première phase d'entretiens individuels

Quelques entretiens individuels très ciblés sont réalisés pour appréhender les enjeux. Ils sont centrés sur quelques personnes :

  • qui ont une vision assez globale de la politique, de ses objectifs et de ses effets,
  • qui ont des situations institutionnelles différentes, afin d'éviter l'écueil d'une vision initiale trop centrée sur le point de vue des institutionnels en charge de la définition et du pilotage de cette politique.
Deuxième phase de focus group

Sur la base du résultat de ces premiers entretiens, un ou plusieurs focus group sont organisés avec :

  • des responsables et des acteurs impliqués dans la définition et la mise en œuvre de la politique,
  • des acteurs qui ont une vision plus large sur les effets.

Ainsi, le premier cercle des acteurs ayant participés aux entretiens individuels est élargi.
L'objectif est l'approfondissement collectif et le partage d'un premier choix d'analyses stratégiques à mettre en débat et sur lequel centrer le questionnement.
Ce type d'entretiens d'identification peut être décliné à différentes échelles pays et sur différents secteurs. Il permet de consulter rapidement de nombreux institutionnels.

Un outil d'analyse d'impact

Il s'agit avant tout d'identifier et analyser quels ont été les groupes d'acteurs sur lesquels la politique a eu un impact (positif ou négatif).

Ces groupes d'acteurs ne doivent pas être limités aux seuls bénéficiaires finaux des programmes mis en place. Il faut aussi considérer ceux qui, aux différentes échelles de responsabilité, ont tiré un avantage de la politique évaluée (et lequel) ou ont été touchés d'une manière ou d'une autre.
Des bénéficiaires "imprévus" au moment de la définition de la politique peuvent également exister et être pris en compte.
Dans le cadre de l'évaluation pays, l'analyse d'impact concerne donc aussi un ensemble de catégories intermédiaires entre les décideurs et les bénéficiaires finaux.
Trois types d'entretiens peuvent être menés dans cet objectif d'analyse d'impact et en complément d'une série d'entretiens individuels.

Trois types d'atelier

Type d'entretien

Type de groupe

Focus group d'identification des différents groupes et de leurs intérêts stratégiques Groupe assez disparate d'acteurs et/ou de bénéficiaires aux intérêts non encore identifiés
Focus group d'approfondissement au sein de chaque groupe Groupes distincts d'acteurs et/ou de bénéficiaires, constitués en fonction d'intérêts stratégiques communs en leur sein et différents, voire contradictoires les uns des autres
Focus group de confrontation des points de vue Groupe reconstitué de représentants des différents groupes d'intérêts stratégiques en présence.

.

EXEMPLES

.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
L'utilisation du focus group a-t-elle été justifiée ?  
Les thèmes à débattre dans le focus group ont-ils été clairement identifiés au préalable ?  
A-t-on mis à disposition des participants des documents de support ?  
A-t-on sélectionné des animateurs en langue locale maîtrisant les techniques d'animation des focus group ?  
Les participants ont-ils été informés au préalable de l'objectif du focus group et des thèmes abordés ?  
Mise en œuvre
 
Les animateurs ont-ils été informés du cadre dans lequel le focus group est mis en oeuvre ?  
Ont-ils été formés sur le sujet et les enjeux du focus group ?  
La neutralité des animateurs vis-à-vis des enjeux de la thématique des focus group a-t-elle pu être assurée ?  
A-t-on recueilli le verbatim des participants ?  
La restitution a-t-elle distingué les informations des opinions exprimées ?  
Les points de vue des différentes catégories d'acteurs sont-ils présentés de façon explicite ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Préparation et Conception
 
L'utilisation du focus group a-t-elle été justifiée ?  
Les thèmes proposés au focus group ont-ils été identifiés au préalable ?  
La restitution a-t-elle distingué les informations des opinions exprimées ?  
La diversité des points de vue et des opinions selon les catégories d'acteurs est-elle restituée ?  
Les points de vue des différentes catégories d'acteurs sont-ils présentés de façon explicite ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire

Questionnaire

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

L'enquête par questionnaire est un outil d'observation qui permet de quantifier et comparer l'information. Cette information est collectée auprès d'un échantillon représentatif de la population visée par l'évaluation.

Un questionnaire est un ensemble de questions construit dans le but d'obtenir l'information correspondant aux questions de l'évaluation. Les répondants ne sont pas sollicités pour répondre directement à celles-ci : un bon questionnaire décline en effet la problématique de base en questions élémentaires auxquelles le répondant saura parfaitement répondre.

Les enquêtes combinent souvent deux formes de questionnaire, avec une dominante de questions fermées et quelques questions ouvertes, plus riches mais aussi plus difficiles à traiter statistiquement.

Le questionnaire fermé

Dans un questionnaire fermé, les questions imposent au répondant une forme précise de réponse et un nombre limité de choix de réponses. Les questionnaires fermés sont utilisés pour obtenir des renseignements factuels, juger d'un accord ou non avec une proposition, connaître la position du répondant concernant une gamme de jugements, etc.

Le questionnaire ouvert

Dans un questionnaire ouvert, la personne interrogée développe une réponse que l'enquêteur prend en note. Dans ce cas, l'enquête par questionnaire ouvert ressemble à un entretien individuel de type directif. Une question ouverte laisse la réponse libre dans sa forme et dans sa longueur.

Quels usages peut-on faire de l'enquête par questionnaire en évaluation pays ?

L'enquête par questionnaire est l'outil qui, dans une évaluation pays, permet le mieux de collecter des informations auprès de la population avec possibilité de comparer et quantifier le poids respectif des opinions exprimées. Il convient particulièrement pour connaître le degré de satisfaction des bénéficiaires finaux.

Le questionnaire fermé présente l'avantage de permettre un traitement statistique à un coût limité. Il peut en cours de réalisation se révéler inadapté si l'évaluateur s'aperçoit que certaines questions nécessitent d'être plus finement analysées.

En faisant le point quotidiennement avec les enquêteurs, l'évaluateur peut décider d'approfondir certaines questions au cours des entretiens, voire d'ajouter aux questions des sous-questions permettant une analyse plus fine.

Comment mettre en oeuvre l'enquête par questionnaire?

Encadré 1 - Schéma global de la mise en œuvre de l'enquête par questionnaire

Encadré 2 - Les conditions d'emploi de l'outil en évaluation
Pour la rédaction des questions Une connaissance préalable du contexte de l'évaluation et des enjeux du programme pour les bénéficiaires.

Avoir tous les éléments pour couvrir le champ de l'enquête.

Pour l'élaboration de l'échantillon Disposer d'une base d'informations statistiques minimales.

Vérifier l'accès physique et logistique des répondants.

Pour la mise en œuvre du questionnaire Identifier un partenaire local fiable, capable de mettre à disposition les ressources humaines et matérielles.

Avoir le temps de réaliser toutes les étapes préliminaires de mis au point du questionnaire et de l'échantillon sans lesquelles les résultats risquent d'être décevants

La bonne gestion du temps est un pré-requis de l'enquête par questionnaire. Dans le cadre de la mission test de l'outil au Bénin, l'identification du partenaire béninois eut lieu un mois et demi avant le lancement des missions de terrain ; une personne prépara l'arrivée de l'équipe d'évaluation 2 semaines avant, pour finaliser l'échantillon, les questionnaires et effectuer la formation des enquêteurs.

Comment élaborer le questionnaire ?

Se poser les bonnes questions
  • Qu'est-ce que je cherche ?
  • Chacune des questions est-elle strictement nécessaire ?
  • Une seule question suffira-t-elle pour obtenir cette information?
  • La personne interrogée sera-t-elle en mesure de répondre?
  • La personne interrogée voudra-t-elle fournir l'information exacte?
Structurer et rédiger le questionnaire
  • Cerner le sujet d'investigation et cibler le questionnaire de façon précise
  • Prévoir des questions qui se recoupent pour vérifier la fiabilité et la cohérence des questions
  • Formuler des questions claires pour les répondants, concises, univoques, neutres, précises, et impliquant la personne interrogée

Comment préparer l'enquête ?

Construire l'échantillon

Le choix de la méthode est liée à la définition de la population qui constituera le public-cible. Cette définition dépend :

  • de l'objet de l'enquête,
  • des hypothèses de travail choisies,
  • de la nature des documents disponibles,
  • des contraintes de l'évaluation,
  • du degré d'homogénéité de la population,
  • et de l'étendue du territoire de l'enquête.

Différentes formes de construction de l'échantillon peuvent donc être développées : échantillon simple, stratifié, sondage par grappes, par quotas, en boule de neige, etc.

Méthode d'échantillonnage utilisée pour l'administration des questionnaires auprès des ménages de la mission test au Bénin :

" La méthode est celle de l'itinéraire qui permet à l'enquêteur d'identifier les points d'enquête en dénombrant les ménages en longeant les rues, de les enregistrer dans le bordereau de dénombrement des ménages, afin de procéder à la sélection des ménage-échantillons et d'interviewer le chef de ménage et/ou son épouse.

Le dénombrement doit être entamé à partir de la maison du chef de quartier/village et en évoluant dans le sens des aiguilles d'une montre, segment par segment, de manière à balayer tout le quartier/village et atteindre le nombre de ménages à enquêter.

Le numéro d'ordre du premier ménage à enquêter est le numéro aléatoire fourni par le centre d'enquête. Les numéros des autres points d'enquête seront obtenus en progressant avec le pas de tirage fourni également par le centre d'enquête.

Par exemple : si le premier numéro fourni est 3 et si le pas de tirage est égal à 5, c'est le troisième ménage de la liste du bordereau qui sera enquêté. Les autres ménages à enquêter devront porter les numéro 8, 13, 18, 23, ….etc. "

Tester le questionnaire

Il s'agit de vérifier la clarté des questions, la facilité à répondre, la durée et la fluidité du questionnaire, les problèmes que peuvent rencontrer les enquêteurs, etc.

Comment administrer le questionnaire ?

L'administration du questionnaire dépend beaucoup du contexte :

  • En pays développés : les enquêtes par téléphone, mail ou Internet sont de plus en plus pratiquées.
  • En pays en développement : l'enquête en face à face reste le moyen le plus sûr d'obtenir les informations recherchées. Il est tout de même possible d'utiliser les autres moyens en fonction des acteurs (agents locaux de développement par exemple).

Rappelons que pour des raisons linguistique (surtout auprès des bénéficiaires finaux) et de temps de préparation, il est vivement conseillé aux évaluateurs d'avoir recours à un partenaire local capable de mettre à disposition les ressources humaines - enquêteurs, statisticiens, démographes, etc. - et les ressources matérielles - transport, informatique, données démographiques, etc. - dont l'évaluateur ne peut disposer sur place.

Comment analyser et interpréter les résultats ?

  • Codage des questionnaire : attribution d'un code à chaque réponse en vue de leur inscription sur un support adapté à un traitement informatique. Les réponses sont regroupées en catégories pertinentes.
  • Comptage des résultats et corrélations : toujours se référer au cadre défini par les hypothèses de travail
  • Analyse des résultats : dans les évaluations, des traitements simples suffisent le plus souvent, même si l'établissement de corrélations entre des éléments enrichit l'analyse.

L'exploitation des questionnaires fermés risque de ne pas produire les résultats attendus. Lors de la mission test au Bénin, bien que le partenaire local ait été équipé pour ce type de traitements statistiques, l'exploitation a été décevante et moins complète que si elle avait été directement dirigée par l'évaluateur.

Quelles sont les ressources nécessaires ?

Encadré 3 - Les ressources nécessaires
En temps La réalisation d'une enquête par questionnaire exige une préparation minutieuse et un temps de réalisation proportionnel à l'importance du questionnaire, à la taille de l'échantillon et aux difficultés de terrain.

La construction du questionnaire à destination de groupes précis nécessite de disposer de suffisamment d'informations et d'hypothèses, ce qui implique que l'enquête ne peut se dérouler en début d'évaluation.

Humaines S'il existe des spécificités culturelles ou dialectales, recruter les enquêteurs localement.

S'appuyer sur des organisations spécialisées.

Organiser une ou plusieurs journées de formation-encadrement des enquêteurs.

Financières Rémunération des enquêteurs.

Coûts relatifs à la logistique.

Quels sont les avantages et les limites de l'outil?

Encadré 4 - Les avantages et les limites
Avantages Information quantifiée et fiable

Utile pour mesurer le changement et faire des comparaisons entre opinions

Permet de consulter un grand nombre de bénéficiaires finaux

Permet de travailler sur un "modèle réduit" de la population cible

Permet de mesurer les résultats d'un programme ou d'une politique

Limites Demande un temps de réalisation qui excède la durée moyenne d'une mission d'évaluation

Nécessite des ressources importantes et une logistique lourde fournies par un partenaire local fiable

Nécessite de disposer de données sur la situation de départ

Mobilise une équipe de travail importante pour l'administration du questionnaire et le traitement des résultats

Difficultés éventuelles à constituer l'échantillon représentatif

Ne peut fournir qu'une image simplifiée de la réalité

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire > Outil détaillé

Outil détaillé

.

Structure de la section:

.

DEFINITION

.

Qu'est ce qu'une enquête par questionnaire?

A quoi sert l'enquête par questionnaire ?

L'enquête par questionnaire consiste à collecter des réponses à une série de questions standardisées auprès d'un nombre assez important de personnes.

Un questionnaire est un ensemble de questions construit dans le but d'obtenir l'information correspondant aux objectifs d'une étude. Le questionnaire permet de standardiser l'information collectée dans une enquête. Les informations qu'il recueille sont utiles pour évaluer ou changer une situation donnée.

Les personnes sur lesquelles porte l'enquête sont choisies selon différentes méthodes afin de constituer un échantillon représentatif de l'ensemble de la population auprès de laquelle on cherche des informations.

Existe-t-il différentes formes d'enquête par questionnaire ?

Il existe principalement deux types de questionnaire:

  • Le questionnaire fermé,
  • Le questionnaire ouvert.

Les enquêtes combinent souvent les deux formes, avec une dominante de questions fermées et quelques questions ouvertes, plus riches mais aussi plus difficiles à traiter statistiquement.

Le questionnaire fermé

Les questions fermées sont des questions pour lesquelles on impose au répondant une forme précise de réponse et un nombre limité de choix de réponses. Cette forme est utilisée pour obtenir certains renseignements factuels, pour juger d'un accord ou non avec une proposition, pour connaître la position du répondant concernant une gamme de jugements, etc.

Les questions fermées ne sont pas adaptées au recueil d'informations nuancées. Par contre, elles sont plus utiles à l'analyse statistique, car les réponses sont prédéfinies et prévues.

Les types de questions en questionnaire fermé

Type de questions fermées Nombre de réponses proposées Nombre de réponses souhaitées Remarques
Questions dichotomiques 2 1 Facile d'usage
Questions à choix multiples (QCM) et réponse unique Plusieurs 1 La différence entre les réponses doit être très claire
Questions multiples à réponses multiples Plusieurs Plusieurs Traitement statistique difficile. Il est préférable de considérer chaque proposition comme une question dichotomique avec une réponse unique : oui/non

Le questionnaire fermé comporte le risque que le répondant ne choisisse pas la réponse qui lui convient car il choisit :

  • la réponse qui lui semble la plus conforme à l'attente de l'enquêteur, pour lui faire "plaisir" ou parce qu'il croit que cette réponse le valorisera,
  • une réponse par défaut, parce que les autres lui conviennent encore moins,
  • une réponse qui par sa formulation "attire" inconsciemment, par exemple en exprimant une position moyenne.
Le questionnaire ouvert

A partir d'une question précise, la personne interrogée développe une réponse que l'enquêteur prend en note. Dans ce cas, l'enquête par questionnaire ouvert ressemble à un entretien individuel de type directif. Une question ouverte laisse la réponse libre dans sa forme et dans sa longueur.

Les types de réponse en questionnaire ouvert

Type de réponse attendue Recueil de la réponse Traitement
Chiffrée (quantité, volume, etc..) Facile Facile, car c'est une donnée quantitative
Verbale Prévoir un espace suffisant et si besoin une liste de réponses que l'enquêteur coche au fur et à mesure de leur citation Délicat : prévoir éventuellement un codage de la réponse sous forme de mot ou groupe de mots

Limites de son utilisation

L'enquête par questionnaire est un outil d'observation très performant, notamment pour la collecte d'informations auprès d'un grand nombre de bénéficiaires finaux.

Le questionnaire fermé permet de quantifier les poids respectifs des opinions exprimées. En revanche, pour être statistiquement exploitable il doit être administré à un échantillon suffisamment important. Ce qui nécessite une logistique lourde et des moyens importants :

  • des enquêteurs pour interroger un grand nombre de personnes sans lequel les données collectées perdent leur représentativité ;
  • des moyens techniques : informatique pour le traitement statistique des données,
  • du temps pour les trois phases de son utilisation : l'élaboration, l'administration et le traitement. Soulignons que la mise au point du questionnaire, pour que celui-ci soit pertinent et riche, suppose un temps d'autant plus long que le contexte (le sujet et la population est enquêtée) est rarement bien maîtrisé par l'équipe d'évaluation.
  • des ressources financières pour une mission de terrain longue, pour le recrutement d'enquêteur et d'une équipe pour le traitement.

L'utilisation d'un questionnaire ouvert peut présenter une alternative, lorsque une exploitation statistique des données collectées n'est pas indispensable. L'expérience montre que ce type de questionnaire permet de collecter une information riche permettant de comprendre et d'analyser les réactions d'une population et de répondre ainsi aux besoins d'une évaluation.

D'où vient l'outil?

Contexte d'origine

L'enquête par questionnaire et la construction d'échantillon sont apparues dans l'entre-deux-guerres, à l'occasion des premières prévisions électorales. Ce sont les instituts de sondage qui s'en sont servis les premiers. Aujourd'hui, ces méthodes sont devenues un outil de référence en sciences sociales. Elles ont été développées par les courants de la sociologie quantitative, qui nécessite des connaissances statistiques.

Autres contextes d'utilisation

Généralement, les enquêtes par questionnaire sont très utilisées en marketing ou par les instituts de sondage d'opinion. Mais elles sont aussi utilisées en anthropologie et ethnologie : il s'agit alors d'enquêtes d'observation, constituées d'une série de longs entretiens, basés sur des questionnaires semi-ouverts.

Cette forme de questionnaire peut être utilisée lors de certaines études de cas, mais rarement en évaluation pour des questions de coûts et de délais. Ces enquêtes approfondies sont plutôt utilisées par les chercheurs. Leurs résultats peuvent néanmoins servir à des évaluateurs soucieux de comprendre le contexte et les dynamiques socio-culturelles à l'œuvre dans la région concernée par leur évaluation.

.

POURQUOI ET QUAND?

.

Dans quel cas et comment utiliser le questionnaire ?

Quand l'outil gagne-t-il à être utilisé ?

Un outil d'observation et d'information quantitatif et qualitatif

C'est un outil privilégié d'observation :

  • des besoins, opinions etc. pour une évaluation ex ante,
  • des changements réalisés, souhaitables etc. pour une évaluation à mi-parcours ou finale.

L'enquête par questionnaire est un outil d'information quantitative fréquemment utilisé dans les pays développés pour des enquêtes d'opinion ou de marketing. Son utilisation est plus rare dans les pays en développement du fait des contraintes de coût et des difficultés de mise en œuvre. L'enquête par questionnaire reste toutefois appropriée pour des études ou des évaluations comme instrument de collecte de l'information.

Elle nécessite une bonne définition et estimation de l'information recherchée, et des publics auprès desquels l'obtenir. Elle gagne à être utilisée après une phase de pré-enquête.

L'enquête par questionnaire peut être très utile comme outil de mesure du changement, si on a la possibilité d'effectuer des enquêtes sur un même échantillon, à des intervalles de temps suffisants pour évaluer les effets d'une politique ou d'un programme. En réalité, cette possibilité est assez réduite, a fortiori dans les pays en développement.

Mise en garde en évaluation

Il est plus facile à un évaluateur d'élaborer rapidement un cadre précis de questionnements dans une évaluation de projet ou de programme, que pour une évaluation pays par exemple, dans laquelle le processus d'identification des bénéficiaires réels et des acteurs de la politique de coopération évaluée est complexe.

Quels types d'informations permet-il d'obtenir ?

En évaluation, les enquêtes par questionnaire sont principalement utilisées pour apprécier l'impact des politiques et des programmes sur différentes catégories de public.

L'enquête permet de recueillir :

  • des informations sur la situation socio-économique de publics différents, et éventuellement de faire des typologies,
  • des informations sur des changements de situation ou de pratiques (sur la base d'indicateurs précis),
  • des opinions, des jugements et les perceptions sur une politique ou un programme (sur la base de critères précis d'appréciation),
  • des analyses portant sur les causes de changements et concernant le rôle de la politique ou du programme évalué sur ces changements (à partir d'hypothèses préalables servant de base au questionnement).

L'enquête peut être réalisée :

  • en face à face,
  • par téléphone,
  • par voie postale,
  • par courrier électronique et sur l'Internet.

Quels sont les avantages et les limites de cet outil ?

Avantages Limites
Information quantifiée et fiable Nécessite des ressources importantes et une logistique lourde
Utile pour mesurer le changement Nécessite de disposer de données sur la situation de départ
Permet de consulter un grand nombre de bénéficiaires finaux Mobilise une équipe de travail importante pour l'administration du questionnaire et le traitement des résultats
Permet de travailler sur un "modèle réduit" de la population cible Difficultés éventuelles à constituer l'échantillon représentatif
Permet de mesurer les résultats d'un programme ou d'une politique Ne peut fournir qu'une image simplifiée de la réalité

Les limites en termes de temps, de ressources financières et de moyens techniques rendent son utilisation en évaluation difficile malgré les avantages considérables qu'ils proposent - surtout en comparaison d'autres outils d'observation.

Peut-on le combiner avec d'autres outils ?

Les enquêtes par questionnaire apportent une dimension quantitative complémentaire à la dimension qualitative d'autres outils de collecte d'information et d'observation, comme :

  • les entretiens individuels,
  • les entretiens collectifs.

Ces outils peuvent intervenir dans la phase exploratoire d'une enquête par questionnaire (pour repérer ou préciser les hypothèses de travail) et ainsi permettre l'élaboration du questionnaire :

  • en listant les thèmes à aborder,
  • en identifiant les questions pertinentes.

Une série d'entretiens ou de focus group peut aussi venir en aval de l'enquête par questionnaire fermé pour contextualiser les résultats, enrichir la compréhension des données et leur interprétation (par ex : détailler une pratique, expliquer une représentation).

Les enquêtes par questionnaire servent de base à des instruments plus complexes, comme :

  • les études de cas,
  • l'observation socio-culturelle,
  • le benchmarking.

Quelles sont les ressources nécessaires?

Les ressources temporelles

La réalisation d'une enquête par questionnaire exige une préparation minutieuse et un temps de réalisation proportionnel à l'importance du questionnaire, à la taille de l'échantillon et aux difficultés de terrain.

En général, elle ne s'effectue pas en début d'évaluation mais dans des phases ultérieures, quand l'évaluateur dispose de suffisamment d'informations et d'hypothèses de travail pour construire un questionnaire à destination de groupes précis.

Les ressources humaines

L'organisation d'une enquête par questionnaire implique souvent de recruter des enquêteurs.

Compétences requises
  • Capacité à s'imprégner des objectifs de l'enquête,
  • Capacité à établir un climat de confiance,
  • Capacité à repérer d'éventuelles difficultés de compréhension et blocages,
  • Capacité à remplir clairement et de façon fiable le questionnaire,
  • Si nécessaire, maîtrise d'une langue locale et des us et coutumes.
Pour le recrutement
  • S'il existe des spécificités culturelles ou dialectales, il est préférable d'effectuer localement le recrutement (comme les agents de développement, les instituteurs, les techniciens, etc).
  • Il est parfois possible de s'appuyer sur des organisations spécialisées.
  • Une ou plusieurs journées de formation-encadrement des enquêteurs peuvent être organisées avant le début de l'enquête (visant à s'assurer de la compréhension des objectifs et du questionnaire, et a instaurer un "esprit d'équipe") et après sa réalisation (débriefing sur les conditions d'enquête, les difficultés rencontrées, les biais possibles, les remarques des répondants, etc.). Tous ces commentaires "qualitatifs" aideront l'évaluateur à nuancer les résultats, voire à les interpréter.

Les ressources financières

Pour l'essentiel, les coûts sont des coûts salariaux (coût des enquêteurs) et des coûts de transport lorsque l'enquête est conduite sur un territoire important. Il serait hasardeux de proposer ici des montants, ceux-ci variant dans des proportions importantes selon le type de pays dans lequel l'enquête est réalisée.

Soulignons cependant que les transports peuvent peser lourdement sur le budget dans des pays où ceux-ci sont difficiles. De façon générale, l'évaluation des ressources nécessaires nécessite de prendre en compte :

  • Le moyen utilisé pour réaliser les enquêtes par questionnaire (en face à face, par courrier, par téléphone, par mail),
  • la taille de l'échantillon,
  • l'éloignement des zones d'enquête,
  • le nombre d'enquêteurs à mobiliser et la durée de leur mobilisation, qui dépendent des variables sus-citées.

L'enquête par questionnaire est l'un des moyens les plus simples d'obtenir des informations auprès d'un nombre important de personnes. Les enquêtes par téléphone coûtent moins cher que l'enquête en face à face. L'envoi par mail est de loin le moyen le plus économique, mais le taux de réponses est moindre et il limite le profil des personnes susceptibles de répondre, particulièrement dans les pays peu équipés en moyens informatiques.

Quelle est la place du questionnaire en évaluation ?

Pourquoi utiliser le questionnaire en évaluation?

Dans la plupart des évaluations, le temps imparti à l'organisation et la réalisation du recueil de données de terrain est limité, pour des raisons financières entre autres. Or le questionnaire (fermé et ouvert) nécessite une logistique importante pour son élaboration, l'organisation de sa mise en œuvre et son traitement.

Dans certains cas, les questions d'évaluation nécessitent le recueil d'informations auprès des bénéficiaires finaux de l'aide. Le questionnaire est alors un outil indispensable car il permet la collecte d'informations auprès d'un grand nombre de personnes sur leurs opinions et leurs pratiques.

Dans le cas d'un traitement statistique du questionnaire fermé, cet outil permet une quantification des opinions recensées qui peut nourrir une analyse d'impact ou constituer des indicateurs d'évaluation ou de programme. Ce type de traitement est cependant difficile à organiser et à mettre en œuvre, et demande de disposer de ressources plus importantes que pour un autre traitement.

Quelles sont les conditions requises à son utilisation ?

  • Une connaissance préalable du contexte d'évaluation et des enjeux du programme pour les bénéficiaires afin de rédiger des questions pertinentes.
  • L'existence de bases d'informations statistiques minimales sur la composition sociale de la population suffisamment fiables, de façon à pouvoir bâtir des échantillons avec un risque d'erreurs qui reste acceptable.
  • L'identification d'un partenaire fiable pour la mobilisation de ressources humaines (enquêteurs, statisticiens, démographes) et de ressources matérielles (transport, informatique, données démographiques,etc.).
  • La possibilité de sélectionner et d'interroger un échantillon de personnes sans trop de difficultés : accessibilité physique et logistique, lieux et moyens de contacts permettant de ne pas passer trop de temps à chercher les interlocuteurs, etc.

Pourquoi réaliser une enquête par questionnaire en évaluation pays?

Les conditions d'application spécifiques des enquêtes par questionnaire en évaluation soulignent que leur mise en œuvre est plus adaptée aux pays caractérisés par un bon niveau de développement.

Dans le cas des pays en développement, il peut néanmoins être intéressant d'utiliser l'enquête par questionnaire en ciblant des groupes de population pour lesquels l'évaluateur ne peut pas disposer d'informations quantitatives par d'autres moyens.

Il s'agira alors d'une enquête ponctuelle sur une question pointue auprès d'une catégorie d'acteurs bien circonscrite paysment, notamment.

L'évaluateur devra assurer un encadrement très rapproché des enquêteurs, voir confier cet encadrement à un partenaire local.

Le problème de recueil et de sélection rapide d'informations nécessaires et abondantes est récurrent en évaluation pays. C'est aussi dans ce type d'évaluation que les évaluateurs sont les plus éloignés des bénéficiaires finaux de l'aide. L'enquête par questionnaire, en interrogeant de nombreux bénéficiaires, permet de recueillir une partie des informations portant sur la politique évaluée, à propos notamment, du degré de réalisation des programmes, de la prise en compte des besoins, des acquis et des points de blocages, etc.

Dans ce contexte, les enquêtes par questionnaire sont encore peu utilisées. Leur usage pourrait pourtant se développer, notamment parce qu'elles constituent dans certains cas un outil indispensable pour réaliser des analyses d'impact auprès de divers groupes, en particulier de bénéficiaires.

.

COMMENT FAIRE ?

.

Comment élaborer un questionnaire?

Quelles sont les bonnes questions à se poser ?

Qu'est-ce que je cherche ?

Les questions posées sont conçues en fonction des informations, des analyses et des opinions que l'évaluateur recherche, et en fonction du public visé. Il faut donc commencer par bâtir une liste d'informations sur le sujet d'étude, contenant :

  • les objectifs,
  • les hypothèses de travail,
  • les publics-cibles,
  • la nature des informations recherchées,
  • la situation géographique de l'information à trouver,
  • la période de l'enquête.

Ces listes vont guider l'organisation de l'enquête et la production d'un calendrier de réalisation.

Cette question est-elle strictement nécessaire ?

Cela revient à se demander : l'objectif de l'étude "X" peut-il être atteint si j'enlève la question "n"? Si la réponse est oui, inutile d'alourdir le questionnaire.

Une seule question suffira-t-elle pour obtenir cette information?

En fonction de la complexité de l'information recherchée, plusieurs questions peuvent être nécessaires, notamment pour rechercher une cause.

L'évaluateur doit être attentif aux questions qui ont un double objectif. Il est préférable de les séparer en deux questions simples.

La personne interrogée est-elle en mesure de répondre ?

Trois raisons peuvent expliquer l'absence de réponse d'un répondant :

  • il ne comprend pas : le vocabulaire n'est pas adapté, la question est trop abstraite, etc.
  • il ne sait pas : le questionnaire n'est pas adapté au bon public, ou la personne interrogée a été mal choisie,
  • il a oublié : distinguer la situation où le répondant peut retrouver l'information et la fournir plus tard, de la situation où il n'a plus accès à cette information.
La personne interrogée voudra-t-elle fournir l'information exacte?

Cette question concerne principalement les informations à caractère sensible, telles que :

  • les sujets socialement sensibles, pour lesquels certains comportements sont niés ou déformés (dévalorisés ou survalorisés, par exemple),
  • les sujets touchant de près à la vie privée,
  • les sujets nécessitant un effort de recherche important ou du temps.

Dans ces cas, la personne interrogée peut vouloir "maquiller" le sujet ou l'éviter. C'est souvent dans la manière de poser la question ou dans la façon de structurer le questionnaire que l'on peut anticiper et/ou contourner l'attitude d'évitement de la personne interrogée.

Comment structurer le questionnaire ?

Les bases du questionnaire
  • Cerner le sujet d'investigation et cibler le questionnaire de façon précise.
  • Ne pas avoir trop d'ambition concernant les informations à récolter grâce au questionnaire : il ne doit pas être trop long et complexe, et les questions doivent être précises et simples.
  • Prévoir des questions qui se recoupent pour vérifier la fiabilité et la cohérence des réponses.
Les textes d'introduction et de transition

Ils sont nécessaires à la compréhension et l'articulation du questionnaire, quelle que soit sa façon d'administrer. Ces textes doivent être adaptés au type de l'enquête, à son objet, aux caractéristiques socio-culturelles de l'échantillon, etc.

Ces textes doivent comprendre :

  • "des indications se rapportant aux sujets traités : " ce questionnaire a pour objet déterminer…, de mesurer…, nous allons maintenant passer au problème de… ; maintenant que nous avons passé en revue les… ",
  • des indications techniques : " veuillez tracer une croix dans la case correspondant à votre choix/votre opinion, une seule réponse par colonne svp; rédiger votre réponse de la manière la plus concise possible svp… ",
  • des formules de politesse : " votre avis est extrêmement précieux…; merci pour votre obligeante collaboration ",
  • des formules de précaution : " ce questionnaire est strictement confidentiel ; cette enquête ne doit servir qu'à des fins scientifiques ",
  • des développements courts et compréhensibles : les introduire uniquement là où ils sont nécessaires" (Extrait de Jauveau C. (1992) "L'enquête par questionnaire, manuel à l'usage du praticien", Edition de l'Université de Bruxelles).
L'ordre des questions
  • Placer les questions les plus délicates dans le corps du questionnaire, afin d'éviter des effets de repli, de lassitude ou de perte d'attention à la fin de l'exercice.
  • Regrouper les questions d'identification au début ou à la fin du questionnaire. Si elles peuvent poser un problème (en portant, par exemple sur le revenu, la pratique religieuse ou l'opinion politique), les placer dans le corps du questionnaire.
  • Commencer par des questions faciles qui permettent de mettre en confiance le répondant.
  • Intercaler les questions difficiles ou délicates avec des questions plus faciles qui "détendent l'atmosphère", même si ces questions faciles n'ont qu'un but "technique", celui du bon déroulement de l'enquête.
  • Prévoir des transitions, des liaisons entre des sujets qui ne sont pas corrélés.
  • Grouper les questions ayant trait à un même sujet.
  • Hiérarchiser les questions :
Avant Après
Questions d'ordre plus général Questions plus spécifiques
Questions portant sur l'entourage de la personne interrogée Questions portant sur sa situation personnelle ou sa propre opinion
Questions de fait Questions d'opinion
  • Prévoir l'absence de réponse par des items comme "ne sait pas" ; "sans opinion", voire "refus de répondre". Attention : le répondant peut se réfugier dans cette proposition, pour éviter de répondre. Dans le traitement des réponses, il faut prévoir un code pour ce choix, qui doit être traité comme une réponse.
  • Choisir un équilibre entre des questions ouvertes et des questions fermées. Une question ouverte offre des réponses riches mais difficiles à traiter statistiquement. Voir quand elle peut être remplacée par plusieurs questions fermées.
  • Prévoir de quelle façon sera traité le questionnaire avant de l'élaborer : sa rédaction influence sa construction : questions ouvertes, fermées, corrélations entre les questions, etc.

Quelle est la structure-type d'un questionnaire ?

La présentation de l'enquêteur et de l'enquête

Ce préalable est parfois oublié. Il est utile de prévoir les moyens pour introduire le questionnaire auprès des personnes à interroger. Le thème exact de l'étude peut être caché ou contourné, s'il risque de provoquer une mauvaise réaction de la part de la personne interrogée (biais, réponses de façade, dissimulation, crainte, refus, etc). Le sujet de l'étude peut nécessiter une formulation simplifiée et moins "institutionnelle".

Les questions d'introduction

Ces questions ont pour but d'établir un climat d'intérêt, voire de confiance entre l'enquêteur et l'enquêté, si l'enquête se déroule en face à face,. Elles sont générales et formulées de façon à ce que la réponse soit positive, même si celle-ci n'est pas directement utile pour le sujet.

Les questions qualifiantes

Ces questions servent lorsque l'on on a besoin de savoir si l'individu possède l'information recherchée, et éventuellement pour qu'il réoriente l'enquêteur vers une autre personne, si nécessaire. Leur forme est plutôt dichotomique.

Les questions de mise en route

Elles servent à centrer progressivement le questionnaire sur le thème de l'étude, en commençant par des questions simples (de comportement, par exemple).

Les questions spécifiques

Elles sont le cœur du questionnaire : les réponses à ces questions doivent fournir à l'étude les informations les plus importantes et les plus ciblées. A ce stade, l'enquêté doit être bien dans le sujet et en pleine confiance avec l'enquêteur. On peut lui poser des questions plus personnelles ou le mobiliser dans un effort de réflexion sur, par exemple, ses motivations, ses opinions, ou encore ses jugements personnels.

Les questions d'identification

Les réponses à ces questions permettent de décrire les répondants et éventuellement de les classer en groupes distincts. Ces questions sont de deux sortes :

  • les variables socio-démographiques (sexe, âge, profession…),
  • les éléments psychologiques (valeurs, opinions…).

Comment rédiger le questionnaire ?

Les bases du questionnaire
  • Les questions sont courtes, simples, claires, et sans ambiguïté de sens.
  • Leur formulation ne doit pas influencer la réponse, par exemple en impliquant une réponse de nature positive ou négative.
  • Prévoir pour la formulation des questions si le questionnaire sera traduit, et veiller à la qualité de cette traduction.
-Le vocabulaire
A éviter A utiliser
Vocabulaire technique Vocabulaire simple
Vocabulaire ambigu, trop subjectif ou polysémique Vocabulaire clair, sans double sens
Les adverbes imprécis : souvent, rarement, de temps en temps, occasionnellement… Mesures de temps quantitatives
Vocabulaire pouvant être interprété différemment selon la région, la classe sociale, la classe d'âge, etc. Vocabulaire adapté à la population-cible
-Le style
A éviter A utiliser
Les questions avec une négation, voire une double négation : elles influencent la réponse Style bref et simple : la question ne devrait pas dépasser une ligne et demi
Les réponses proposées ou sous-entendue dans la question : elles encouragent à dire "oui" quand l'opinion n'est pas très affirmée Termes neutres
Aborder de front une question trop personnelle Arbitrer entre le style direct et indirect : si le sujet de la question est trop personnel, préférer un style indirect
Les moyens pour introduire le questionnaire auprès des personnes à interroger

Cette étape détermine la qualité finale des résultats obtenus par l'enquête. Il ne faut donc pas la négliger. Le moyen le plus efficace est la lettre ou le mail envoyés personnellement à chaque individu de l'échantillon. Il doivent contenir :

  • l'indication de l'organisme et du bureau/service qui réalisent l'enquête ;
  • les buts avoués de l'enquête ;
  • des incitations à participer : intérêt pour la collectivité, la recherche, etc.
  • les modalités de réacheminement du questionnaire, s'il est envoyé (date butoir, coordonnées…) ;
  • la signature d'un responsable de l'organisme qui réalise l'enquête.

La présentation générale de la lettre doit être particulièrement soignée.

.

EXEMPLES

.

.

GLOSSAIRE

.

Echantillon

On désigne par échantillon le groupe de personne qui sera enquêté effectivement. Ces personnes sont sélectionnés parmi le groupe cible de l'évaluation, et cette sélection dépend de la méthode choisie pour désigner l'échantillon (voir comment construire l'échantillon ?).

Hypothèses de travail

A part dans le cas d'une approche empirique de l'évaluation (ce qui est Presque impossible), les recherches scientifiques en général : (1) développent des hypothèses, et (2) les vérifient. Ce principe est à la base de l'élaboration de l'enquête. Les résultats de l'enquête permettent à l'évaluateur de vérifier les hypothèses qui sont au cœur de l'enquête, de les renforcer ou/et de les corriger.

Public-cible

Le public-cible représente la part de la population à laquelle l'enquête se consacre. Une typologie ou des variables descriptive le détermine.

Typologie

La typologie est une méthode qui divise la population en types ou en sous-groupe homogène avec des critères spécifiques (économiques, sociaux, démographiques, etc.). Dans chaque sous-groupe de la typologie, les personnes interrogées partagent des caractéristiques similaires (correspondant aux critères de la typologie), ou les mêmes valeurs pour certaines variables prédéterminées.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
La mise en œuvre d'un questionnaire fermé ou semi fermé sur un échantillon représentatif a-t-elle été justifiée par le besoin d'indicateurs statistiques ?  
L'enquête a-t-elle été menée auprès d'un échantillon représentatif ?  
Les questions posées et les réponses proposées étaient-elles claires et simples ?  
La longueur du questionnaire était-elle adaptée ?  
Le questionnaire comportait-il des questions croisées ?  
Mise en œuvre
 
Le questionnaire a-t-il été testé ?  
Les techniques d'administration du questionnaire utilisé étaient-elles adaptées au type de public enquêté (face à face, téléphone, etc.) ?  
A-t-on mis en place un mécanisme de suivi et de contrôle des enquêteurs ?  
A-t-on organisé des formations ou des réunions d'encadrement ?  
Les enquêteurs étaient-ils indépendants vis-à-vis de la politique/ du programme évalué(e) ?  
Le nombre de répondants était-il suffisant pour être représentatif ?  
La précision des résultats quantitatifs attendus était-elle suffisante pour leur utilisation dans l'évaluation ?  
Les résultats étaient-ils présentés et précisés pour les diverses catégories d'acteurs et de bénéficiaires ?  
Les résultats ont-ils été articulés avec les autres outils d'information et d'analyses utilisés par les évaluateurs ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

L'utilisation de l'outil est-elle clairement justifiée ?  
L'enquête a-t-elle été menée auprès d'un échantillon représentatif ?  
Le questionnaire a-t-il été testé ?  
L'exploitation du questionnaire a-t-elle permis d'obtenir les indicateurs recherchés avec une précision suffisante ?  
Les résultats ont-ils été articulés avec les autres outils d'information et d'analyses utilisés par les évaluateurs ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts

Panel d'experts

.

RESUME

.

Pourquoi utiliser cet outil en evaluation?

Le panel d'experts peut être défini comme un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par le programme à évaluer, réuni pour produire un jugement collectif et consensuel sur ce programme. Selon la commande, ce jugement pourra porter sur la mise en œuvre ou les effets de l'ensemble ou d'une partie du programme.

Ce groupe, constitué spécialement pour l'évaluation selon des procédures standard, suit une méthode de travail précise et réplicable, pour tenir ses réunions et produire son jugement.

Le panel d'experts en évaluation pays ou région peut être utilisé dans plusieurs circonstances :

  • pour étudier des domaines extrêmement spécifiques, nécessitant une formation de haut niveau (ex : aide à la recherche, hautes technologies, etc.),
  • pour étudier des sujets pour lesquels les autres outils peuvent difficilement être mis en œuvre à un coût raisonnable,
  • pour réaliser des petites évaluations (ex : aide à des petits pays),
  • pour aider en appui à étayer le jugement des évaluateurs sur un sujet donné, dans des évaluations plus importantes,
  • pour finir de formaliser les effets probables d'un programme en évaluation ex ante.

Comment mettre en oeuvre le panel?

Quels sont les critères de sélection des panels ?

L'expérience professionnelle dans le domaine considéré est un pré-requis, l'expert devant être très qualifié dans le domaine évalué, reconnu par ses pairs et respecté.

Encadré 1 - Les trois critères à la base du fonctionnement du panel d'experts

L'indépendance vis-à-vis du programme à évaluer est capitale, un évaluateur ne pouvant être juge et partie.

Les capacités de travail en équipe, d'écoute des autres, d'ouverture d'esprit sont également fondamentales. Sans celles-ci, l'atmosphère de travail au sein du panel peut rapidement devenir insupportable et conduire les travaux à un échec.

Comment sélectionner les experts ?

Dans le cas d'une sélection rapide, les responsables de l'évaluation ont accès à une liste d'experts reconnus dans un domaine et se contentent de s'assurer de leur indépendance vis-à-vis du programme évalué.

Dans le cas d'une sélection par étape, il convient d'abord de construire les profils des experts recherchés en fonction des thèmes à aborder par l'évaluation.

La constitution des profils selon le thème de l'évaluation prend en compte :

  • la nature du programme,
  • le degré de controverse (les problèmes à traiter ont-ils des solutions alternatives qui sont sujettes à controverse ?),
  • les données à disposition,
  • les incertitudes (les conclusions du panel discuteront-elles des incertitudes ?)
  • et le nombre de disciplines nécessaire.

Quelles sont les règles de fonctionnement du panel ?

Il n'existe pas de méthode de travail unique et le panel d'experts est libre de s'organiser comme il l'entend. Le travail peut être concentré sur la lecture de la documentation et des réunions de travail, ou être élargi à la rencontre de responsables de projets, de visites de terrain, d'envoi de questionnaires, etc.

La première réunion du panel doit conduire les experts à une parfaite compréhension de leur rôle dans l'évaluation.

Lors de cette réunion, la méthode selon laquelle seront conduits les travaux doit également être discutée et validée. La discussion devra comprendre :

  • l'organisation du panel et le rôle de chacun dans le panel,
  • le type d'investigation, méthode d'acquisition des données, et conduite des travaux confiés à chacun (ex: visite de terrain),
  • le calendrier d'intervention, l'organisation des futures réunions, le contenu de ces réunions.

Les réunions suivantes (au nombre de 3 à 5 environ) seront directement liées aux travaux du panel. Y seront systématiquement abordés :

  • les travaux réalisés depuis la réunion précédente,
  • les résultats des investigations achevées ou en cours,
  • les problèmes rencontrés,
  • l'état d'avancement de la rédaction des différents documents et le processus de relecture et contrôle de ces derniers,
  • les travaux à réaliser avant la prochaine réunion et le contenu de celle-ci.

Parmi les autres règles applicables aux travaux des panels figurent la confidentialité des débats, et la non divulgation des résultats intermédiaires.

Quel est le rôle attribué au président du panel ?

Le rôle du président du panel est central. C'est lui qui dirige les travaux, propose la méthode de travail, intègre les résultats, stimule les contributions, facilite les débats, représente le panel lors des réunions. C'est souvent de lui que dépend l'ambiance de travail du panel.

Encadré 2 - Les fonctions du président du panel d'experts

Un rôle de facilitateur : il organise le travail et la production des équipes, et il assure la recherche du consensus.

Un rôle d'intégrateur : il doit assurer une critique positive de la production de chacun des membres afin d'améliorer les réflexions produites.

Un rôle de gestionnaire : il doit s'assurer que les ressources disponibles sont suffisantes et bien employées, et il veille à ce que les réunions des panels ont été bien préparées.

Un rôle de représentant du panel dans les différentes instances (comité de pilotage, réunions avec les commanditaires ou la presse).

Comment le panel restitue-t-il ses travaux ?

Le rapport est la seule production visible sur lequel le jugement de la partie de l'évaluation confiée au panel sera basé. Le plan du rapport doit contenir : un résumé, les termes de référence, la composition du panel, les preuves rassemblées et les hypothèses retenues, les analyses conduites, le jugement en explicitant les points de consensus.

Quelles sont les ressources nécessaires?

Encadré 3 - Les ressources nécessaires
En temps La rapidité de mise en œuvre d'un panel d'experts représente un des avantages de cet outil. Ainsi, pour une évaluation, il faut compter au maximum 3 à 6 mois de travail, et éventuellement moins pour un avis portant sur un domaine technique d'une évaluation.
Humaines Les personnes constituant le panel doivent avoir une expérience reconnue dans le domaine à évaluer, être indépendantes par rapport au programme évalué, être capables de travailler en groupe et disponibles pour assurer une présence effective tout au long de l'évaluation.
Financières Les principaux postes de dépenses auxquels il faut penser en préparant l'estimation sont :

  • les honoraires des experts, du secrétaire, et des éventuels sous contractants effectuant des études pour le panel,
  • les coûts de déplacement, de communication, de publication, de duplication et dissémination des rapports,
  • les coûts de traduction, si nécessaire.

Quels sont les avantages et les limites de l'outil ?

Encadré 4 - Les avantages et les limites
Avantages Les avantages de l'outil proviennent essentiellement de la très bonne connaissance des sujets à évaluer par les experts. Cela permet :

  • un gain de temps significatif,
  • un faible coût,
  • une forte crédibilité des conclusions,
  • une grande adaptabilité aux différentes situations rencontrées en évaluation.
Limites Les inconvénients de l'outil ressortent principalement d'une série de risques, qu'il convient de maîtriser au mieux :

  • Le fonctionnement du panel qui, devant aboutir à un jugement consensuel, tend à éliminer les avis minoritaires et édulcorer les conclusions.
  • L'avis de certains experts "dominant" le groupe peut devenir prépondérant.
  • Une tendance des experts à excéder le domaine de leurs compétences reconnues.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts > Outil détaillé

Outil détaillé

.

Structure de la section:

.

POURQUOI ET QUAND UTILISER LE PANEL D'EXPERTS?

.

Quelle définition donner au panel d'experts en évaluation?

Qu'est ce qu'un panel d'experts ?

Définition

Le panel d'experts peut être défini comme un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par le programme à évaluer, réuni pour produire un jugement collectif et consensuel sur ce programme. Selon la commande, ce jugement pourra porter sur la mise en œuvre ou les effets de l'ensemble ou d'une partie du programme.

Si sur des questions particulières, le consensus n'est pas obtenu, le panel doit faire état des différentes prises de position des experts.

Ce groupe, constitué spécialement pour l'évaluation selon des procédures standard, suit une méthode de travail précise et répliquable, pour tenir ses réunions et produire son jugement. C'est en ce sens un outil jugé fiable.

L'objectif de l'outil est donc de se servir de la connaissance d'un domaine que des experts possèdent, pour évaluer des politiques, programmes, ou projets menés dans ce contexte précis. 

Les formes principales d' un panel d'experts en évaluation

Le panel d'experts est utilisé régulièrement en évaluation de programme par certains bailleurs comme la Commission Européenne, la Banque Mondiale, les pays scandinaves, le Canada, les USA, etc.

Dans les évaluations environnementales de projets, certains bailleurs ont recours à une autre forme de panel d'experts (en particulier la Banque Mondiale) pour évaluer la qualité du travail des prestataires et suggérer des améliorations. Ces panels accompagnent la réalisation du travail depuis les études préliminaires jusqu'à la réalisation concrète du projet et même sur les premières années de mise en œuvre.

Une autre forme de consultations d'experts en évaluation est l'enquête Delphi, fondée sur une enquête anonyme et itérative d'experts par sondage postal (voir Cahiers Means).

Quel est son contexte d'origine et ses évolutions successives ?

Contexte d'origine

Dans le domaine de la recherche, le jugement de travaux scientifiques ou de programmes par des pairs est à l'origine du concept. Historiquement, c'est donc dans ce domaine que le panel d'experts s'est développé en tant qu'outil d'évaluation.

Principales évolutions

Deux principales évolutions au cours des dernières années peuvent être mentionnées.

  • Diversification de la composition du panel. Alors qu'à l'origine, l'usage de panels d'experts étaient très ciblé sur des domaines limités, on a assisté progressivement à la diversification du contenu des missions d'évaluation, et donc à la diversification de la composition du panel. En plus des spécialistes d'un domaine, des économistes, des spécialistes de l'évaluation, des représentants des utilisateurs du programme, etc. sont à présent sollicités pour couvrir ces différentes facettes de l'évaluation.
  • Professionnalisation des panels. L'apparition de méthodes plus rigoureuses (ex : études de soutien au travail du panel faites par des consultants extérieurs) a fini de transformer le panel d'experts en véritable outil d'évaluation fiable et donc plus crédible. Ces évolutions successives ont conduit à une professionnalisation progressive de l'évaluation par panel d'experts.

Quand peut-on faire appel au panel d'experts?

Dans quelles conditions utiliser cet outil ?

Le panel d'experts est un outil que l'on peut mobiliser dans de nombreuses situations.

Le panel d'expert est particulièrement adapté en évaluation quand :

  • le sujet est bien circonscrit et nécessite l'avis d'experts de haut niveau dans ce domaine. C'est typiquement le cas de la recherche. La Commission Européenne pratique beaucoup d'évaluations avec cet outil dans ce domaine.
  • le domaine à évaluer est très limité (ex : évaluation de l'aide pour le bénéfice d'un très petit pays) et ne justifie pas qu'on y consacre des moyens trop importants.
  • le domaine est au contraire très complexe et difficile à aborder par d'autres outils, au moins à un coût raisonnable (ex : aide budgétaire). Dans ce cas, l'avis d'experts maîtrisant le sujet, et/ou le pays, peut permettre d'obtenir un jugement crédible.

Les rôles possibles d'un panel d'experts


Avec quels outils le panel d'experts peut-il être combiné ?

Le panel d'experts peut être combiné avec pratiquement tous les outils classiques d'évaluation. 

Au-delà de la combinaison avec d'autres outils, l'adjonction au panel d'experts d'un certain nombre d'études externes faites pour le compte du panel tend à se généraliser dans certains domaines (ex : évaluation de la recherche). Elles permettent de faciliter le travail des experts et de leur procurer des informations sur le programme évalué. Peuvent être citées les études préliminaires, les enquêtes, l'exploitation de bases de données, etc. qui sont un complément logique au travail du panel d'experts.

Quels sont les avantages et les limites du panel d'experts ?

Les avantages

Les avantages de l'outil proviennent essentiellement de la très bonne connaissance des sujets à évaluer par les experts. Cette connaissance préalable permet :

  • un gain de temps significatif par rapport aux autres outils d'évaluation,
  • un faible coût par rapport aux autres outils, du fait du gain de temps,
  • une forte crédibilité des conclusions du fait de la notoriété des experts,
  • une grande adaptabilité aux différentes situations rencontrées en évaluation.

Les limites

Les inconvénients de l'outil ressortent principalement d'une série de risques, qu'il convient de maîtriser au mieux.

  • Le fonctionnement du panel qui, devant aboutir à un jugement consensuel, tend par construction à éliminer les avis minoritaires et édulcorer les conclusions.
  • L'avis de certains experts "dominant" le groupe peut devenir prépondérant, aux dépens des autres avis.
  • Un risque de biais d'empathie dans le cas de panels intervenant dans l'évaluation d'un domaine bien spécifique, provenant de l'appartenance des experts au groupe de spécialistes du domaine évalué. Constituer le panel d'experts en ayant comme objectif premier l'indépendance de ses membres est une manière sûre d'éviter ce biais.
  • Une tendance des experts à excéder le domaine de leurs compétences reconnues. Il s'agit donc de bien circonscrire le travail du panel dans l'évaluation, sinon la crédibilité des conclusions en serait largement affectée.

Malgré la maîtrise de ces risques, les conclusions des panels d'experts restent toujours contestables aux yeux de certains.

Quelles sont les ressources nécessaires?

Les ressources en temps

La rapidité de mise en œuvre d'un panel d'experts représente un des avantages de cet outil. Ainsi, pour une évaluation, il faut compter 3 à 6 mois de travail, et éventuellement moins pour un avis portant sur un domaine technique d'une évaluation.

Les ressources humaines

C'est le point central de l'outil. Les personnes constituant le panel doivent avoir une expérience reconnue dans le domaine à évaluer, être indépendantes par rapport au programme évalué, être capables de travailler en groupe et disponibles pour assurer une présence effective tout au long de l'évaluation.

Les ressources financières

Le panel d'experts est reconnu comme un des outils d'évaluation bon marché. Cependant, si des voyages lointains sont prévus, et assortis de visites de terrain, l'enveloppe financière pour rémunérer le panel et ses frais risque d'augmenter significativement.

Les principaux postes de dépenses auxquels il faut penser en préparant l'estimation sont :

  • les honoraires des experts, du secrétaire, et des éventuels sous contractants effectuant des études pour le panel,
  • les coûts de déplacement, de communication, de publication, de duplication et dissémination des rapports.
  • les coûts de traduction, si nécessaire.

Pourquoi et comment utiliser le panel d'experts en évaluation pays/région?

Types d'utilisation possibles

Le panel d'experts en évaluation pays ou région peut être utilisé dans plusieurs circonstances :

  • pour étudier des domaines extrêmement spécifiques, nécessitant une formation de haut niveau (ex : aide à la recherche, hautes technologies, etc.),
  • pour étudier des sujets pour lesquels les autres outils peuvent difficilement être mis en œuvre (ex : aide budgétaire),
  • pour réaliser des petites évaluations (ex : aide à des petits pays),
  • pour aider en appui à étayer le jugement des évaluateurs sur un sujet donné, dans des évaluations plus importantes,
  • pour finir de formaliser les effets probables d 'un programme en évaluation ex ante.

Les conditions d'emploi de l'outil en évaluation pays

Il n'y a pas de conditions particulières autre que la nécessaire connaissance du contexte de l'aide aux pays tiers.

Exemples d'utilisation de l'outil en évaluation pays

Aucune utilisation de panel dans l'aide aux pays tiers n'a été trouvée. En revanche, cet outil est très utilisé pour évaluer des programmes dans les pays occidentaux. Une série d'exemples illustrent l'utilisation des panels d'experts, avec, selon le cas, des termes de références, des profils de recrutement, des exemples de rapports, etc.

.

COMMENT METTRE EN OEUVRE LE PANEL D'EXPERTS?

.

Quels sont les critères de sélection des experts?

Les trois critères à la base du fonctionnement du panel d'experts


L'expérience professionnelle

L'expérience professionnelle dans le domaine considéré est un pré-requis, l'expert devant être très qualifié dans le domaine évalué, reconnu par ses pairs et respecté. La crédibilité de ses jugements en dépend complètement.

L'indépendance

L'indépendance vis-à-vis du programme à évaluer est capitale, un évaluateur ne pouvant être juge et partie. Sont donc naturellement exclus les experts ayant un conflit d'intérêt avec le programme évalué (ex : ils ont participé au programme ou sont issus d'un organisme ayant bénéficié du programme).

Toutefois, cette indépendance est parfois difficile à garantir dans les domaines où le nombre d'experts est particulièrement restreint. Dans ce cas, au-delà de l'indépendance de chaque expert par rapport au programme évalué, il convient de s'assurer alors de l'indépendance du panel en tant que tel (les différents points de vue possibles sur le programme doivent être représentés au sein du panel).

Enfin, il conviendra de préciser à chaque expert qu'il est nommé à titre personnel, c'est à dire qu'il ne représente pas l'institution dont il est issu et, par conséquent, qu'il n'est pas remplaçable.

L'aptitude au travail collectif

Les capacités de travail en équipe, d'écoute des autres, d'ouverture d'esprit sont également fondamentales. Sans celles-ci, l'atmosphère de travail au sein du panel peut rapidement devenir insupportable et conduire les travaux à un échec.

Autres critères

Au delà des trois critères de base (professionnalisme, indépendance et capacité de travail en équipe), et des éventuelles exigences relatives aux profils des experts du panel, certains commanditaires peuvent avoir des exigences de composition (ex : experts de nationalité spécifique, recherche d'équilibre entre les experts représentant des points de vue différents sur un programme, demande de représentation d'une catégorie de personne dans le panel comme les bénéficiaires, les consommateurs, etc.).

Il convient que les experts du panel aient autant que possible la pratique de la langue utilisée sur le territoire où se déroule l'évaluation.

Comment les experts sont-ils sélectionnés?

Schéma de la sélection des membres du panel


Les différents cas de figure du recrutement des experts

Suivant l'ampleur de la tâche à accomplir et la complexité des thèmes à aborder, le recrutement du panel peut être assez rapide et simple, ou au contraire nécessiter un procédure de sélection.

Le cas d'une sélection rapide

Dans ce cas, les responsables de l'évaluation ont accès à une liste d'experts reconnus dans un domaine et se contentent de s'assurer de leur indépendance vis-à-vis du programme évalué.

Le cas d'une sélection par étape, selon les thèmes de l'évaluation

Cette situation devient de plus en plus fréquente. Il convient d'abord de construire les profils des experts recherchés en fonction des thèmes à aborder par l'évaluation. Ces profils sont fondamentaux pour pouvoir assurer un recrutement adéquate à l'évaluation.

Si l'intervention du panel se borne aux domaines techniques de l'évaluation, l'absence d'indépendance des experts par rapport aux domaines considérés a peu de conséquences sur l'évaluation. C'est en effet l'évaluateur qui se charge des principales tâches.

Si, en revanche, les experts doivent réaliser une part significative de l'évaluation, il est impératif que le panel d'experts comporte, en plus des experts de la spécialité, au moins un membre ayant une grande expérience de l'évaluation en tant que telle et un socio-économiste. Cette liste peut être largement enrichie, selon la mission confiée aux experts.

Constitution des profils

La Société Royale du Canada détaille les points du programme à prendre en compte pour constituer les profils du panel. Ces points sont :

  • la nature du programme : l'étude sera-t-elle limitée à des problèmes techniques ou devra-t-elle traiter de problèmes plus larges de politique publique ?
  • le degré de controverse : les problèmes à traiter ont-ils des solutions alternatives qui sont sujettes à controverse ? Affectent-ils des protagonistes qui ont des enjeux émotionnels, politiques ou financiers par rapport aux résultats ?
  • les données à disposition : les conclusions du panel et les recommandations, seront-elles basées sur l'analyse de données ou sur le jugement des experts ?
  • les incertitudes : les conclusions du panel discuteront-elles des incertitudes ?
  • le nombre de disciplines nécessaires : les problèmes à évaluer impliquent-t-ils la maîtrise d'une seule ou de plusieurs disciplines ?

La procédure de sélection

Une fois ces profils déterminés, l'institution en charge de l'évaluation les recueille, et fait un éventuel premier tri dans cette liste en particulier sur les conflits d'intérêt identifiés. Elle prend ensuite contact avec les personnes pressenties.

Selon le nombre d'experts à retenir au final (en général entre 5 et 10), il sera bon de présélectionner le double voire le triple d'experts dans la liste, car la disponibilité de tous n'est pas assurée. A l'intérieur de cette liste parfois longue, certains commanditaires sélectionnent les "titulaires préférés" et les suppléants, les premiers étant contactés en premier afin de s'assurer de leur disponibilité. Il est de ce fait recommandé d'appliquer cette technique pour le futur président du panel et pour les experts "clés".

Une fois la sélection terminée, les experts sont engagés et un des membres est désigné comme président, par le panel lui-même ou le commanditaire de l'évaluation, selon le cas. Les conséquences du choix du président sont très importantes, son rôle étant primordial dans le fonctionnement du groupe. C'est lui qui va donner le ton et le rythme de travail du panel.

Enfin, il apparaît très souhaitable de confier le secrétariat à une personne suffisamment disponible, car en général, les experts eux-mêmes le sont peu. Le rôle du secrétaire demande en effet beaucoup de temps pour rédiger les comptes-rendus, intégrer les remarques, éventuellement piloter les études de soutien, etc.

Quelles sont les conditions nécessaires au travail du panel d'experts?

La nécessité de circonscrire le contexte d'intervention du panel

Les évaluateurs devront consacrer du temps à expliquer au panel le contexte de son intervention, et à bien répondre aux questions des experts sur le programme, les procédures, les méthodes d'évaluation, afin que leur avis soit formulé en parfaite connaissance de l'environnement du domaine évalué. Le contenu des séances de travail du panel d'experts est normalement confidentiel.

Les documents mis à la disposition du panel d'experts

Les termes de référence

Pour faciliter le travail du panel, la rédaction des termes de référence (TDR) est souvent nécessaire. Ces TDR doivent spécifier :

  • la nature de l'évaluation,
  • la place du panel dans celle-ci, et son mode de fonctionnement,
  • les questions posées au panel ou la nature des investigations à mener (ex : avis sur la pertinence, la cohérence, l'efficacité, etc.),
  • les données (ex : mise en œuvre) ainsi que les moyens (ex : possibilité de visite de site) mis à disposition du panel,
  • la forme des rapports, ainsi que les délais d'intervention par phase de travail.
Les guides d'entretien type

Pour les évaluations où le recours à des panels d'experts est systématique, des procédures de conduite du travail et des guides d'entretien peuvent être élaborés, afin de faciliter le travail du panel (ex : lors des entretiens avec les autorités, des visites de terrain, des entretiens avec les bénéficiaires, etc.) et d'avoir des types de productions comparables entre différents panels (cas des évaluations répétitives).

Ces guides peuvent également être fournis aux équipes qui n'ont pas l'habitude de l'évaluation, afin des les aider dans leurs tâches.

Quelles sont les règles de fonctionnement du panel?

Les principes de base du travail d'un panel d'experts

Il n'existe pas de méthode de travail unique et le panel d'experts est libre de s'organiser comme il l'entend. Le travail peut être concentré sur la lecture de la documentation et des réunions de travail, ou être élargi à la rencontre de responsables de projets, de visites de terrain, d'envoi de questionnaires, etc. Le choix de la méthode dépend beaucoup du domaine étudié, de la mission des experts, de l'information et des ressources qu'on met à leur disposition.

Les experts ont pour rôle d'étudier ce qui leur est demandé et de produire leurs conclusions sous la forme d'un rapport. Une attention particulière doit donc être apportée à la préparation et à la rédaction de ce rapport.

On attend généralement d'un panel d'experts :

  • des travaux intégrant les standards scientifiques et techniques des disciplines étudiées,
  • une indépendance totale vis-à-vis des programmes étudiés, et donc un jugement dénué de tout intérêt particulier,
  • un consensus sur les conclusions et les recommandations.

Sur ce dernier point, certains commanditaires refusent que la recherche du consensus aboutisse à la production d'un rapport sans intérêt et peu réaliste. Ils préconisent dans ce cas de produire un rapport faisant apparaître les différences de points de vue entre les experts et les raisons de ces différences.

Parmi les autres règles applicables aux travaux des panels figurent la confidentialité des débats, et la non divulgation des résultats intermédiaires.

Les règles générales de conduite des réunions

La première réunion du panel d'experts

La première réunion du panel a un contenu proche de celui des termes de référence. Elle doit conduire à une parfaite compréhension des experts et de leur rôle dans l'évaluation.

Lors de cette réunion, la méthode selon laquelle seront conduits les travaux doit également être discutée et validée. La discussion devra comprendre :

  • l'organisation du panel et rôle de chacun dans le panel.
  • le type d'investigation, méthode d'acquisition des données, et conduite des travaux confiés à chacun (ex: visite de terrain).
  • le calendrier d'intervention, organisation des futures réunions, contenu de ces réunions.

Il est également capital lors de cette réunion de rappeler à tous les membres du panel les règles générales de fonctionnement (ex : indépendance, consensus, etc.) car les experts sont familiers des sujets étudiés, mais peu en général des outils d'évaluation.

Les éventuels conflits d'intérêt des experts avec le programme étudié doivent être systématiquement abordés, débattus et tranchés lors de cette réunion.

Les réunions suivantes

Les réunions suivantes (au nombre de 3 à 5 environ) seront directement liées aux travaux du panel. Y seront systématiquement abordés :

  1. les travaux réalisés depuis la réunion précédente,
  2. les résultats des investigations achevées ou en cours,
  3. les problèmes rencontrés (ex : difficultés pour collecter l'information, problèmes concernant le calendrier d'intervention, le budget, etc.),
  4. l'état d'avancement de la rédaction des différents documents et le processus de relecture et contrôle de ces derniers,
  5. les travaux à réaliser avant la prochaine réunion et le contenu de celle-ci.

Afin d'assurer une confidentialité totale des travaux du panel, certains commanditaires recommandent de détruire les enregistrements, les minutes et les rapports intermédiaires des réunions, afin de ne conserver que le rapport final qui est la seule véritable production demandée au panel.

L'organisation de la mission

Celle-ci peut être très variable selon les missions confiées au panel. Dans la mesure où l'on a affaire à des experts dont l'activité principale n'est pas l'évaluation et dont la résidence peut être éloignée du lieu de rencontre, il est fondamental d'organiser le calendrier de leur intervention dès le début de la mission et de s'y tenir autant que possible. 

Afin d'éviter les biais d'interprétation ou d'empathie, on recommande souvent aux experts qui conduisent entre deux réunions des travaux pour le compte du panel (comme la visite d'un site, par exemple) de le faire par binôme au moins. Ces binômes ou petits groupes doivent alors être constitués de telle sorte que les différents points de vue possible sur le programme y soient représentés.

Quel est le rôle attribué au président du panel?

Le rôle du président du panel est central. C'est lui qui dirige les travaux, propose la méthode de travail, intègre les résultats, stimule les contributions, facilite les débats, représente le panel lors des réunions. C'est souvent de lui que dépend l'ambiance de travail du panel.

Les différentes fonctions du président du panel 


Un rôle de facilitateur

  • Lors de la première réunion de travail, c'est lui qui guide le panel dans l'élaboration du plan de travail et de l'architecture du rapport.
  • Ensuite, il organise le travail des équipes, la production des documents et leur révision.
  • Il s'assure tout au long de l'étude que la totalité des membres du panel prend part au travaux et s'approprie l'évaluation.
  • Enfin, lors des discussions et échanges entre les membres et en particulier ceux ayant des points de vue différents, il s'assure en permanence de la recherche du consensus entre les experts, ce qui demande parfois beaucoup de tact et de flexibilité.

Un rôle d'intégrateur

Le président a la responsabilité de diriger l'étude, de définir les méthodes, de revoir les productions, de faire respecter les délais et de consigner les résultats des travaux des autres membres.

Et ce concernant :

  • la production des autres membres du panel, il doit assurer une critique constructive afin d'améliorer les réflexions produites plutôt que de les contrôler,
  • les productions du panel dans son ensemble, c'est lui qui le plus souvent travaille avec le secrétaire et le commanditaire à l'élaboration des différentes versions des réflexions en cours avant de nouvelles discussions avec le panel.

Un rôle de gestionnaire de projet

Le président a également pour rôle de s'assurer que les ressources disponibles sont suffisantes et qu'elles sont bien employées tout au long du travail du panel. Il est donc en relation permanente avec le commanditaire pour ces questions financières et techniques. Si des sous-contractants sont mis à la disposition du panel pour réaliser des études pour le compte du panel, c'est lui qui supervise ces travaux, leur conduite et leur finalisation. Il s'assure que les réunions du panel ont bien été préparées par le secrétaire, que tous les documents sont fournis aux experts dans les délais et que les moyens nécessaires pour leur participation aux réunions sont bien réunis. Si des réajustements de budget, de délais ou de contenu de la mission s'avèrent nécessaires, c'est lui qui en débat avec le commanditaire pour trouver une solution.

Un rôle de représentant du panel

Le panel doit être représenté dans différentes instances comme les comités de pilotage de l'évaluation, d'éventuelles réunions avec le commanditaire, avec la presse, etc. Comme il n'est pas possible de systématiquement déplacer tout le panel pour ces réunions, c'est le président du panel qui en assure la représentation. Celui-ci peut néanmoins déléguer certaines de ces activités, mais il est toujours préférable que ce soit lui qui assure les réunions les plus importantes.

Comment le panel restitue-t-il ses travaux?

La synthèse des travaux du panel

A la fin de leur mission, les experts produisent un rapport. Ce rapport est la seule production visible du panel, sur lequel le jugement de la partie de l'évaluation confiée au panel sera basé. La rédaction de ce rapport doit donc être faite avec un très grand soin.

Le plan type du rapport final

Le plan type de ce rapport dépend évidemment de la nature de la mission confiée. Pour les missions ayant un caractère technique ou scientifique, le plan doit au moins contenir :

  • un résumé, si possible pas trop technique,
  • les termes de référence de la mission,
  • la composition du panel, en détaillant si possible (si besoin en annexe) les références des experts,
  • les preuves rassemblées et les hypothèses retenues, ainsi que les éventuelles incertitudes et leurs éventuelles conséquences sur les conclusions,
  • les analyses conduites,
  • le jugement en explicitant les points de consensus. Si celui-ci n'a pas été atteint, le rapport doit détailler les points sur lesquels un consensus a été trouvé et les points de désaccord en les explicitant.

Ce dernier point est évidemment le point le plus difficile dans la mise en œuvre de cet outil. Le consensus doit être autant que possible visé : le jugement du panel en est largement renforcé. Le rôle du président est fondamental pour tenter d'atteindre le consensus ou pour formuler la position finale du panel, y compris si des divergences subsistent.

.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

Références générales

  • Expert panels: manual of procedural guidelines. The Royal Society of Canada. 1998. [EN] 
  • "La gestion stratégique de la recherche et de la technologie", Chap. 1 Édition Economia. 1995.
  • Cahiers Means.

Références spécifiques à l'utilisation de panels d'experts en évaluation pays

  • Rapport du panel d'experts, de l'évaluation du forum Megascience de l'OCDE, 21 octobre 1998. [EN]
  • Rapport du panel d'experts portant sur les pesticides, Radio New Zealand, 11 septembre 2000. [EN] 
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
Le recours au panel d'experts a-t-il été justifié par l'impossibilité d'obtenir des jugements par une autre voie ?  
La question des éventuels conflits d'intérêt des experts avec le programme évalué a-t-elle été abordée?  
Si des experts ayant des conflits d'intérêt avec le programme évalué ont été maintenus, les raisons en ont -elles été explicitées (ex : manque d'experts sur ce thème, équilibre des points de vue au sein du panel, etc.) ?  
Les compétences des membres du panel permettaient-elles de couvrir de façon complète tous les sujets à traiter ?  
L'équilibre global de la composition du panel permettait-il d'obtenir une neutralité vis-à-vis du sujet évalué ?  
Mise en œuvre
 
La durée prévue pour le panel a-t-elle été suffisante pour couvrir les problématiques à étudier ?  
Y a-t-il eu une information précise des membres du panel sur leur rôle et sur les règles de fonctionnement d'un panel ?  
Y avait-il à la disposition des membres du panel des guides d'entretien type, des procédures types, etc. permettant un travail homogène des différents groupes d'experts ?  
Les biais résultant des positions et opinions des experts ont-il été pris en considération ?  
Tous les experts ont-ils été véritablement impliqués dans les travaux du panel, tout au long de l'exercice ?  
La confidentialité des travaux a-t-elle été assurée tout au long de l'exercice (ex : grâce à l' information systématique sur cette confidentialité, ou la destruction systématique des documents intermédiaires) ?  
Le rapport détaille-t-il les analyses conduites ?  
Les points de consensus sont-ils précisés ?  
Les points de désaccords sont-ils explicités et analysés ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Le recours au panel d'experts a-t-il été justifié ?  
Le choix des experts est-il argumenté et pertinent ?  
Le rapport détaille-t-il les analyses conduites ?  
Les points de consensus sont-ils précisés ?  
Les désaccords sont-ils explicités et analysés ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas

Etude de cas

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

Faire une ou plusieurs études de cas consiste à utiliser un ou plusieurs exemples réels afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation.

L'étude de cas vise, dans les situations complexes, à répondre aux questions "Comment" et "Pourquoi" à partir d'exemples concrets, judicieusement choisis en fonction des objectifs de l'évaluation. Cet outil fournit une information empirique et donc souvent plus crédible, dans les situations où l'information de base fait défaut (cas fréquent en évaluation géographique).

Encadré 1 - Eléments constitutifs de l'étude de cas

Elle peut inclure l'examen de documents, de données statistiques ou de mise en oeuvre, mais elle inclut surtout l'observation directe du phénomène à étudier et des entretiens auprès de personnes directement concernées en tant qu'acteurs institutionnels ou bénéficiaires.

Comment mettre en oeuvre un étude de cas ?

Quelles sont les conditions d'emploi de l'étude de cas?

Pour que l'étude de cas soit crédible et donne des résultats satisfaisants, le contexte spécifique de l'évaluation géographique requiert de :

  • trouver un partenaire local efficace, neutre par rapport à la chose à évaluer, et compétent sur les sujets à étudier et les méthodes d'évaluation,
  • mettre en place les procédures de supervision du travail des équipes locales et internationales,
  • garder la maîtrise de la sélection des personnes à rencontrer,
  • veiller à l'équilibre entre entretiens avec des institutionnels et avec des représentants des bénéficiaires.
Encadré 2 - Schéma global de mise en œuvre de l'étude de cas

Comment choisir les unités d'observation ?

Le choix des unités d'observation est primordial pour la qualité de l'évaluation et pour tenter la généralisation des résultats obtenus.

Le United States Gouvernment Accountability Office (USGAO) propose trois clés possibles de sélection des unités d'observation:

  • La commodité (convenience) : la facilité de réalisation des études.
  • L'échantillonnage selon le but recherché.
  • La recherche de représentativité statistique.
Exemple de critères de sélection de pays pour l'évaluation de l'aide européenne dans le secteur de l'eau :

1. Etre un pays faisant parti des principaux bénéficiaires de l'aide de la CE dans le secteur de l'eau
2. Avoir un représentant de chaque région du monde
3. Avoir l'eau comme principal secteur d'intervention
4. Ne pas avoir été concerné par les dernières évaluations conduites par l'Unité d'évaluation.

Comment planifier l'étude de cas ?

Un protocole de conduite de l'étude ou des études de cas est toujours nécessaire.

Encadré 3 - Un protocole de conduite de l'étude ou des études de cas est toujours nécessaire

Faire une étude de cas pilote permet, entre autres, de :

  • valider la méthode de conduite des études en la mettant à l'épreuve du terrain,
  • affiner la liste des catégories de personnes à rencontrer et la bibliographie de base,
  • finaliser les guides d'entretien et les questionnaires d'enquête,
  • revoir les questions posées aux évaluateurs, les critères et les indicateurs, au vu de ce qui est réellement disponible sur le terrain,
  • faire un rapport type, à suivre par les autres évaluateurs.

Comment collecter les données ?

Afin que les résultats de l'étude de cas soient fiables, il convient de s'assurer lors de cette collecte d'un certain nombre de points fondamentaux :

  • La collecte des données doit concerner des données "longitudinales" c'est-à-dire qui couvrent une période suffisamment étendue pour éviter qu'une situation momentanée ne soit prise comme référence.
  • Elle doit être basée sur le principe de la vérification de l'information par triangulation, systématiquement adopté en évaluation.
  • L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées.
  • Par définition, l'étude de cas reste ouverte aux éventuelles découvertes en cours de réalisation. L'évaluateur doit savoir identifier les points clés durant la réalisation de l'étude de cas et les approfondit, quitte à sortir du plan prévu.
  • Enfin, la phase de terrain permet des observations directes sur ce qui se passe. Il est important pour l'évaluateur de les noter avec précision.

Comment analyser et interpréter les résultats ?

C'est la phase la plus délicate de l'étude de cas. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. Cette analyse est moins encadrée par des méthodes contrairement aux phases de conception et de collecte. C'est ce qui en fait sa relative difficulté.

L'analyse se déroule, pour partie, en même temps que la phase de collecte, surtout pour les études de cas où :

  • L'étude est suffisamment étendue pour que les premiers résultats obtenus permettent en temps réel à l'évaluateur d'affiner la suite de la collecte.
  • La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement.

Quelles sont les ressources nécessaires?

Encadré 3 - Les ressources nécessaires
En temps Préparation : 15 à 20 jours
Terrain : 3 à 10 jours
Analyse : 3 à 10 jours
Formation des évaluateurs (dans une étude de cas multisite) : 2/3 jours
Synthèse des études de cas multiples : 10 à 30 jours
Humaines Personnes qualifiées qui maîtrisent la problématique, la technique d'entretien et la langue des personnes interrogées.
Financières Un budget de l'ordre de 15 000 € est à prévoir pour la phase de préparation des études de cas multisites.

Ensuite, un budget par étude de cas est à prévoir de 5000 à 7000 €, hors coût de transport longue distance.

Quels sont les avantage et les limites de l'outil?

Encadré 4 - Les avantages et les limites
Avantages La richesse d'une information qualitative détaillée présentant clairement des contextes de mise en œuvre.

Une relative simplicité d'usage.

Une souplesse permettant de s'adapter en temps réel aux situations.

Des délais de mise en œuvre compatibles avec une utilisation en évaluation géographique.

L'appréhension des informations de façon suffisamment approfondie et notamment la capacité de cerner les logiques d'action des différents acteurs en présence.

Limites La difficulté d'identifier les bons interlocuteurs.

La difficulté d'identifier les cas et leurs contours et de les relier aux problématiques vastes des évaluations géographiques.

Les difficultés relatives à la généralisation au niveau global (ex : un pays) de thématiques étudiées à un niveau très local.

Le coût de l'outil.

Le fait que l'outil ne permet que rarement une interprétation statistique des données.

Enfin, il s'agit d'un outil basé sur le jugement d'un ou plusieurs évaluateurs. En cela, il peut malgré les précautions d'usage comporter une certaine partialité.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QU'EST CE QUE L'ETUDE DE CAS?

.

Quelle définition donner à l'étude de cas?

L'étude de cas est probablement un des outils d'évaluation les plus multiformes et dont les objectifs et le contenu peuvent être aussi variables, si bien que les experts ont parfois du mal à s'accorder sur ce qui est ou non une étude de cas.

En matière d'évaluation, deux définitions sont présentées ici :
Selon l'United States General Accounting Office (USGAO), qui est l'une des principales institutions d'évaluation à avoir utilisé et rationalisé l'usage de l'étude de cas en évaluation : "Une étude de cas est une méthode d'apprentissage partant d'un exemple complexe, considéré comme un tout dans son contexte, basée sur une compréhension d'ensemble de cet exemple, obtenue par une description et une analyse très détaillée de celui-ci".

Selon R. YIN dans son ouvrage "Case Study reseach. Design and Methods", plus centré sur la recherche appliquée en sciences sociales, "Une étude de cas est une investigation empirique d'un phénomène contemporain, pris dans son contexte, spécialement quand les limites entre phénomène et contexte ne sont pas évidentes".

Dans la méthode issue de la recherche, le choix d'une hypothèse est souvent retenu comme point de départ, que l'étude de cas va chercher à confirmer ou infirmer. Dans le cas d'une évaluation, l'étude de cas est avant tout un moyen d'étudier dans le détail un exemple, sans avoir obligatoirement d'a priori.

Faire une ou plusieurs études de cas consiste donc avant tout à partir d'un ou de plusieurs exemples réels, afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation.

Les objectifs assignés à l'étude de cas visent, dans les situations complexes, à tenter de répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, judicieusement choisis en fonction des objectifs de l'évaluation. Cet outil sert à fournir une information imagée et donc souvent plus crédible, dans les situations où l'information de base fait défaut (cas fréquent en évaluation pays).

Elle peut inclure l'examen de documents, de données statistiques ou de mise en oeuvre, mais elle inclut surtout l'observation directe du phénomène à étudier et l'interview de personnes directement impliquées dans sa mise en œuvre ou ses effets. Ceci sous entend donc la présence de l'évaluateur sur le terrain au contact même de la réalité, ce qui est un des points fondamentaux de l'étude de cas.

Du fait de la diversité de ses usages, l'étude de cas s'avère un outil utile à toute étape de l'évaluation : collecte, observation, analyse, et même formation du jugement.

D'où vient l'étude de cas ?

L'étude de cas vient clairement du monde de la recherche et n'a été utilisé que plus tard en évaluation. L'outil a été surtout développé à partir des années 50. Parmi les méthodes de recherche en sciences sociales (enquête, expérimentation, analyse d'archives…), l'étude de cas s'est imposée comme un outil à part entière pouvant être utilisé dans des situations spécifiques, là où les autres étaient moins performants.

Ceci ne signifie d'ailleurs pas qu'il se soit développé sans difficulté, les outils fournissant des données quantitatives (enquêtes, outils mathématiques, etc.) lui étant très souvent opposés. C'est donc tout naturellement que les usagers de cet outil et ses défenseurs, ont dû établir des méthodes rigoureuses permettant d'obtenir des résultats fiables. Les domaines dans lesquels l'outil a été utilisé sont très variés. A titre d'exemple peuvent être cités les sciences sociales et politiques, la psychologie, la médecine, le management, les relations internationales, etc.

En évaluation proprement dite, l'usage des études de cas a également couvert de très nombreux sujets. Les premières études de cas, proches de celles de la recherche, étaient souvent faites par un seul évaluateur et étaient essentiellement descriptives. Elles avaient pour but principal d'illustrer la mise en oeuvre d'un programme et ses résultats, à partir d'exemples concrets. Elles étaient souvent basées sur des méthodes empiriques.

Depuis, les méthodes se sont formalisées pour aboutir à des pratiques nettement plus structurées. Toutefois, une part d' "opportunisme" est autorisée à l'évaluateur pour adapter l'outil à ce qu'il observe, en développant plus avant un aspect lui semblant important à creuser (ex : investiguer les raisons qui font que deux groupes ont des avis divergents sur un sujet).

Cette structuration des pratiques a, entre autres, donné lieu à la distinction de différentes catégories ou formes d'études de cas.

.

QUELLES SONT LES DIFFERENTES FORMES D'ETUDES DE CAS?

.

Selon l'USGAO, il existe en évaluation six principales catégories d'études de cas, étant entendu que la combinaison entre elles est souvent possible, en fonction du contexte.

La manière de conduire concrètement les études de cas diffère un peu selon les types, mais fait malgré tout référence à des standards applicables à toutes (ou presque) exposés dans la partie " comment réaliser l'étude de cas? ".

A ces catégories d'étude de cas, s'ajoute le choix d'en réaliser une ou plusieurs dans une même évaluation. On parle alors d'étude de cas multiple. Lorsqu'elles concernent plusieurs sites, on les désigne comme étant des études de cas multisites.

L'étude de cas illustrative ou descriptive

Cette forme d'étude de cas a pour but de décrire concrètement un ou un nombre très limité d'exemples. Elle peut être comparée à un effet de zoom focalisant sur un point précis de l'ensemble. Elle est très descriptive et permet dans une évaluation, d'approfondir et d'apporter des éléments concrets de terrain qui augmentent la crédibilité de l'argumentation.

Cet apport du terrain basé sur l'examen de la réalité permet également au lecteur de l'évaluation de mieux comprendre le contexte de mise en œuvre et les écarts entre ce qui s'est passé vraiment et ce qui aurait dû se passer.

Basée sur une analyse des données disponibles mais aussi sur une série d'entretiens, elle peut avoir pour but selon les cas, de recueillir :

  • des faits et des vérifications de faits,
  • des opinions et des points de vue,
  • des propositions,
  • et/ou des réactions à des premières hypothèses et conclusions des évaluateurs.

A partir de ce recueil d'information, elle aide à une meilleure compréhension des phénomènes, nécessaire à l'analyse finale développée dans le rapport d'évaluation. Comme toutes les études de cas, elle se concentre toujours sur les questions comment et pourquoi. Toutefois, le nombre très limité de cas rend difficile une généralisation des résultats obtenus.

L'étude de cas exploratoire

C'est probablement une des voies de développement possible de l'étude de cas en évaluation pays. En effet, ce type d'étude de cas a pour fonction principale de clarifier une situation dans laquelle manque l'information avant de commencer l'évaluation. Ce qui peut être le cas en évaluation pays. Elle permet aux évaluateurs de mieux apprécier les contextes locaux, la réalité de la mise en œuvre des programmes évalués, éventuellement leurs résultats ou la difficulté de les mesurer. En apportant cette information clé, l'étude de cas exploratoire fournit les bases au développement du questionnement et des méthodes d'investigation à mettre en oeuvre par la suite (ex : quelle question poser, comment et à qui ?).

Ce type d'étude exploratoire peut comporter une ou plusieurs études de cas selon la variété des contextes. N'ayant pas pour but de conduire aux conclusions de l'étude, mais d'éclairer et de préparer la suite du travail d'évaluation, les études de cas exploratoires diffèrent des autres types par:

  • leur niveau moins approfondi d'investigation (comparée à une étude de cas descriptive notamment) et de mise en évidence des chaînes de preuves,
  • la forme plus légère de sa restitution.

Les études de cas exploratoires participent plus de la méthode de structuration de l'évaluation que de l'accumulations de preuves.

C'est d'ailleurs un des travers possibles de ce type de travail, d'arriver à des conclusions trop hâtives par manque d'approfondissement du sujet. Il revient aux évaluateurs de bien connaître l'usage et les limites de ce type d'étude de cas et de ne pas:

  • en tirer des conclusions hâtives par manque d'approfondissement,
  • en rester aux résultats obtenus de cette façon, sans développer ensuite un travail complet d'évaluation, sur les bases de ces études de cas, et non à partir de leurs résultats proprement dit.

L'analyse d'un cas exemplaire (critical instance)

Ces études de cas ont pour but, sur un nombre très limité de cas, de se concentrer sur un ou deux sujets (ex : les projets à problème). Elles sont conçues pour examiner en détail les relations de cause à effet et pour valider ou invalider un certain nombre d'hypothèses existantes avant l'étude de cas.

Elles se focalisent sur les cas aux caractéristiques extrêmement spécifiques. Trop précises en ce sens, elles ont peu de chance d'être utilisées en évaluation pays. Elles sont donc mentionnées ici pour mémoire.
Toutefois, leur usage en évaluation pays n'est pas totalement exclu, lorsqu'elles ont une portée générale. Cette condition étant rarement remplie, il est préférable d'utiliser l'étude de cas illustrative ou descriptive, si le but recherché est d'apporter du réalisme à l'évaluation.

L'étude de la mise en œuvre

Couplées avec les études de cas d'analyse des effets d'un programme, les études de cas d'analyse de la mise en œuvre sont probablement celles qui peuvent être les plus réalisées en évaluation pays. Leurs objectifs peuvent être d'examiner si la mise en œuvre des programmes:

  • est conforme aux règles (application des textes de référence, lesquels, à quelle fréquence ont-ils changé, règles de suivi-contrôle, …),
  • est conforme aux attentes (mode d'information des bénéficiaires, intérêt des bénéficiaires pour le programme, difficulté de compréhension de la documentation, retards dans la mise en œuvre, …),
  • donne lieu à d'importantes variations entre sites (règles appliquées de manière différente, écarts entre les mesures mises en œuvre d'un site à un autre, …),
  • pose ou non des problèmes en lien avec les résultats du programme et pourquoi.

Elles sont conçues pour répondre aux questions d'évaluation relatives à la mise en œuvre (efficacité et efficience en particulier). Elles doivent être conduites en vue d'une généralisation possibles de leurs résultats. En évaluation pays, la réalisation d'études multisites est donc une quasi nécessité. Il convient donc, dans ce cas, de choisir avec soin les sites qui serviront de base aux investigations.

L'étude des effets

C'est le type d'études de cas le mieux adapté à l'évaluation pays au niveau de l'analyse des effets des programmes et des stratégies. Elles ont pour but d'étudier les effets observés (bons ou mauvais, attendus ou non) et de voir s'ils sont liés au(x) programme(s) ou stratégies mis en œuvre. Elles comprennent souvent une partie initiale (correspondant au contenu des études de cas) d'analyse de la mise en œuvre qui est un préalable quasi indispensable à la bonne compréhension des contextes. Elles s'intéressent ensuite aux résultats de cette mise en œuvre et tentent de démontrer en quoi les changements observés sont liés au programme développé (ou non) et pourquoi.

Comme pour les études de la mise en œuvre, les études de cas d'analyse des effets ont souvent pour but d'obtenir une information généralisable. De ce fait les études de cas multisites sont quasi incontournables.

Afin de donner plus de crédibilité aux résultats de ces études, il est parfois intéressant de les coupler avec des enquêtes auprès des bénéficiaires, qui, même si elles n'ont pas toujours de validité statistique, apportent tout de même un éclairage très intéressant à l'évaluation.

Ces études se concentrent donc sur l'étude des effets observés, en les comparant entre sites et autant que possible sur la mise en évidence des liens et des causes entre les changements observés et les programmes évalués.

Les études de cas cumulatives

Le principe est d'utiliser les résultats d'études de cas, ou d'études plus générales intervenues sur un même site ou une série de sites, à différentes époques. Ces études peuvent présenter un grand intérêt, mais la difficulté est souvent de trouver le matériau ancien permettant de construire les bases de l'étude de cas cumulative. De ce fait, celles-ci ont fort peu de chance d'être utilisées en évaluation pays et sont mentionnées ici pour mémoire.

.

POURQUOI ET QUAND?

.

Dans quelles conditions l'outil gagne-t-il a être utilisé?

L'étude de cas est un outil d'approche des situations complexes, qui s'avère performant lorsque :

  • les données quantitatives font défaut,
  • où l'appréciation du "pourquoi" et du "comment" est aussi, voire plus importante, que l'analyse de données elles-mêmes.

Les études ce cas peuvent être utilisées dans tous les types d'évaluation ex ante, intermédiaires ou ex post. Toutefois, même si leur usage est théoriquement possible en évaluation ex ante, la rapidité avec laquelle ces évaluations doivent généralement être conduites rend difficile leur usage. Seules les études de cas exploratoires pourraient dans ce cas être adaptées à ce contexte.

Les études de cas multiples permettent d'observer et d'analyser, selon le choix des évaluateurs, les situations intéressant spécifiquement l'évaluation (ex : les cas les plus problématiques, les plus réussies, etc.). Cet outil permet de répondre au plus près aux questions d'évaluation, en choisissant les cas les plus adaptés aux besoins demandés.

Quels sont les avantages et les limites de l'étude de cas?

Les avantages

Paradoxalement certains avantages de l'étude de cas sont souvent les défauts qui lui ont été reprochés par ses détracteurs :

  • La richesse apportée par une information qualitative détaillée présentant clairement des contextes de mise en œuvre et donc, selon certains, moins abrupte que l'information quantitative habituelle.
  • Une relative simplicité d'usage, pour les évaluateurs maîtrisant déjà les techniques d'entretien, de triangulation, d'observation, d'analyse de donnée.
  • Une souplesse permettant de s'adapter en temps réel aux situations.
  • Des délais de mise en œuvre compatibles avec une utilisation en évaluation pays (quelques mois) et qui peuvent être courts dans certains contextes (ex : étude de cas exploratoire).
  • La possibilité d'appréhender les informations de façon suffisamment approfondie et notamment de cerner les logiques d'action des différents acteurs en présence et leurs représentations, des enjeux, problèmes, acquis, difficultés, etc. liés à la politique ou au programme à évaluer..
  • Un des rares outils permettant d'aborder et de comprendre des situations complexes.

Les limites

Bien que présentant beaucoup d'avantages, cet outil a aussi, bien entendu, ses limites, au delà desquelles il n'est pas prudent de l'utiliser. Outre les limites propres à chaque catégorie d'étude de cas, certaines limites leurs sont communes :

  • la difficulté, accentuée en évaluation pays, d'identifier les bons interlocuteurs et donc le risque de biais dans la collecte et le traitement de l'information,
  • la difficulté d'identifier les cas et leurs contours (ex : zone pays, type de population, etc.) et de les relier à des problématiques aussi vastes que celles traitées dans les évaluations pays (ex : lutte contre la pauvreté, développement économique au sens large, etc.),
  • la difficulté de fixer le nombre de cas nécessaires pour tenter une généralisation,
  • les difficultés relatives à la généralisation au niveau global (ex : un pays) de thématiques étudiées à un niveau très local,
  • pour les études nécessitant la revue de données sur une période de temps significative, la difficulté qu'il y a s'assurer de la disponibilité des données,
  • le coût de l'outil, notamment pour l'évaluation pays multisite. Dans ce dernier contexte, il est particulièrement recommandé d'utiliser l'outil après avoir identifié une vraie valeur ajoutée de son usage dans ce cas précis (ex : études de cas dans plusieurs pays pour l'évaluation d'une stratégie régionale),
  • le fait que l'outil ne permet que rarement une interprétation statistique des données, même si dans chacune des études, une enquête fiable peut être réalisée,
  • enfin, il s'agit d'un outil basé sur le jugement d'un ou plusieurs évaluateurs. En cela il peut malgré les précautions d'usage comporter une certaine partialité.

Peut-on combiner l'étude de cas avec d'autres outils ?

Compte tenu de sa souplesse de mise en œuvre, l'étude de cas laisse la liberté aux évaluateurs d'y intégrer une grande panoplie d'outils ou de méthodes. Certains font partie intégrante de l'étude de cas :

  • les entretiens individuels,
  • les outils d'analyse des données de base (par exemples : données de mise en œuvre fournies par le client).

D'autres peuvent ne concerner que certaines études comme :

  • la reconstitution de faits historiques pour les études cumulatives,
  • l'usage d'outils spécifiques au traitement des données des études multisites (ex : matrice de catégorie, table de fréquence, etc.),

Enfin il peut être décidé d'ajouter des outils à l'étude, comme :

  • des enquêtes, en particulier auprès des bénéficiaires,
  • des entretiens de groupe auprès des bénéficiaires ou de personnes travaillant dans une même filière ou secteur.

En matière d'évaluation, l'étude de cas peut être redondante avec certaines enquêtes, si les contextes sont proches, mais en règle générale, cet outil a un usage si spécifique qu'il ne peut être redondant qu'avec les entretiens individuels ou de groupe déjà menés dans la même évaluation.

Quelles ont les resources nécessaires à l'utilisation de l'étude de cas en évaluation?

La durée

La préparation des études de cas peut être assez longue en particulier pour identifier les sites, finaliser le contenu et préparer la logistique. Dans une période de 2 à 3 mois, il faut prévoir de 15 à 30 jours de travail pour finaliser cette préparation, dans le cas d'une étude multisite.

La conduite des études de cas peut varier d'une étude à une autre, il faut au moins :

  • 3 à 4 jours pour la visite de terrain, pouvant aller jusqu'à 10 jours et beaucoup plus si couplée avec une enquête,
  • autant pour l'analyse des données (hors dépouillement d'enquête) et le rapport.

Le temps faisant souvent défaut dans une évaluation, il est parfois nécessaire de multiplier les évaluateurs de terrain. Dans ce cas, il faut prévoir un temps de formation de 1 à 2 jours pour ceux-ci.
Pour les études de cas multisites, une étude de cas pilote faite avant les autres pour finaliser la méthode est préférable. Sa durée est en général un peu plus longue que les autres. La synthèse des études de cas multiples, peut prendre de 10 à 30 jours selon la complexité des cas et leur nombre.

Les ressources humaines

Les études de cas doivent être réalisées par des personnes qualifiées qui :

  • maîtrisent bien la problématique étudiée dans l'évaluation concernée,
  • disposent d'une bonne maîtrise des techniques d'entretien,
  • parlent la langue des personnes interrogées.

Les ressources financières

Les coûts de réalisation d'études de cas sont par définition très variables en fonction notamment de :

  • la complexité du sujet à étudier,
  • le nombre de personnes à rencontrer,
  • l'éloignement des sites à visiter,
  • le nombre de sites.

Un budget minimal de 15 000 € est à prévoir pour la phase de préparation des études de cas multisites.

Ensuite un budget par étude de cas est à prévoir d'au moins de 5000 à 7 000 €, hors coût de transport longue distance, et s'il n'y a pas d'enquête.

A quelle fin utiliser les études de cas en évaluation projet ?

Les études de cas peuvent avoir leur place en évaluation projet principalement à trois niveaux :

  • les études de cas exploratoires pour affiner un questionnement en début d'évaluation ou pour élaborer un outil (questionnaire par exemple). Les résultats, issus de cette étude plus simple qu'une véritable étude de cas, ne sont pas automatiquement généralisables (importance de la validation continue des hypothèses lors des autres études de cas).
  • les études de cas illustratives pour réaliser une étude en profondeur touchant toutes les catégories d'acteurs jusqu'aux bénéficiaires finaux, sans ambition de généralisation, mais apportant des éléments concrets permettant d'apprécier la qualité du projet. Ces études de cas peuvent être organisées lors de la phase principale de terrain de l'évaluation.
  • les études de cas sur les effets et impact du projet auprès de différentes catégories d'acteurs.

.

EN EVALUATION PAYS

.

A quelle fin utiliser les études de cas en évaluation géographique?

Le rôle des études de cas en évaluation pays

Les études de cas peuvent avoir leur place en évaluation pays principalement à quatre niveaux :

  • les études de cas exploratoires pour affiner un questionnement en début d'évaluation,
  • les études de cas illustratives pour réaliser une étude en profondeur jusqu'aux bénéficiaires finaux, sans ambition de généralisation, mais apportant des éléments concrets,
  • les études de cas de la mise en œuvre et /ou des effets sur une série de programmes au sein de l'évaluation d'un pays,
  • les études de cas de la mise en œuvre et /ou des effets sur une série de pays au sein de l'évaluation d'un programme ou d'une stratégie régionale.

Les conditions d'emploi spécifiques

Pour que l'étude de cas soit crédible et donne des résultats satisfaisants, le contexte spécifique de l'évaluation pays requiert de :

  • trouver un partenaire local efficace, neutre par rapport à la chose à évaluer, et compétent sur les sujets à étudier et les méthodes d'évaluation,
  • mettre en place les procédures de supervision du travail des équipes locales et internationales de telle sorte que l'éloignement ne soit pas une difficulté insurmontable pour les évaluateurs,
  • garder la maîtrise de la sélection des personnes à rencontrer et ne pas se précipiter sur une longue liste de rendez-vous proposée à l'avance,
  • veiller à l'équilibre entre entretiens avec des institutionnels et avec des représentants des bénéficiaires.

Par ailleurs, dans une évaluation pays, la question complexe est souvent de déterminer quelles informations précises chercher et auprès de qui dans un temps relativement réduit et sur une question très vaste.
L'étude de cas en évaluation pays/région n'échappe pas à ces difficultés, notamment pour déterminer de façon fine les catégories d'acteurs qui auront été effectivement impliqués ou touchés, d'une façon ou d'une autre, par la politique mise en place, et pour analyser les stratégies et les logiques déployées par ces différents groupes d'acteurs.
Le processus de ciblage et de sélection des interlocuteurs, comme l'élaboration de la grille de questionnement sont donc déterminants.

Quel usage pour chaque type d'étude de cas en évaluation pays?

Les 6 types d'étude de cas et leur usage possible en évaluation pays

Types étude de cas

Adaptation à l'évaluation pays

Place dans l'évaluation

Résultats attendus

Limites

Etude de cas illustrative

Peut être utilisée en évaluation pays avec l'objectif d'apporter du réalisme Au cours de la phase principale de terrain de l'évaluation Permet de donner de la réalité aux affirmations contenues dans l'évaluation Le nombre limité de cas rend la généralisation difficile voire impossible

Etude de cas exploratoire

Peut être utilisée en évaluation pays pour mieux définir les problématiques et les questions d'évaluation Avant l'évaluation ou lors de la première phase de terrain de l'évaluation Aide à définir les contours de l'évaluation, les questions à approfondir et donc à structurer l'évaluation Les résultats, issus de cette étude plus simple qu'une véritable étude de cas, ne sont pas généralisables

Analyse d'un exemple critique

Difficilement utilisable en évaluation pays car trop centrée sur un exemple aux caractéristiques très spécifiques

Etude de la mise en œuvre

---------

Etude des effets

Recommandées en évaluation pays, en version multisites Lors de la phase principale de terrain mais une étude pilote peut être conduite lors d'une phase initiale pour caler les méthodes Donnent une forte assise aux assertions de l'évaluation sur les conditions et les effets de la mise en œuvre Nécessitent d'être conduites sur plusieurs sites afin que les résultats soient généralisables

Etudes de cas cumulatives

Très difficilement utilisables en évaluation pays du fait de l'absence d'études de cas antérieures

.

COMMENT FAIRE?

.

Quelles sont les étapes de la réalisation?

Etape 1: préparation

Structuration de la méthode

La question de la structuration de la méthode concerne l'argumentaire, la place de l'étude, la conception générale, les sources d'information.
Cinq phases sont nécessaires lors de la structuration de la méthode d'évaluation avant de décider du type et du nombre d'étude de cas à réaliser:

-1ère phase

 


-2ème phase

Définir la place des études de cas dans le processus d'évaluation (pour structurer la méthode, fournir les données sur la mise en œuvre, etc.).

-3ème phase

Définir les grandes lignes de la conception générale de l'étude. Préciser les hypothèses de base s'il y en a, les unités d'analyse choisies (ex : régions), quels types d'informations à recueillir, etc. Ces grandes lignes doivent suivre un protocole rigoureux, surtout lorsque des études multisites sont envisagées. La finalisation de cette conception et du protocole d'étude de cas se feront dans la phase pré-opératoire, une fois que les informations seront suffisamment abondantes pour pouvoir le faire.

-4ème phase

Proposer les sources pressenties pour collecter chaque type d'information.

La documentation :

Elle peut être extrêmement variée et comprendre par exemple:

  • des données sur le pays, la région, les programmes évalués et leur mise en œuvre dans la zone objet de l'étude de cas,
  • des rapports d'études précédentes,
  • des comptes-rendus d'activité des opérateurs et de suivi des programmes,
  • des données de monitoring des projets et programmes,
  • des cartes,
  • des statistiques,
  • des articles de journaux,
  • des contrats, etc.

Cette documentation peut être collectée sur place mais également avant le départ auprès de l'administration ou d'opérateurs en Europe et/ou dans le pays où a lieu l'évaluation. Une partie peut également être disponible sur Internet (ex : évaluations conduites par d'autres bailleurs).

Les entretiens:

C'est la plus importante source d'information en étude de cas et celle qui doit être privilégiée. Toutefois, en évaluation pays, une des principales difficultés concerne le choix des personnes à rencontrer. Si certaines sont évidentes, d'autres le sont moins. Cette liste devra presque toujours être complétée une fois sur place, après quelques entretiens préliminaires, pour ne pas en rester aux seuls entretiens officiels proposés par les autorités locales. Des entretiens de groupe pourront également être conduits, principalement avec des bénéficiaires.

L'observation:

C'est une nécessité "sine qua non" de l'étude de cas, l'évaluateur devant avoir une perception directe des phénomènes qu'il étudie. La plupart du temps, elle comporte:

  • un examen simple des lieux (ex : entreprises aidées, travaux en cours, salles de classe, dispensaires, etc.°) et des situations des personnes (ex : niveau de vie, de santé, de scolarisation… ainsi que des relations entre les parties prenantes (partenaires, autorités, etc.).
  • si nécessaire, des mesures physiques basées sur des protocoles rigoureux.
  • un certain nombre d'entretiens, en particulier avec les bénéficiaires.
Les autres sources d'information:

Il existe de nombreuses autres sources d'information possibles dans les études de cas, créées ou non par l'évaluateur. Une des plus courantes est la réalisation simultanée d'enquêtes, en général auprès des bénéficiaires, ceci dans le but d'ajouter des données quantitatives, aux qualitatives. Les études de cas souffrant, dans certains milieux, d'à priori défavorable liés à l'excès de données qualitatives, non corroborées par des quantitatives ; l'ajout d'une enquête dans l'étude de cas, limite considérablement cette critique et apporte dans tous les cas aux évaluateurs une meilleure perception des phénomènes observés.

Choix des sites

Le choix des sites est primordial pour la qualité de l'évaluation et pour tenter la généralisation des résultats obtenus. Si les études de cas multiples sont prévues, la méthode retenue pour choisir les sites et pour conduire ces études, doit être détaillée.
L'USGAO propose trois clés possibles de sélection des cas et des sites:

  • La commodité (convenience)
  • L'échantillonnage selon le but recherché
  • La recherche de représentativité

Les choix varient aussi en fonction de la combinaison des 3 clés et du nombre d'études.

La commodité (convenience)

Par cette clé, l'accent est mis sur la facilité de réalisation des études (ex : proche de la capitale où se passe l'essentiel de la mission de terrain ou taille limitée permettant une mission courte, etc.).
Bien que cette clé ne soit pas la meilleure pour assurer une certaine représentativité, elle peut toutefois permettre une approche correcte pour quelques études de cas illustratives, dans un contexte budgétaire difficile.

L'échantillonnage selon le but recherché

Ce second critère, le plus couramment utilisé, est lui-même divisé en plusieurs choix possibles selon les buts de l'évaluation:

  • L'examen des extrêmes: L'évaluation cherche à expliquer pourquoi des différences importantes existent entre plusieurs situations qui pourraient être identiques. Les études vont alors se focaliser sur les cas extrêmes, à choisir selon ce qui est recherché : écarts de coûts de mise en œuvre, de résultats obtenus, etc.
  • L'examen des meilleurs cas et/ou les pires cas: Les études de cas vont cibler les projets ou programmes regroupant les succès et les échecs intéressants pour l'évaluation.
  • L'examen de cas parmi des blocs homogènes: Alors que des différences existent entre projets ou programmes, certains d'entre eux font néanmoins partie de sous catégories homogènes (ex : projets à l'intérieur d'un même pays dans un programme régional, programmes menés par deux opérateurs différents dans un même pays, etc.). Le choix peut alors se porter sur quelques uns de ces cas, en les répartissant dans des catégories pertinentes à étudier (ex : les programmes menés par tel opérateur sont-ils mieux conduits que ceux menés par tel autre ?).
  • L'examen de cas représentatifs d'une problématique particulière ou de cas typiques: Ce choix va se focaliser sur une ou plusieurs caractéristiques intéressantes pour l'évaluation (ex: les gros programmes, les projets de santé, etc.).
  • L'examen de cas spécifiques, identifiés ou désignés comme tels par une source extérieure à l'équipe d'évaluation. Par exemple, les termes de référence de l'évaluation stipulent précisément que tel programme doit être pris comme étude de cas car des dysfonctionnements graves y ont été constatés.
La recherche de représentativité

Selon ce critère, les cas sont choisis parmi une liste selon les règles habituelles d'échantillonnage statistique avec une chance égale pour chaque cas d'être retenus. Ce modèle n'est pas le plus couramment appliqué, souvent parce que le nombre total de cas parmi lesquels le choix doit se faire, est faible et donc se prête mal à un échantillonnage représentatif, et surtout parce que par définition les études de cas sont orientées vers des problématiques particulières.

Combinaison des 3 clés

Des combinaisons peuvent exister entre ces différentes catégories. Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques.

Nombre d'études

Il n'y a pas de nombre d'études de cas minimum, toutefois plus il est élevé plus il permet à la fois une analyse détaillée et une généralisation. Comme les études de cas ne permettent pas, par construction, de faire d'analyses statistiques, il convient de ne pas multiplier les cas à l'extrême. Cinq à dix études pour une évaluation paraissent une fourchette satisfaisante pour tenter une généralisation. Ce nombre peut toutefois être augmenté jusqu'à une quinzaine si une série de problématiques distinctes doit être étudiée dans des études de cas différentes. Mais ceci est rare.

Il est fondamental avant d'arrêter définitivement la liste des études de cas à réaliser, de vérifier auprès des autorités de gestion des programmes, que ces cas n'ont pas déjà été l'objet de multiples études de cas lors d'autres évaluations, car la lassitude des personnes rencontrées peut alors altérer la qualité de l'étude.

Etape 2 : comment planifier l'étude de cas?

Une fois la décision prise de réaliser des études de cas et une fois les grandes lignes de leur contenu définies, ce travail doit être affiné avant la phase opérationnelle par différents points.

Finalisation du protocole

Un protocole de conduite de l'étude ou des études de cas est toujours nécessaire. Il fait partie de la structuration de la méthode d'évaluation et va au delà en englobant des aspects opérationnels proprement dits. Si ce protocole peut être relativement "succinct" pour une seule étude de cas menée par l'évaluateur lui-même, il doit en revanche être extrêmement détaillé pour des études de cas multiples menées simultanément par différents évaluateurs.
Le protocole contient :

  • Des données permettant aux évaluateurs de comprendre parfaitement le contexte de leur travail : les objectifs de l'évaluation et des études de cas, le cadre logique des programmes ou projets à évaluer, les principales données de mise en œuvre, la méthode et les raisons des choix des différents cas étudiés, le calendrier de l'évaluation et celui des études de cas (détaillé par phase).
  • Les méthodes de collecte des données: définition de la zone d'étude, de la période étudiée, des personnes à rencontrer, des données à collecter (documentation, entretiens individuels, ou collectifs, observation, enquêtes, etc.) avant ou pendant la phase de terrain de l'étude de cas, du temps à consacrer à chaque phase. Cette méthode doit toujours être basée sur un système de chaîne de preuves à constituer, c'est à dire sur des liens explicites qui doivent exister entre les questions évaluatives, les questions qu'il pose à son tour, les données qu'il collecte et l'argumentaire qu'il doit produire pour arriver aux conclusions.
  • Les éléments concrets de méthode sur lesquels s'appuyer : guide d'entretien par catégorie d'acteurs, questionnaire d'enquête et protocole de mesures sur le terrain si opportuns, etc.
  • Les questions auxquelles l'étude de cas doit répondre avec leur interprétation possible, les méthodes pour y répondre, les critères d'évaluation, les indicateurs recherchés. Pour que les études multisites soient exploitables, sous la forme d'une synthèse générale, il est en effet fondamental que chaque étude réponde à une série identique de questions que l'évaluateur principal reprendra pour en faire une synthèse englobant tous les sites.
  • Le plan du rapport d'étude de cas et sa forme (feuille de style notamment), y compris le mode de présentation des résultats et le contenu des annexes. La réalisation d'une étude de cas pilote a l'avantage de pouvoir servir d'exemple aux autres évaluateurs pour le format et le contenu du rapport. La standardisation des rapports d'études de cas permet un gain de temps précieux pour la synthèse des résultats.
  • Le nom et les coordonnées de la personne ressource pouvant être sollicitée pour apporter, à tout moment, des éclaircissements à l'évaluateur.

Choix des équipes

Simultanément à la phase de finalisation du protocole et si cela n'a pas déjà été fait dans la réponse à l'appel des offres des consultants, il faut arrêter avec le client, la liste des évaluateurs et de leur assistants (ex : enquêteurs), chargés de conduire les études de cas.
A ce stade, il faut s'assurer que deux exigences fondamentales, pour réaliser concrètement ces études, sont bien remplies:

  • Les personnes choisies ont bien la compétence requise pour les différentes tâches retenues. Les études de cas doivent toujours être dirigées par un des évaluateurs de l'équipe (national ou international).
  • Elles parlent la langue du pays ou de la zone concernée. L'usage d'un interprète est toujours possible, mais il ne doit être q'une solution de dernier recours.

Une fois cette liste arrêtée, les consultants demandent au client de leur fournir des lettres de mission, décrivant le but de leur intervention et demandant aux personnes qu'ils vont rencontrer de bien vouloir les assister autant que faire se peut.
Dans certains cas, des chargés d'étude peuvent réaliser tout ou partie de l'étude de cas, sous la responsabilité de l'évaluateur. Il reste cependant préférable de limiter ces prestations à des recueils d'informations simples (ex : statistiques, bibliographie…). En particulier, les entretiens avec les bénéficiaires, et les autorités en charge de la mise en œuvre doivent être faits au maximum par l'évaluateur lui-même.

Planification de l'étude de cas

Planifier une étude de cas est une opération méticuleuse et qui doit être faite suffisamment à l'avance pour permettre d'obtenir les rendez-vous escomptés sur place. En évaluation pays, l'assistance d'un bureau local est quasi indispensable pour:

  • trouver les coordonnées des personnes à rencontrer,
  • leur transmettre les demandes de rendez-vous, la copie des guides d'entretien, la lettre de recommandation du commanditaire, éventuellement la documentation de base,
  • organiser les entretiens et les réunions sur place (réservation de véhicules, de salles sur place, de lieux d'hébergement, etc.),
  • prêter assistance pour d'éventuelles traductions ou pour la conduite de certaines parties de l'étude (ex : enquêtes).

Si possible, faire une étude pilote

Bien des raisons incitent à réaliser une étude de cas pilote, avant le lancement d'une série multisite. Cette pratique prudente permet entre autres, de:

  • valider la méthode de conduite des études en la mettant à l'épreuve du terrain,
  • affiner la liste des catégories de personnes à rencontrer et de la bibliographie de base,
  • finaliser les guides d'entretien et les questionnaires d'enquête,
  • revoir les questions posées aux évaluateurs, les critères et les indicateurs, au vu de ce qui est réellement disponible sur le terrain,
  • faire un rapport type, à suivre par les autres évaluateurs qui est souvent plus compréhensible et parlant qu'un guide de rédaction d'étude.

Le choix du site pilote peut être fait à partir de critères de simplicité d'accès et de disponibilité des données ou des interlocuteurs. Toutefois, comme cette étude est souvent menée par celui qui pilotera l'ensemble des études de cas, pour profiter de cette expérience, il est souvent plus astucieux de choisir cette étude pilote sur des bases plus utiles pour la suite. Les critères de choix peuvent être:

  • Une étude rassemblant un large éventail des problématiques que les autres études auront à traiter (et donc pouvant servir plus facilement d'exemple de référence aux autres).
  • L'étude la plus complexe ou la plus difficile à réaliser au point de vue logistique, afin d'anticiper sur la faisabilité réelle des autres.

Former les opérateurs

Pour des questions de délais, l'ensemble des études de cas doit souvent être réalisé par plusieurs évaluateurs, ce qui peut se ressentir dans la conduite de l'étude et l'interprétation des résultats. Il convient de maîtriser au mieux cet "effet évaluateur".
Pour cela, outre la standardisation des méthodes évoquée à l'étape précédente, le minimum à faire est une formation de l'ensemble des futurs évaluateurs par le responsable des études de cas. Le but est que tous s'accordent sur les objectifs, les méthodes, les rendus des études de cas, et la restitution des résultats, et que chacun connaisse le contenu précis de sa prestation.
Cette formation doit être accompagnée d'un suivi permanent, chaque évaluateur devant pouvoir contacter rapidement le responsable des études de cas pour toute précision utile à leur conduite ou à leur restitution. Si les études doivent être réalisées dans plusieurs langues (ex : évaluations régionales avec des études de cas choisies dans plusieurs pays), ces demandes de précisions peuvent notamment concerner la signification de certains concepts, dont la traduction peut être ambiguë.

Etape 3:comment collecter les données?

Cette phase qui peut commencer avant la phase de terrain par la collecte bibliographique ou quelques rencontres préliminaires, est surtout capitale lors du déplacement effectif de l'évaluateur sur le terrain.

Afin que les résultats de l'étude de cas soient fiables, il convient de s'assurer lors de cette collecte d'un certain nombre de points fondamentaux:

  • La collecte des données doit concerner des données "longitudinales" c'est-à-dire qui couvrent une période suffisamment étendue pour éviter qu'une situation momentanée ne soit prise comme référence.
  • Elle doit être basée sur le principe de la vérification de l'information par triangulation, systématiquement adopté en évaluation. C'est-à-dire de la collecte d'informations auprès de plusieurs sources différentes (ex : entretiens, données de mise en œuvre et enquêtes ou plusieurs sources d'entretien comme les gestionnaires du programme d'une part et les bénéficiaires d'autre part).
  • L'évaluateur devra rester attentif à collecter puis présenter dans son argumentaire les preuves qu'il apporte. Pour faire une analogie avec le domaine de la justice, ces preuves peuvent être :
    • des faits observés par lui-même,
    • des faits incontestables constatés par des personnes ou institutions au-dessus de tout soupçon (ex : statistiques publiques),
    • des documents écrits dont la valeur en terme de preuve peut être très variable (ex : comptes-rendus de réunions),
    • la reconnaissance par certaines institutions ou personnes d'erreurs commises (ex : dans la mise en œuvre du programme),
    • des témoignages à charge ou à décharge, mais dans le cas d'une évaluation, il conviendra de vérifier par triangulation la véracité de ces témoignages,
    • des avis d'experts,
    • d'autres preuves matérielles comme des casettes vidéo ou sonores, etc.
  • L'évaluateur doit s'assurer que toutes les sources d'information sont bien exploitées : données statistiques de contexte, données de mise en œuvre, rapports existants, entretiens avec les bonnes personnes en mélangeant les catégories (administrations, contrôle, opérateurs, recherche, ONG, bénéficiaires, etc.), et enquêtes.
  • L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées. Il faut alors leur demander des argumentations, des exemples, des preuves, permettant de conforter la validité des données recueillies et au final, de reconstituer la chaîne de preuves utilisée dans la phase.
  • Par définition, l'étude de cas reste ouverte aux éventuelles découvertes en cours de réalisation. L'évaluateur doit savoir identifier les points clés durant la réalisation de l'étude de cas et les approfondit, quitte à sortir du plan prévu. En particulier, il est important de profiter de la phase de collecte pour avancer dans l'analyse et tester auprès de certaines personnes rencontrées les interprétations alternatives possibles, pouvant expliquer une situation.
  • La restitution des résultats de l'étude est un point fondamental qui augmente la crédibilité de ce qui a été trouvé. L'évaluateur doit donc noter très précisément les informations recueillies, en particulier tout ce qui concerne le contexte, les relations entre acteurs, les raisons de succès ou d'échec. Pour cela, il est très important de distinguer clairement au cours des entretiens le recueil d'informations (faits vérifiables) du recueil de points de vue, d'analyses et d'opinions, afin de les restituer tels quels dans le rapport.
  • Enfin, la phase de terrain permet des observations directes sur ce qui se passe. Il est important pour l'évaluateur de les noter avec précision.

La langue dans laquelle peut s'effectuer l'étude est un point délicat. L'évaluateur peut donc être recruté localement ou bien assisté par un interprète pour toute ou partie de l'étude, (ex : dialogue avec les bénéficiaires).

Etape 4 : comment analyser et interpréter les résultats?

C'est la phase la plus délicate de l'étude de cas. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. Cette analyse est moins encadrée par des méthodes contrairement aux phases de conception et de collecte, ce qui en fait sa relative difficulté.

Les deux grands modèles d'analyse

Il existe deux principaux modèles d'analyse liés à la conception de l'étude de cas.

  • Soit l'étude a été conçue pour vérifier une hypothèse. Dans ce cas, l'analyse va être orientée vers la recherche de ce qui confirme ou infirme cette hypothèse. Ce type d'étude de cas est plus utilisé en recherche qu'en évaluation.
  • Soit l'étude ne part de rien et c'est au cours de sa réalisation que vont progressivement être bâtis les raisonnements qui expliquent les résultats trouvés, attendus ou non. C'est la constitution de la chaîne de preuves.

Déroulement et imbrication avec les autres étapes

L'analyse se déroule pour partie, en même temps que la phase de collecte, surtout pour les études de cas où:

  • L'étude est suffisamment étendue pour que les premiers résultats obtenus permettent en temps réel à l'évaluateur d'affiner la suite de la collecte.
  • La phase de collecte comprend un test d'hypothèses préétablies qui nécessite de modifier en partie le contenu de l'étude au fur et à mesure de son avancement.

Elle peut faire appel à d'autres outils, utilisés une fois de retour de terrain (ex : traitement d'enquête, benchmarking, etc.) pour traiter ou comparer les données, mais l'analyse est toujours basée sur la constitution d'une chaîne de preuves.
La phase d'analyse doit suivre un certain nombre d'étapes, pour partie communes avec la phase de collecte:

  • La première action commune à la collecte et à l'analyse est la constitution d'une base de données sur l'étude de cas.
  • Le processus doit toujours être itératif, c'est à dire qu'il est basé sur la recherche suffisante d'information jusqu'à l'obtention de la chaîne de preuves.
  • L'analyse doit tester les différentes explications possibles d'une situation pour ne conserver que les définitives et éliminer les autres après justification.
  • L'analyse doit s'assurer de la reproductibilité des conclusions, c'est-à-dire avoir la certitude que n'importe quel autre évaluateur, en présence des mêmes informations aurait conclu la même chose.
  • Pour les évaluations multisites, la généralisation est un des principaux buts recherchés qui ne peut être atteint que si les étapes précédentes ont bien été remplies, ce qui donne aux résultats la consistance et la crédibilité requises pour affirmer les conclusions.

Le cas particulier des études multisites

Les méthodes d'analyse des études multisites utilisent différents outils permettant de simplifier la gestion de multiples données qualitatives. Parmi ces techniques figurent:

  • Les matrices de catégories qui reportent dans un tableau des éléments comparables d'un site à un autre (ex : types de gestionnaires des programmes ou nombre de programmes d'éducation par site, etc.). Pour pouvoir utiliser cette technique, il faut que les méthodes de collecte de données aient été standardisées au préalable.
  • Les tables de données qui font apparaître les fréquences d'apparition de tel ou tel phénomène. Ces tables sont particulièrement adaptées lorsque des enquêtes ont eu lieu lors des études de cas. Elles permettent alors de comparer les résultats de ces enquêtes dans les différentes zones étudiées. Toutefois, les études de cas ne réunissant, par construction, pratiquement jamais les conditions pour rendre une comparaison statistique possible entre plusieurs cas, il convient de trouver des moyens de comparer ces données sans avoir recours à des représentations statistiques classiques comme la moyenne, l'écart type ou la variance.
  • Les représentations graphiques de données utilisant ou non des programmes informatisés. Ces techniques lorsqu'elles sont complètement formalisées, impliquent une réunion des évaluateurs ayant conduit les études de cas pour valider ou invalider les hypothèses retenues par sujet (présentées sur les graphiques) et avancer ainsi vers les conclusions. L'usage de vidéo-conférences ou d'échanges par mail pour un nombre limité d'évaluateurs est une solution alternative économique à ces réunions.
  • Les séries temporelles qui comparent par site l'ordre d'apparition des évènements afin d'en tirer des enseignements. Ces séries peuvent permettre d'expliquer pourquoi telle série conduit au succès des programmes alors que d'autres n'y parviennent pas.

Cette liste n'est pas exhaustive. Chaque évaluateur doit pouvoir se sentir libre de présenter les résultats de plusieurs études de cas selon les axes qui lui permettent d'aboutir à la chaîne de preuves qui doit toujours être recherchée. Grâce aux études sur plusieurs sites, ces chaînes de preuves peuvent être renforcées par la constatation de l'apparition simultanée d'effets sur plusieurs sites à la fois.

Etape 5: la restitution

Cette étape est capitale, car il faut que le lecteur puisse avoir la même compréhension de la chose évaluée que l'évaluateur. Il ne faut donc pas sous-estimer cette partie de l'étude de cas. Concernant la présentation, le rapport doit contenir :

  • " les objectifs de l'évaluation et ceux des études de cas,
  • " si l'étude est multisite, les sites retenus et les raisons des choix,
  • " les méthodes de collecte et d'analyse utilisées avec leurs limites,
  • " les données de base (statistiques, données de mise en œuvre, résultats d'enquête, …) de chaque étude de cas et les différentes sources d'information.
  • " les descriptions factuelles développées, en particulier sur toute la mise en œuvre, permettant une compréhension aisée du lecteur,
  • " les réponses aux questions contenant :
    • Les comparaisons entre les divers sites, objets d'études de cas, synthétisées de façon lisible,
    • Les chaînes de preuves conduisant aux conclusions argumentées.
  • " les conclusions, construites pour permettre autant que possible une généralisation (surtout pour les études de mise en oeuvre et les études des effets).

Idéalement, pour éviter les biais d'empathie, on peut distinguer le verbatim du cas de la monographie elle-même, et avoir un rédacteur de la monographie distinct du chargé d'étude qui a préparé les minutes. Cet idéal sera toutefois difficile à atteindre en évaluation pays, du fait des contraintes de temps et de budget.
Le style de rédaction des rapports d'étude de cas dépend beaucoup du rôle que les évaluateurs veulent faire jouer à ces études. Ce rôle doit bien sûr être défini à l'avance. Par exemple, dans le cas:

  • d'une étude unique illustrative. La description détaillée des phénomènes observés sera recherchée pour apporter du concret à l'évaluation.
  • d'une étude multisite avec de nombreux sites. Pour être lisible, le rapport de synthèse ne pourra pas être aussi détaillé. La comparaison entre les sites sera privilégiée, les rapports de chaque étude de cas étant reportés en annexe.

Le public cible, destinataire des résultats de l'étude de cas, doit également être identifié. Dans le cas d'une évaluation pays, il s'agira le plus souvent des utilisateurs de l'évaluation. La rédaction sera donc essentiellement orientée vers la réponse aux questions d'évaluation et vers des conclusions -recommandations en lien direct avec la gestion des programmes.
Si l'étude de cas doit s'adresser à un public moins spécialisé, sa restitution pourra prendre une forme moins technique. Le recours à un résumé non technique au début du document est également une solution.

Quels sont les écueils à éviter?

Conception inapropriée de l'étude

La conception générale de l'étude doit toujours permettre de répondre à la question "comment ?" et en tout ou partie, à la question "pourquoi ?". Sa validité doit être testée dès le stade de la conception qui intègre :

  • les questions que l'on se pose,
  • les unités d'analyses spatiales et temporelles choisies,
  • le protocole de collecte et d'analyse des données, lié aux questions que l'on se pose,
  • les critères d'interprétation des résultats et le mode de restitution de ceux-ci.

Si un seul de ces points est mal conçu, c'est l'ensemble de l'étude de cas qui est remis en cause. Il convient donc de vérifier si :

  • Les questions que l'on se pose sont bien en lien direct avec les questions générales de l'évaluation et permettent d'apporter tout ou partie des réponses à ces questions d'évaluation.
  • Les unités choisies permettent de couvrir correctement la problématique (ex : la période retenue est-elle suffisante ? La zone à étudier permet-elle de couvrir suffisamment la problématique étudiée ? …).
  • La méthode couvre-t-elle toutes les parties de l'étude, de la collecte au rapport ? Permet-elle de réunir la chaîne de preuves que l'on recherche ? Sa conception est-elle vraiment itérative et est-il prévu de valider - invalider les interprétations alternatives ?
  • Les critères d'interprétation des résultats sont-ils suffisamment explicites et argumentés ?

Il est important de se rappeler que dans un domaine aussi difficile que l'évaluation pays:

  • Prévoir dans la conception de l'étude de cas, plusieurs études est une sécurité importante, car une seule étude peut conduire à des biais.
  • Sauf argumentation contraire, les études multisites devraient toutes être faites selon la même méthode pour permettre les comparaisons de résultats entre sites et aider ainsi à une certaine généralisation.
  • Malgré la rigueur requise pour la mise en œuvre des études de cas, la conception de l'étude doit malgré tout, toujours laisser la possibilité à l'évaluateur d' "explorer" un domaine, si cela lui paraît justifié. Ce point particulier lorsqu'il se produit, peut éventuellement être validé avec le responsable de l'ensemble des études de cas.

Mauvais choix des sites retenus

La fiche "préparation des études de cas" détaille les différentes possibilités pour choisir les sites afin d'y réaliser des études de cas.
Une attention toute particulière doit donc être portée à ces choix, qui doivent faire l'objet :

  • d'un argumentaire détaillé dans un rapport intermédiaire présentant les différentes possibilités et les choix proposés, en lien direct avec les questions d'évaluation (ex : pourquoi une étude des extrêmes ou des mauvais cas ? Pourquoi 5 sites plutôt que 3 ou 7 ? etc.),
  • d'une procédure de discussion - validation avec le client incluant si possible une consultation du niveau local (délégation, pays hôte, etc.) afin de valider que les sites proposés conviennent bien et ne présentent pas de problème spécifique (ex : site visité par toutes les évaluations ou au contraire site dangereux, etc.),
  • de la production d'un document final intégrant ces différentes phases et arrêtant les choix.

Recueil d'information trop superficiel et argumentaire faible

La justification même de l'étude de cas est un étude en profondeur. Si celle-ci est superficielle alors ses conclusions ne sont pas opposables et l'étude ne sert à rien. Il doit y avoir une recherche systématique d'exhaustivité et de qualité dans la façon de concevoir et réaliser une étude de cas. Les phases de collecte et d'analyse détaillent les points qu'il convient d'observer pour tendre vers ce but.
Si la conception de l'évaluation a été bonne, il y a peu de chance de tomber dans ce travers mais quelques précautions peuvent améliorer le contenu des études de cas comme:

  • la mise en place de critères pour assurer une bonne validité des données (choix des sources d'information, complémentarité entre elles, etc.),
  • la mise en place par l'évaluateur responsable des études de cas d'une procédure d'assurance qualité pour vérifier, entre autres, l'exactitude et la crédibilité des résultats des études de cas multisites réalisées par d'autres évaluateurs.

Démarrer la phase de rédaction des parties du rapport qui peuvent l'être dès la phase de collecte, est une excellente façon d'identifier les manques d'information et donc d'éviter par la suite des argumentaires peu étayés, lors de la phase d'analyse.

La principale erreur à éviter en matière d'étude de cas en évaluation est d'affirmer sans preuve.
Les phases d'analyse et de rédaction doivent toujours viser une impartialité totale, seule garante de la crédibilité des résultats. Cette impartialité est une exigence absolue car dans les études de cas, c'est le jugement de l'évaluateur qui est pris comme donnée finale, sa validité doit donc être totale. Cette validité peut être mise à l'épreuve, en particulier en soumettant, pour avis, le rapport d'étude de cas à la lecture des principales personnes ayant fourni les données. Ceci permet de:

  • vérifier l'exactitude des données mentionnées dans le rapport (ex : présence d'erreurs factuelles),
  • corriger les éventuelles assertions subjectives,
  • limiter les biais éventuels de l'analyse.

Risque d'une généralisation excessive

La généralisation des résultats de l'étude de cas est évidemment un des points souvent recherchés en évaluation. C'est aussi un des points faibles des études de cas quand elles sont mal conduites. Cette faiblesse prend toujours pour référence les outils statistiques habituels beaucoup plus difficiles à remettre en cause car basés sur des pratiques mathématiques incontestables. Généraliser à partir d'études de cas nécessite donc d'apporter suffisamment de preuves pour être convaincants.
Cette généralisation excessive est souvent liée aux autres points suivants:

  • une mauvaise conception (qui rend les résultats inexploitables par exemple),
  • un mauvais choix de site (qui ne montre pas ce que l'on cherche),
  • un argumentaire trop faible (qui n'apporte pas de preuves suffisantes pour conclure et donc encore moins pour généraliser).

Globalement, la généralisation repose sur le fait que l'étude de cas a une validité externe, comme peut l'avoir une enquête par exemple, sous réserve que l'échantillon soit représentatif. Cette validité externe est presque toujours plus facile à atteindre à partir de plusieurs études de cas qu'à partir d'une seule. Elle peut également ne concerner que certains points de l'étude et pas tous (ex : les conclusions sur les problèmes de mise en œuvre sont généralisables mais pas celles sur les impacts du programme).

Le piège à éviter en matière de généralisation est de vouloir "imiter" des enquêtes en réalisant des études de cas. La généralisation en étude de cas (comme dans une expérimentation d'ailleurs) est avant tout analytique et non statistique. Elle ne peut exister que si la sélection des études de cas et leur conduite permettent cette généralisation. En particulier, sur des études de cas multiples, elle est souvent le résultat de l'analyse comparée des sites, de laquelle émergent des conclusions communes.

Pour tester si une généralisation est possible, les praticiens ont recours, comme en expérimentation scientifique, à la technique de la réplication qui teste sur un second site ou une seconde série de sites, si cette réplication est possible et si la théorie se vérifie.

.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

  • Case study Evaluation, November 1990. GAO/PEMD-91-10.1.9.
  • Case study research. Design and methods. Third Edition. Robert K Yin. Vol 5. 2003. www.sagepublications.com
  • Embedded case study Methods. Integrating quantitative and qualitative knowledge. Roland W. Scholz - Olaf Tiedje. 2001. www.sagepublications.com
  • Cahiers MEANS Volume 3 "Principales techniques et outils d'évaluation". Commission Européenne. 1999. Office des publications officielles des Communautés Européennes.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception

 
Le recours à l'outil "étude de cas" dans l'évaluation est-il étayé ?  
Le choix du type d'étude de cas est-il argumenté ?  
En cas d'études de cas multiples, le nombre d'études de cas est-il justifié?  
Une méthode détaillée a-t-elle été élaborée ?  
Dans le cas d'études de cas multiples, la méthode garantit-elle des rapports homogènes ?  
Une étude de cas pilote a-t-elle été prévue ?  
Le recours à la triangulation est-il explicité dans la méthode et dans les rapports de mission ?
Les sources d'information (documentation, entretien, données de suivi, observation directe) figurent-elles dans les rapports de mission ?
La méthode et les rapports distinguent-ils bien les faits des opinions ?
La recherche de la constitution d'une chaîne de preuves est-elle argumentée dans le rapport de mission ?

Mise en œuvre

 
Le processus itératif commencé lors de la phase de collecte s'est-il poursuivi pendant la phase d'analyse pour aboutir à une chaîne de preuves ?  
Les explications alternatives ont-elles été étudiées et rejetées après justification ?  
Les justifications apportées dans les raisonnements sont-elles suffisantes pour garantir la reproduction possible de ces raisonnements ?  
L'analyse comprend-elle une recherche de causalité ?  
Les techniques retenues pour l'analyse des données multisites sont-elles présentées et argumentées ?
La rapport d'étude de cas est-il clairement structuré ?
Y a-t-il eu une revue du rapport d'étude de cas par les principales personnes rencontrées ?
Dans le cas d'études de cas multiples, le team leader a-t-il vérifié la cohérence des études ?
Les limites de la portée des résultats de l'étude sont-elles bien explicitées ?

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Le recours à l'outil "étude de cas" a-t-il été justifié ?  
La méthode et les rapports distinguent-ils clairement les faits des opinions ?  
Les techniques retenues pour l'analyse des données multisites sont-elles présentées et argumentées ?  
La rapport d'étude de cas est-il clairement structuré ?  
Les limites de la portée des résultats de l'étude sont-elles bien explicitées ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte

Indicateurs de contexte

.

RESUME

.

Définition

Un indicateur de contexte se définit comme une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. Il informe sur la situation et son évolution dans le pays, dans la zone, ainsi que sur l'aide.

D'autres types d'indicateurs :

  • les indicateurs de programme qui détaillent, dans le cadre d'une action mise en œuvre, les ressources, les réalisations, les résultats et si possible les impacts,
  • les indicateurs d'évaluation qui en appui des critères d'évaluation, permettent de porter un jugement sur la pertinence, la cohérence, l'efficacité, l'efficience, etc., et qui viennent étayer les réponses aux questions d'évaluation,

Des indicateurs sont produits par les services statistiques nationaux ou par certains programmes. Les services statistiques des Etats et de nombreux bailleurs ou organisations internationales ont travaillé à une certaine uniformisation de ces productions pour pouvoir permettre des comparaisons dans le temps et dans l'espace et produire des données fiables et comparables.

Utilisation d'indicateurs pour l'évaluation pays par la Commission européenne :
Indicateurs économiques : PIB, croissance, balance des paiements
Indicateurs sociaux : population, emploi, chômage, niveau d'éducation, de santé
Indicateurs de services aux populations : éducation, santé, eau potable, électrification
Autres : avec souvent une référence marquée à l'analyse de la pauvreté dans la zone ACP

Ces indicateurs permettent de montrer les points saillants du contexte local, mais non, souvent, pour procéder à des comparaisons entre pays (ex : pas de référence du niveau d'un même indicateur dans des pays voisins) ni d'avoir une vue globale et normée de la situation du pays.

Quels usages peut-on faire des indicateurs de contexte?

Pour présenter le pays

C'est au début de l'évaluation qu'il est généralement fait usage des indicateurs de contexte. Ceux-ci sont souvent orientés vers les domaines :

  • économiques et financiers (PIB, échanges, dette, etc.),
  • sociaux (démographie, activité, genre, etc.),
  • sectoriels importants (éducation, santé, environnement, etc.).

Dans certains cas et pour certains pays, l'accent peut être mis sur des secteurs ou des problèmes particuliers (ex : analyse de la pauvreté, de conflits, etc.).

Pour représenter le niveau d'aide au pays

Les indicateurs de contexte doivent également permettre de caractériser l'aide au pays concerné, c'est-à-dire le type d'aide, les montants, la répartition sectorielle et la part relative de la Commission européenne parmi les autres bailleurs, etc.

Pour répondre aux questions d'évaluation

Les indicateurs de contexte peuvent également être utilisés pour répondre à certaines questions d'évaluation qui nécessitent un exposé préliminaire permettant au lecteur de comprendre une situation.

Par exemple, le tableau suivant présente une sélection d'indicateurs comparables internationalement. La situation de la Tanzanie est comparée à celle d'un groupe de sept pays africains qui sont considérés comme similaires. Ce groupe est composé du Burkina Faso, de la Gambie, du Ghana, de Madagascar, du Mali, du Niger et de la Zambie.

Encadré 1 - Exemple d'indicateurs comparant la gouvernance entre la Tanzanie et sept pays similaires


Sources: Banque Mondiale

* Le progrès est évalué du plus positif (++) au plus négatif (--) selon l'évolution de l'indicateur sur les 3 à 10 dernières années.

Comment choisir, recueillir et utiliser les indicateurs de contexte au cours d'une évaluation?

Un bon indicateur est jugé en fonction de :

  • sa pertinence : l'indicateur doit correspondre à une préoccupation, à un objectif ou à une attente.
  • la qualité et la précision de sa mesure,
  • sa faisabilité : on doit d'abord avoir la possibilité informationnelle de produire l'indicateur par l'utilisation de mécanismes de mesure et de traitement rigoureux fournissant des données fiables, en temps opportun et de façon rentable
  • sa convivialité d'interprétation et d'utilisation : la convivialité représente la possibilité opérationnelle, visuelle et cognitive d'utiliser correctement et confortablement l'indicateur.

Systèmes d'indicateurs de la Commission européenne

Système d'indicateurs de la Direction Générale du Développement pour les évaluations de performance de l'aide au pays

Le système d'indicateurs proposé par la Direction Générale du Développement de la Commission Européenne pour les évaluations de performances de l'aide aux pays a été mis au point en collaboration avec d'autres bailleurs (Etats membres, Banque Mondiale, PNUD, OCDE-CAD).

Il est basé avant tout sur la typologie suivante, avec un focus particulier sur les indicateurs de résultats :

Encadré 2 - Typologie des indicateurs

Le but de la production et du suivi de ces indicateurs est double et nécessite la constitution de deux séries distinctes d'indicateurs pour respectivement :

  • mesurer les performances des politiques du pays en terme de réduction de la pauvreté et d'amélioration des conditions de vie,
  • mesurer de manière plus détaillée les performances des politiques sectorielles, dans les secteurs aidés par la Commission.

Données d'EUROSTAT

EUROSTAT dispose, pour les pays membres de l'Union européenne, de nombreuses données concernant plusieurs domaines regroupés en partie sous forme d'indicateurs et classés selon le court terme (balance des paiements, prix à la consommation, etc.), le long terme (économie et écologie, entreprises et activités, etc.) et des facteurs structurels (emploi, situation économique générale, environnement, etc.). Par ailleurs, Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde.

Systèmes d'indicateurs des Nations Unies

Indicateurs associés aux Objectifs du Millénaire

Pour chacun de ces Objectifs, des niveaux-cibles ont été fixés et 48 indicateurs (" Indicators Development Goals " ou IDGs) ont été retenus. Ces indicateurs sont disponibles pour plus de 200 pays, avec leur définition exacte et les méthodologies pour les produire, sur les sites des Nations Unies ou de la Banque Mondiale. Ces indicateurs sont plus orientés vers les résultats que vers les ressources.

Par exemple, pour mesurer le progrès accompli dans la réalisation d'un programme de promotion de l'égalité des sexes et de l'autonomisation des femmes, quatre indicateurs sont définis :

  • Rapport filles/garçons dans l'enseignement primaire, secondaire et supérieur, respectivement
  • Taux d'alphabétisation des femmes de 15 à 24 ans par rapport à celui des hommes
  • Pourcentage de salariées dans le secteur non agricole qui sont femmes
  • Proportion de sièges occupés par des femmes au parlement national

Ces indicateurs permettent d'évaluer la progression d'un pays dans la réalisation de l'objectif année après année, ou de comparer plusieurs pays entre eux.

Cadre d'indicateurs des Bilans Communs de Pays

En 1997, les Nations Unies ont décidé de produire un système de Bilans Communs de Pays (CCA : " Common Country Assessment "). Le CCA est un instrument d'analyse de la situation d'un pays pour ce qui concerne son développement et l'identification des principaux problèmes de développement.

Indice de développement

Le système des Nations Unies est l'un des systèmes les plus développés et qui fournit facilement une information sur près de 200 indicateurs.

Ce système, moins tourné vers les pays en développement que les autres, permet d'obtenir à la fois des indicateurs et les indices de développement calculés par les Nations Unies.

Rapport mondial sur le développement humain

Chaque année le PNUD publie le rapport mondial sur le développement humain, qui contient une grande partie des indicateurs des Nations Unies.

Systèmes d'indicateurs de la Banque Mondiale

Indicateurs de l'association internationale pour le développement

L'Association Internationale pour le Développement: IDA (" International Development Association ") a proposé dans un document récent, intitulé " IDA Results Measurements System : Progress and Proposal April 2003 ", une série d'indicateurs pour améliorer le suivi des résultats des pays, en particulier pour ceux devant disposer d'un Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP).

Les indicateurs recouvrent les thèmes suivants : revenu et pauvreté, malnutrition, santé maternelle et infantile, SIDA, genre, éducation primaire, eau potable, infrastructures, développement du secteur privé, gestion du secteur public, croissance économique.

Programme International de Comparaison

Etabli depuis 1968, le Programme International de Comparaison (ICP : International Comparison Program) est un système statistique mis en place pour produire des données par pays, internationalement comparables au niveau des prix, de la valeur des dépenses, de la parité de pouvoir d'achat.

En fournissant des données sur le pouvoir d'achat, le système peut procurer aux évaluateurs des données comparables entre elles, très intéressantes sur le plan économique et social. 

Les Parités de Pouvoir d'Achat (PPA) sont des taux de conversion monétaire qui permettent d'exprimer dans une unité commune les pouvoirs d'achat des différentes monnaies. En d'autres termes, une somme d'argent donnée, convertie en monnaies nationales au moyen des PPA, permettra d'acheter le même panier de biens et services dans tous les pays. Les PPA sont donc des taux de conversion monétaires qui éliminent les différences de niveaux de prix existant entre les pays.

Système d'indicateurs de l'OCDE

Le portail statistique de l'OCDE présente des données statistiques sur les pays membres de l'OCDE à partir desquelles des indicateurs peuvent être élaborés. Ce sont des données descriptives dans des domaines sectoriels, sociaux et économiques.

Des données précises (géographiques - pays, région - ou sectoriels) sont également disponibles sur le développement et les économies des pays non membres de l'OCDE. Elles permettent d'obtenir des informations relatives aux activités d'aide au développement.

Des indicateurs thématiques et des indicateurs d'environnement sont également fournis par l'OCDE.

Autre système d'indicateurs

Le système d'indicateurs de Transparency International

Transparency International propose des données statistiques concernant le niveau de transparence et de corruption au niveau local et global par le biais de plusieurs indicateurs.

Le plus connu est l'Indice de Perception de la Corruption (IPC) qui classe plus de 150 pays selon leur degré de corruption (classement fondé sur l'évaluation d'experts et des enquêtes d'opinion). Le Baromètre mondial sur la Corruption et l'Indice de Corruption des Pays Exportateurs complètent l'IPC.

Les ONG Human Rights Watch et Amnesty International publient pour un grand nombre de pays des rapports sur l'état des droits de l'homme et les principaux problèmes rencontrés.

Quelles sont les ressources nécessaires ?

Encadré 3 - Les ressources nécessaires
En temps Les ressources en temps sont celles de la recherche d'indicateurs existant déjà. Compte tenu de la mise à disposition sur Internet d'une très grande majorité de ces indicateurs, cette recherche peut facilement être faite par un évaluateur dans des délais assez courts.
Humaines Les ressources humaines nécessaires pour la collecte et le choix des indicateurs varient surtout selon les thèmes abordés.

Le choix d'un bon indicateur, montrant par exemple les progrès faits en matière de santé maternelle, peut nécessiter l'avis d'un expert en santé.

Financières Elles sont très limitées pour la collecte des indicateurs, car il s'agit de données disponibles sur Internet et le plus souvent gratuites.

Quels sont les avantages et les limites des indicateurs de contexte ?

Encadré 4 - Les avantages et les limites
Avantages
  • La quantification, souvent standardisée, des informations présentées et donc leur comparaison dans le temps ou dans l'espace.
  • La simplification des situations et de ce fait une facilitation de leur compréhension.
  • La fourniture d'une preuve ou d'une part de preuve nécessaire à une démonstration.
Limites
  • La caricature possible d'une situation au travers d'une explication trop simpliste.
  • La possible erreur de mesure.
  • La difficulté de trouver, à un niveau macro, des indicateurs suffisamment sensibles aux évolutions de contexte parfois très fines.
  • Le problème de la disponibilité de données fiables, standardisées et sur une longue période.
  • Le possible écart de compréhension de la signification même d'un indicateur entre différents utilisateurs et en particulier le donneur et le pays aidé.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QU'EST-CE QU'UN INDICATEUR DE CONTEXTE?

.

Formes principales d'indicateurs en évaluation

En évaluation, l'usage des indicateurs fait partie intégrante du dispositif évaluatif et peut schématiquement être localisé dans quatre étapes de l'évaluation. Les catégories d'indicateurs sont les suivantes:

  • les indicateurs de contextes qui informent sur la situation et son évolution dans le pays, dans la zone, ainsi que sur l'aide,
  • les indicateurs de programme qui détaillent, dans le cadre d'une action mise en œuvre, les ressources, les réalisations, les résultats et si possible les impacts,
  • les indicateurs d'évaluation qui en appui des critères d'évaluation, permettent de porter un jugement sur la pertinence, la cohérence, l'efficacité, l'efficience, etc., et qui viennent étayer les réponses aux questions d'évaluation,
  • les indicateurs de suivi qui existent dans le système de monitoring des programmes ou bien qui sont proposés par les évaluateurs pour permettre un suivi.

Un même indicateur peut souvent appartenir à plusieurs catégories (ex : un indicateur de contexte socio-économique peut être utilisé comme indicateur d'impact d'un programme).

Catégorie d'indicateurs

Il existe de nombreux types d'indicateurs.
Le volume 2 des cahiers MEANS (" évaluer les programmes socio-économiques ", Fonds Structurels communautaires, Collections Means, 1999) est entièrement consacré aux indicateurs.
Les points mentionnés ici ne sont qu'un bref rappel des principales notions permettant de caractériser un indicateur.

Définitions

Quelques définitions relatives aux principales catégories d'indicateurs:

  • indicateur élémentaire: information de base à partir de laquelle peuvent se construire d'autres indicateurs plus complexes,
  • indicateur dérivé: ratio ou taux qui se construit par le rapport entre deux indicateurs élémentaires,
  • indicateur composé: combinaison de plusieurs indicateurs élémentaires ou dérivés,
  • indicateur spécifique: utilisé dans le cas d'une intervention, il n'a pas vocation à permettre des comparaisons,
  • indicateur générique: permet d'effectuer des mesures comparables sur plusieurs interventions de nature différente,
  • indicateur clé: se prête à des comparaisons internes entre interventions différentes et à des comparaisons externes avec d'autres programmes,
  • indicateur de contexte: s'applique à l'ensemble d'un territoire, d'une population ou d'une catégorie de population.

Il est important de noter qu'un indicateur peut appartenir à plusieurs catégories à la fois et/ou être utilisé dans plusieurs circonstances.

Définition d'un indicateur de contexte

La définition d'un indicateur à EuropeAid est:

" Une donnée qui fournit une base simple et fiable pour décrire un changement, un résultat, une activité ou un intrant. "

Pour définir un indicateur de contexte il suffirait de reformuler cette définition sous la forme :

" Une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. "

.

POURQUOI ET QUAND UTILISER LES INDICATEURS DE CONTEXTE

.

Comment sont utilisés les indicateurs de contexte?

Historique de l'usage des indicateurs de contexte

C'est précisément dans le domaine des indicateurs de contexte que l'usage des indicateurs a pris son essor. L'ensemble des services statistiques des pays développés produit depuis longtemps des indicateurs socio-économiques servant, entre autres, à mesurer l'effet des politiques. Leur usage s'est rapidement banalisé et ceux- ci sont dorénavant utilisés couramment par les média pour décrire des situations et leur évolution (ex : PIB / habitant, taux de chômage, taux d'inflation, etc.).

Production d'indicateurs

Dans les pays du champ d'EuropeAid, des indicateurs sont également produits par les services statistiques nationaux ou par certains programmes. Les services statistiques des Etats et de nombreux bailleurs ou organisations internationales, ont travaillé à une certaine uniformisation de ces productions pour pouvoir permettre des comparaisons dans le temps et dans l'espace. A ce titre peuvent ainsi être cités les travaux :

  • de l'OCDE, dont le Comité d'Aide au Développement (CAD)
  • des Nations Unies,
  • de la Commission Européenne,
  • du groupe de la Banque Mondiale, etc.

afin de produire des données fiables et comparables.

Utilisation par la Commission Européenne pour l'évaluation pays

Types d'indicateurs

Actuellement les évaluations pays faites par la Commission Européenne comportent la plupart du temps, au paragraphe contexte, des indicateurs:

  • économiques : PIB, croissance, balance des paiements, etc.,
  • sociaux : population, emploi, chômage, niveau d'éducation, de santé, etc.,
  • de services aux populations : éducation, santé, eau potable, électrification, etc.,
  • avec souvent une référence marquée à l'analyse de la pauvreté dans la zone ACP.
Limites

Ces indicateurs sont choisis pour montrer les points saillants du contexte local, mais souvent ne permettent pas :

  • de comparaison entre pays (ex : pas de référence du niveau d'un même indicateur dans des pays voisins),
  • d'avoir une vue globale et normée de la situation du pays.
10 indicateurs clés

Pourtant, des directives de la Commission Européenne concernant l'usage d'indicateurs de suivi des Documents de Stratégie Pays (DSP) existent, en particulier 10 indicateurs clés sont proposés pour un monitorage dans tous les pays ACP.

Des progrès possibles

Il conviendrait de mieux exploiter les bases de données d'indicateurs lors des évaluations pays réalisées par la Commission Européenne.
L'intérêt de cette méthodologie est donc de fournir aux évaluateurs des informations pertinentes concernant les bases de donnes d'indicateurs.

Pourquoi utiliser des indicateurs de contexte?

Le présent outil, centré sur l'évaluation des stratégies de coopération avec les pays tiers, développe la notion d'indicateurs de contexte en excluant volontairement les indicateurs sectoriels qui sont développés sur ce site, dans la partie consacrée aux évaluations sectorielles.

L'outil est avant tout destiné à :

  • définir rapidement, les différents types et modèles d'indicateurs existants, et les caractéristiques que doivent avoir les indicateurs,
  • fournir les bases documentaires sur différents standards actuellement utilisés par différents bailleurs dans le domaine de l'aide aux pays tiers, où de nombreux indicateurs sont déjà à la disposition des évaluateurs.

Pour présenter le pays

C'est principalement dans le chapitre d'introduction de l'évaluation qu'il est généralement fait usage des indicateurs de contexte. Ceux-ci sont souvent orientés vers les domaines :

  • économiques et financiers (PIB, échanges, dette, etc.),
  • sociaux (démographie, activité, genre, etc.),
  • vers certains secteurs importants (éducation, santé, environnement, etc.).

Dans certains cas et pour certains pays, l'accent peut être mis sur des secteurs ou des problèmes particuliers (ex : analyse de la pauvreté, de conflits, etc.).

Pour représenter le niveau d'aide au pays

Les indicateurs de contexte doivent également permettre de caractériser l'aide au pays concerné, c'est-à-dire :

  • le type d'aide,
  • les montants,
  • la répartition sectorielle,
  • la part relative de la Commission Européenne parmi les autres bailleurs, etc.

Pour répondre aux questions d'évaluation

Les indicateurs de contexte peuvent également être utilisés pour répondre à certaines questions d'évaluation qui nécessitent d'un exposé préliminaire pour permettre au lecteur de comprendre une situation.

En évaluation pays

Dans le domaine de l'évaluation pays, la présentation du contexte de l'aide est un point fondamental de l'étude qui sert de base à toute la suite de la démonstration. Le recours à un certain nombre de données chiffrées globales, facilement comparables dans le temps et éventuellement dans l'espace, y est souvent recherché. Certains bailleurs ont déjà travaillé sur des listes d'indicateurs généraux ou thématiques permettant de représenter brièvement et concrètement une situation. Selon les pays ces indicateurs sont plus ou moins disponibles et selon les zones, ce ne sont pas forcément les mêmes séries qui sont intéressantes.

Quels sont les avantages et les limites des indicateurs de contexte ?

Quelles sont les qualités d'un bon indicateur ?

Il n'y a pas d'indicateur parfait, mais on sait malgré tout définir les qualités et les défauts d'un indicateur. Des grilles permettant d'apprécier cette qualité ont été produites par certaines institutions. A titre d'exemple, deux grilles sont détaillées ci-dessous, qui naturellement se rejoignent en montrant deux avis sur les qualités que doit posséder un indicateur.

Première grille

Selon les cahiers MEANS de la Commission Européenne, un bon indicateur donne :

  • une information simple,
  • facilement communicable,
  • comprise de la même façon par le fournisseur et l'utilisateur.

L'indicateur doit par ailleurs :

  • être disponible,
  • produit de façon régulière,
  • varier de façon significative, en étant suffisamment sensible aux effets du programme,
  • être fiable de telle sorte que les acteurs aient confiance en cette information,
  • être si possible comparable en interne au programme (inter-mesures) et en externe (inter-pays),
  • faire référence à un objectif (ex : niveau à atteindre).
Deuxième grille

Selon l'USAID, les indicateurs doivent être cohérents, comparables dans le temps dans différentes situations et doivent être :

  • directs : en lien étroit avec le résultat à mesurer,
  • objectifs : sans ambiguïté sur ce qui doit être mesuré et les données à collecter,
  • pratiques: leur collecte doit pouvoir se faire en un temps et un coût raisonnable,
  • adéquats : ils doivent suffisamment bien montrer les progrès accomplis.

Quels sont les avantages des indicateurs de contexte ?

Les indicateurs de contexte ont l'avantage de permettre :

  • la quantification, souvent standardisée, des informations présentées et donc leur comparaison dans le temps ou dans l'espace,
  • la simplification des situations et de ce fait une facilitation de leur compréhension,
  • la fourniture d'une preuve ou d'une part de preuve nécessaire à une démonstration.

Quelles sont les limites des indicateurs de contexte ?
Les inconvénients sont :

  • la caricature possible d'une situation au travers d'une explication trop simpliste. Ce biais doit alors être corrigé par une interprétation, l'indicateur ne reste qu'un instrument de mesure.
  • La possible erreur de mesure car certains indicateurs sont produits dans des conditions peu vérifiables et peuvent donc être erronés,
  • la difficulté de trouver, à un niveau macro, des indicateurs suffisamment sensibles aux évolutions de contexte parfois très fines,
  • le problème de la disponibilité de données fiables, standardisées et sur un longue période,
  • le possible écart de compréhension de la signification même d'un indicateur entre différents utilisateurs et en particulier le donneur et le pays aidé. Tout en comprenant les mêmes mots, ces derniers peuvent avoir des logiques différentes.

Quelles sont les ressources nécessaires pour utiliser un indicateur de contexte?

Ressources en temps

Les ressources en temps sont celles de la recherche d'indicateurs existant déjà. Compte tenu de la mise à disposition sur Internet d'une très grande majorité de ces indicateurs, cette recherche peut facilement être faite par un évaluateur dans des délais assez courts.
La difficulté résidera dans la façon de :

  • réaliser le choix du bon indicateur parmi une série d'indicateurs disponible sur divers sites et dans divers systèmes,
  • s'assurer du mode de calcul de l'indicateur (pas toujours facilement disponible).

Ressources humaines

Les ressources humaines nécessaires pour la collecte et le choix des indicateurs varient surtout selon les thèmes abordés.
Le choix d'un bon indicateur, montrant par exemple les progrès faits en matière de santé maternelle, peut nécessiter l'avis d'un expert en santé. Ce type de situation peut se reproduire autant de fois que des thèmes très techniques pour un généraliste de l'évaluation sont abordés.

Ressources financières

Les ressources financières peuvent être très limitées pour la collecte des indicateurs, car il s'agit de données disponibles sur Internet et le plus souvent gratuites.

.

COMMENT CHOISIR, RECUILLIR ET UTILISER LES INDICATEURS DE CONTEXTE EN EVALUATION?

.

Système d'indicateur de la commission européenne

Système d'indicateurs de la Direction Générale du Développement pour les évaluations de performance de l'aide au pays

Indicateurs pour l'évaluation pays
-Typologie

Le système d'indicateurs proposé par la Direction Générale du Développement de la Commission Européenne pour les évaluations de performances de l'aide aux pays, a été mis au point en collaboration avec d'autres bailleurs (les Etats membres, la Banque Mondiale, le PNUD et l'OCDE-CAD).

Il est basé avant tout sur la typologie suivante, avec un focus particulier sur les indicateurs de résultats:

Typologie d'indicateurs


-Deux objectifs

Le but assigné à la production et au suivi de ces indicateurs est double et nécessite le monitorage de deux séries distinctes d'indicateurs pour :

  • mesurer les performances des politiques du pays en terme de réduction de la pauvreté et d'amélioration des conditions de vie,
  • mesurer de manière plus détaillée les performances des politiques sectorielles, dans les secteurs aidés par la Commission.

C'est surtout la première série qui intéressera les " évaluateurs pays " pour identifier des indicateurs de contexte.

-Mode de collecte

Dans les pays concernés, le mode de collecte proposé pour ces indicateurs est le système de monitoring du Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP). Si les données ne sont pas disponibles dans le pays, elles peuvent être trouvées sur les sites de la Banque Mondiale ou des Nations Unies. Ceci permet une mise à disposition facile pour les équipes d'évaluation.

Catégories d'indicateurs

La directive de la Commission Européenne indique qu'il est utile de décomposer les indicateurs selon les catégories suivantes :

  • genre,
  • secteur public ou privé,
  • localisation géographique (en distinguant particulièrement les zones les plus pauvres),
  • rural et urbain,
  • niveau de revenu,
  • source principale (même si ceci est rarement possible).

La Commission Européenne précise également qu'il est préférable de restreindre la liste des indicateurs, en se concentrant sur les essentiels. Une attention particulière est portée sur la fiabilité de ces indicateurs.

Liste des indicateurs

Pour les indicateurs de mesure des performances des politiques du pays en terme de réduction de la pauvreté et d'amélioration des conditions de vies, il est proposé de mesurer systématiquement dans tous les pays en développement, une liste de 10 indicateurs clés, extraits de la liste des indicateurs des Objectifs du Millénaire.

En plus de ces indicateurs, il est précisé qu'il sera important de suivre les parts de budget allouées à la santé et à l'éducation ainsi que les indicateurs macro-économiques (de source nationale ou FMI).

Une liste limitée de quelques indicateurs spécifiques à un pays pourra être ajoutée à ce set. Il est proposé que cette liste d'indicateurs soit incorporée au Document de Stratégie Pays (DSP ou CSP) à l'occasion des revues annuelles.

La liste des indicateurs choisis par la Direction Générale du Développement de la Commission Européenne peut être intégrée à tous les Documents de Stratégie Pays.

Liste des indicateurs de la Commission Européenne Direction Générale du Développement pour les évaluations de performances de l'aide aux pays

Cette typologie d'indicateurs ne fait pas référence explicitement à des indicateurs de contexte, mais malgré tout, bon nombre des indicateurs globaux produits par ce système se révèlent être de bons indicateurs de contexte qui pourraient figurer dans toutes les évaluations pays de la zone relative aux pays en développement.

-Pour lire ce tableau :

En vue de mieux comprendre certains éléments du tableau ci-dessus, quelques point nécessitent d'être précisés:

  • " Périodicité suggéré " renvoie à la période durant laquelle il est possible d'identifier une évolution significative de l'indicateur.
  • Indicateur n°1 : pour le monitorage des tendances de la pauvreté dans le pays, les indicateurs basés sur les seuils de pauvreté devraient être utilisés lorsqu'il sont disponibles.
  • Indicateur n° 7 : les données sur les "taux de mortalité maternelle" qui auraient été sans doute préférables ici sont rares, basées sur des modèles ou manquent de fiabilité. Un bon proxy est fourni par la " Proportion d'accouchement assistés par du personnel de santé qualifié ".

Données d'EUROSTAT

EUROSTAT dispose, pour les pays membres de l'Union Européenne, de nombreuses données concernant plusieurs domaines regroupés en partie sous forme d'indicateurs et classés selon le court terme, le long terme et des facteurs structurels.

Indicateurs à court terme
Les indicateurs à court terme sont:

  • la balance des paiements,
  • les enquêtes de conjoncture et de consommation,
  • le prix à la consommation,
  • le commerce extérieur,
  • l'industrie, le commerce et les services,
  • le marché du travail,
  • les indicateurs monétaires et financiers,
  • les comptes nationaux.
Indicateurs à long terme

Les indicateurs à long terme sont:

  • les Européens,
  • l'économie et l'écologie,
  • les entreprises et leurs activités.
Indicateurs structurels

Les indicateurs structurels sont:

  • la situation économique générale,
  • l'emploi,
  • l'innovation et la recherche,
  • la réforme économique,
  • la cohésion sociale,
  • l'environnement.

Ces indicateurs sont surtout intéressants en évaluation pays pour effectuer des comparaisons avec des pays proches de l'Union Européenne (ex : candidats). Par ailleurs Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde.

Système d'indicateurs des nations unies

Indicateurs associés aux Objectifs du Millénaire

Objectifs du Millénaire

En septembre 2000, les membres des Nations Unies ont adopté à l'unanimité la Déclaration du Millénaire. Après une série de consultations avec les agences internationales, l'Assemblée Générale a reconnu les Objectifs du Millénaire (" Millenium Development Goals ou MDGs ") comme feuille de route pour mettre en œuvre la Déclaration du Millénaire.
Ces objectifs sont regroupés autour de huit grands axes:

  • réduction de l'extrême pauvreté et de la faim,
  • éducation primaire pour tous,
  • promotion de l'égalité des sexes et de l'autonomisation des femmes,
  • réduction de la mortalité infantile,
  • amélioration de la santé maternelle,
  • lutte contre le SIDA et les autres maladies,
  • maintien d'un environnement durable,
  • mise en place d'un partenariat mondial pour le développement.
Indicateurs des Objectifs du Millénaire
-48 indicateurs

Pour chacun de ces Objectifs, des niveaux-cible ont été fixés et 48 indicateurs (" Indicators Development Goals " ou IDGs) ont été retenus. Ces indicateurs sont disponibles pour plus de 200 pays, avec leur définition exacte et les méthodologies pour les produire, sur les sites des Nations Unies ou de la Banque Mondiale.

Comme ceux retenus par la Direction Générale du Développement de la Commission Européenne, ces indicateurs sont plus orientés vers les résultats que vers les ressources. Ils peuvent fournir une information précieuse aux évaluateurs pour décrire un contexte.

Ils sont disponibles dans les rapports nationaux et il est possible de les obtenir par pays, zone, thème, période et pour certains sur des cartes dans les statistiques par pays de la Banque Mondiale et des Nations Unies.

Le rapport annuel mondial sur le développement humain reprend également ces indicateurs. Il est ainsi possible d'effectuer des comparaisons dans l'espace et éventuellement dans le temps.

Cadre d'indicateurs des Bilans Communs de Pays

Bilans Communs de pays

En 1997, les Nations Unies ont décidé de produire un système de Bilans Communs de Pays (CCA : " Common Country Assessment ") en articulation avec le Plan-Cadre des Nations Unies pour l'Assistance au Développement (UNDAF : " United Nations Development Assistance Framework ").

Dans ce système, le CCA est un instrument commun pour les Nations Unies d'analyse de la situation d'un pays au niveau de son développement et d'identification des principaux problèmes de développement.

De nombreux pays ont réalisé ou sont en train de réaliser ce travail de bilan. L'état d'avancement de ce travail ainsi que les rapports sont disponibles sur le site des Nations Unies.

Définition d'un cadre d'indicateurs communs

Parmi les instruments utilisés pour réaliser ces bilans de pays, un cadre d'indicateurs communs a été proposé. Bien que lié de très près au système du Cadre Stratégique de Lutte contre la Pauvreté (PRSP), ce cadre est indépendant.

Quand les Bilans Communs de Pays (CCA) existent, ou sont en cours de réalisation, les indicateurs qu'ils contiennent fournissent donc des possibilités aux évaluateurs de disposer d'indicateurs de contexte.

Ce système étant produit par les Nations Unies, bon nombre de ces indicateurs sont communs à ceux desObjectifs du Millénairebien qu'il existe des différences.

Indice de développement

Système des Nations Unies

Le système des Nations Unies est l'un des systèmes les plus développés et qui fournit facilement une information sur près de 200 indicateurs.

Ce système, moins tourné vers les pays en développement que les autres, permet d'obtenir à la fois des indicateurs et les indices de développement calculés par les Nations Unies. Il a été fait grâce à la participation de nombreuses agences. Basé sur des données standardisées au niveau international, il permet des comparaisons entre les pays et dans le temps.

Il peut arriver que des écarts existent entre des données produites au niveau national et cette base de données, ou que certaines données ne soient pas produites selon les standards. Dans tous ces cas, les écarts sont explicités dans les tables de données.

Sur le site, des possibilités sont offertes pour obtenir les tables de données selon certains modèles pré-établis (ex : par pays, par indicateur, etc.) mais aussi selon des critères plus en lien avec les besoins du demandeur.

Liste des indicateurs

Le tableau des indicateurs disponibles sur le site des Nations Unies permet un accès direct par indicateur aux résultats.

Rapport mondial sur le développement humain

Chaque année le PNUD publie le rapport mondial sur le développement humain, qui contient une grande partie des indicateurs des Nations Unies.
Certains rapports reprennent l'ensemble ou une partie des indicateurs des Objectifs du Millénaire dans certains pays. C'est le cas en particulier de ceux de la série "Assessment of Development Results" pour les pays où ce type d'évaluation a eu lieu.

Système commun des comptes Economiques et Environnementaux

Un autre système d'indicateurs orienté vers la mesure du développement durable au travers d'un système commun des comptes économiques et environnementaux (SEEA), peut également fournir des données pour certains pays.

Systèmes d'indicateurs de la banque mondiale

Indicateurs de l'Association Internationale pour le Développement

Indicateurs de contexte

L'Association Internationale pour le Développement IDA (" International Development Association ") a proposé dans un document récent, intitulé "IDA Results Measurements System : Progress and Proposal April 2003", une série d'indicateurs pour améliorer le monitorage des résultats des pays, en particulier pour ceux devant disposer d'un Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP).

-Liste d'indicateurs par domaine

Dans ce système, 15 indicateurs sont proposés pour couvrir les domaines qui sont des priorités des CSLP et/ou qui reflètent les activités de l'AID dans les pays considérés.
Les indicateurs recouvrent les thèmes suivants :

  • revenu et pauvreté,
  • malnutrition,
  • santé maternelle et infantile,
  • SIDA,
  • genre,
  • éducation primaire,
  • eau potable,
  • infrastructures,
  • développement du secteur privé,
  • gestion du secteur public,
  • croissance économique.
-Spécificités de cette liste d'indicateurs

Le document précise que cette liste n'est pas formellement définitive ou complète, mais qu'elle:

  • peut être considérée comme raisonnablement représentative des priorités qui sont apparues dans les CSLP jusqu'à ce jour,
  • est basée sur la disponibilité des données,
  • pourra être sujette à amélioration selon l'évolution des connaissances.

Un certain nombre d'indicateurs sont communs à ceux des systèmes des Nations Unies d'autres sont spécifiques.

Liste des indicateurs
Indicateurs Période les plus récentes avec des données Nombre de pays de l'IDA avec des données en 2003
1. Proportion de la population sous 1$ / jour seuil de pauvreté 1995-2001 35
2. Prévalence d'enfants de moins de 5 ans souffrant d'insuffisance pondérale 1995-2001 65
3. Taux de mortalité infantile d'enfants de moins de 5 ans 2001 80
4. Proportion d'enfants de un an immunises contre la rougeole 2001 79
5. Prévalence du SIDA chez les femmes enceintes de 15 à 24 ans 1999-2001 57
6. Proportion d'accouchement assistés par du personnel de santé qualifié 1995-2000 72
7. Quotient filles- garçons dans le primaire, le secondaire et le tertiaire 1998 52
8. Taux d'élèves effectuant la totalité du cycle primaire 1998-2001 71
9. Proportion de la population ayant un accès durable à un point d'eau aménagé 1993-1999 75
10. Nombre de connections téléphoniques (fixes et portables) pour 1000 habitants 2001 70
11. Coût officiel de la création d'entreprise 2002 39
12. Temps nécessaire pour créer une entreprise 2002 39
13. Gestion des dépenses publiques 2001-2002 25
14. Croissance de la valeur ajoutée agricole 1995-2001 61
15. PIB par habitants 2001 75

Cette liste est très proche de celle proposée par la Direction Générale du Développement de la Commission Européenne. Nombre de ces indicateurs peuvent servir à décrire un contexte ou à étayer des réponses à des questions d'évaluation.

-Source des indicateurs

La source des données est la base de données des Indicateurs Mondiaux de Développement (" World Development Indicators database ").

Quand les documents stratégiques relatifs à la réduction de la pauvreté (qui peuvent porter différents noms mais qui sont toujours en relation avec les CSLP / PRSP) et les rapports périodiques sur ce sujet existent dans les pays, ils peuvent fournir des séries d'indicateurs proches ou complémentaires à ceux fournis par la base de données des Indicateurs Mondiaux de Développement et permettent parfois de mieux décrire certaines spécificités locales.

Indicateurs de contribution aux résultats de développement

Une des propositions intéressante de l'Association Internationale de Développement est le monitorage de quatre indicateurs permettant de mesurer leur contribution aux résultats de développement. Cette approche permet aux évaluateurs de disposer lors de l'évaluation d'indicateurs utiles pour compléter leur examen du contexte.

-Les indicateurs au niveau des Stratégies d'Aide Pays (CAS)

Les indicateurs au niveau du CAS sont:

  • l'adoption de Stratégies d'Aide Pays (SAP - CAS) fondées sur leurs résultats dans les pays éligibles aux financements AID telles que définies par la Vice-Présidence Politique Opérationnelle et Services aux Pays (OPCS),
  • les notations relatives aux résultats finaux des Stratégies d'Aide Pays (SAP - CAS), telles que validées par le Département de l'Evaluation des Opérations (OED) par le biais de l'examen des rapports d'évaluation ex-post des Stratégies d'Aide Pays.
-Les indicateurs au niveau du portefeuille

Les indicateurs au niveau du portefeuille sont:

  • les notations relatives aux résultats des projets, telles que validées par le Département de l'Evaluation des Opérations par le biais de l'examen des rapports d'évaluation ex-post de la mise en œuvre des projets,
  • les indicateurs de la qualité lors de la phase de préparation des projets AID, tels qu'évalués par le Groupe de Contrôle de la Qualité (QAG).

La décision de mise en oeuvre par le bailleur, de production et de collecte de ces indicateurs, est bien un préalable nécessaire à leur mise à disposition pour les évaluateurs. Cet exemple est donc intéressant et mériterait d'être adapté au cas des DSP (CSP) de la Commission Européenne. Même s'ils sont parfois très qualitatifs, ces indicateurs peuvent être utilisées par les évaluateurs pour évaluer les effets de l'aide et de sa mise en œuvre.

Programme International de Comparaison

Etabli depuis 1968, le Programme International de Comparaison (ICP : International Comparison Program) est un système statistique mis en place pour produire des données par pays internationalement comparables au niveau:

  • des prix,
  • de la valeur des dépenses,
  • de la parité de pouvoir d'achat (PPP : Purchasing Parity Power).

En fournissant des données sur le pouvoir d'achat, le système peut procurer aux évaluateurs des données comparables entre elles, très intéressantes sur le plan économique et social.
La production de ces indicateurs est basée sur des enquêtes sur le prix d'un échantillon de produits et services communément achetés. Ces enquêtes sont conduites tous les 3 à 5 ans. Ce système va être combiné avec ceux d'EUROSTAT et de l'OCDE pour ajouter au champ couvert par la Banque Mondiale, les pays des champs respectifs de ces institutions. Ainsi les données de plus de 160 pays seront disponibles dans cette base.

Système d'indicateur de l'OCDE

Portail statistique de l'OCDE

L'OCDE produit une grande quantité de statistiques et d'indicateurs, ainsi que des définitions et des méthodes d'élaboration d'indicateurs.

Le portail des statistiquespermet d'obtenir de nombreuses informations précises et souvent très récentes sur les pays membres de l'OCDE dans des domaines comme:

  • les comptes nationaux,
  • les finances,
  • les projections économiques,
  • la parité du pouvoir d'achats,
  • la productivité,
  • les échanges internationaux,
  • la gestion publique,
  • la démographie et la population,
  • la santé,
  • l'éducation et la formation,
  • le marché du travail,
  • l'agriculture et la pêche,
  • l'industrie et les services,
  • les technologies de l'information et télécommunications,
  • l'environnement,
  • l'énergie, etc.

L'OCDE possède un site de renvoi vers d'autres possédant des données intéressantes.

Données disponibles sur le développement des économies non membres de l'OCDE

Des données précises (géographiques - pays, région ou sectoriels) sont également disponibles sur le développement et les économies non membres de l'OCDE.

Un grand nombre de ces données peut servir d'indicateurs aux évaluateurs.
Les données sur le développement permettent d'obtenir entre autres, des informations très précises sur :

  • les activités d'aide,
  • l'aide des membres du Comité d'Aide au Développement,
  • la dette extérieure,
  • les statistiques BRI-FMI-OCDE-Banque mondiale sur la dette extérieure,
  • les statistiques du développement.

De nombreuses données du site de l'OCDE peuvent permettre de décrire le contexte de l'aide à un pays. Les données sur les économies non membres de l'OCDE fournissent principalement des données dans les domaines suivants :

  • Informations générales sur les économies non-membres,
  • statistiques économiques sur les économies non-membres,
  • agriculture et pêcheries,
  • comptes nationaux.

Indicateurs thématiques

Les données OCDE fournissent également une grande quantité d'indicateurs thématiques qui sont accompagnés de définitions précises et pouvant être utiles à consulter si certains thèmes sont à développer plus particulièrement dans une évaluation pays.

Indicateurs en environnement

Une série particulièrement intéressante concerne les indicateurs clés de l'environnement qui peuvent se révéler extrêmement utiles pour décrire un contexte.

Bibliographie sur les indicateurs de développement durable

Par ailleurs l'OCDE diffuse une importante documentation relative à la mesure du développement durable. Parmi les ouvrages disponibles, trois ouvrages synthétisent bien l'état des lieux à ce jour :

  • Frameworks to Measure Sustainable Development: An OECD Expert Workshop, Février 2000.
  • Workshop on Accounting Frameworks to Measure Sustainable Development, Paris, Mai 2003.
  • Measuring sustainable development/ Integrated economic, environmental and social frameworks. Août 2004.

Comité d'Aide au Développement

Le site du Comité d'aide au développement (OCDE-CAD) possède un moteur de recherche des rapports d'évaluation de nombreux bailleurs. Ces documents contiennent des séries d'indicateurs utilisés dans le cadre d'évaluations.

Autres sources

Les sources permettant d'obtenir des séries d'indicateurs macro-économiques sont très nombreuses. Parmi celles-ci certaines institutions produisent des données utiles aux évaluateurs.

Fonds Monétaire International

Le site du Fonds Monétaire International met à disposition des listes d'indicateurs intéressants principalement centrés sur l'économie et les finances.

Sites de chaque institution internationale

Il existe des sites pourvoyeurs d'adresses de sites pouvant fournir des données statistiques. Ce type de renvoi existe chez les principaux bailleurs multilatéraux dans la section "statistiques" de leur site, par exemple, le site de l'OCDE.

Rapports d'évaluation

Il est intéressant de pouvoir consulter les rapports d'évaluation qui ont été faits sur le pays ou sur des pays voisins afin de voir, entre autres, les séries d'indicateurs utilisés. Beaucoup de bailleurs ont une part de leur site dédiée à la consultation de ces évaluations ou à des résumés.

Site de l'agence internationale PARC

Le site de l'agence internationale nommée "Performance Assessment Resource Centre" dit PARC, possède une série d'adresses électroniques permettant de retrouver les rapports disponibles (ou leur résumé) chez de nombreux bailleurs.

Site d'analyse des pays (CAW)

Le site du CAW "Country Analytic Work" possède une base intéressante comportant des documents et des liens en relation avec les évaluation pays fournis par les nombreux partenaires institutionnels bilatéraux et multilatéraux.

.

EXEMPLES

.

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Ces indicateurs permettent-ils de fournir une information sur le contexte adapté à la zone étudiée (ex : liste des Objectifs du Millénaire pour un pays ACP) ?  
La définition précise des indicateurs est-elle présentée dans le document fourni par les évaluateurs ainsi que les limites éventuelles de leur utilisation ?  
L'absence d'indicateur de contexte dans un domaine important est-elle argumentée?  
La période couverte par une même série d'indicateurs est-elle suffisante pour présenter les évolutions de contexte dans le temps ?  
Les indicateurs retenus ont-ils une sensibilité suffisante pour montrer les évolutions dans les domaines concernés par l'évaluation ?  
Des comparaisons sont-elles possibles dans l'espace (inter pays ou inter régions) et dans le temps grâce à ces indicateurs ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

La définition précise des indicateurs est-elle présentée ?  
L'absence d'indicateur de contexte dans un domaine important est-elle argumentée?  
Le degré de fiabilité des indicateurs est-il apprécié ?  
Le choix des pays comparés permet-il de mieux apprécier les évolutions du pays, de la région ou du secteur étudié ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats)

SWOT (Strengths, Weakness, Opportunities, Threats)

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

L'analyse SWOT (Strengths - Weaknesses - Opportunities - Threats) ou AFOM (Atouts - Faiblesses - Opportunités - Menaces) est un outil d'analyse stratégique. Il combine l'étude des forces et des faiblesses d'une organisation, d'un territoire, d'un secteur, etc. avec celle des opportunités et des menaces de son environnement, afin d'aider à la définition d'une stratégie de développement.

Encadré 1 - Logique de l'analyse SWOT
Positif Négatif
Interne Forces Faiblesses
Externe Opportunités Menaces

Le but de l'analyse est de prendre en compte dans la stratégie, à la fois les facteurs internes et externes, en maximisant les potentiels des forces et des opportunités et en minimisant les effets des faiblesses et des menaces.

La plupart du temps cette analyse est conduite sous la forme de réunions rassemblant des personnes concernées par la stratégie ou des experts.

Quels usages peut-on faire de l'analyse SWOT ?

L'analyse SWOT permet d'identifier les axes stratégiques à développer. Bien qu'avant tout destinée à la planification, l'analyse SWOT peut servir à vérifier que la stratégie mise en place constitue une réponse satisfaisante à la situation décrite par l'analyse. Elle peut être utilisée en évaluation :

  • ex ante pour définir les axes stratégiques ou en vérifier la pertinence (par exemple, lors de la rédaction de CSP ou de leur évaluation),
  • intermédiaire pour juger de la pertinence et éventuellement de la cohérence des programmes en cours,
  • ex post pour vérifier la pertinence et la cohérence de la stratégie ou du programme, a fortiori si cet exercice n'a pas été fait lors de leur élaboration

Comment mettre en oeuvre l'analyse SWOT?

Encadré 2 - Schéma global de la mise en œuvre de l'analyse SWOT

Quelles sont les conditions d'emploi de l'analyse SWOT ?

Les conditions d'emploi spécifiques à l'évaluation pays concernent presque exclusivement le choix des participants aux réunions.

Encadré 3 - Points importants à examiner lors de la sélection des participants

Comment choisir le niveau d'analyse ?

  • Si le niveau de l'analyse est l'agence (ex : la Commission européenne), l'objet de l'analyse interne sera l'agence et celui de l'analyse externe, le pays.
  • Si l'objet principal de l'analyse est le pays lui-même, dans ce cas l'analyse interne sera focalisée sur le pays et l'analyse externe sera focalisée sur les pays environnants et le reste du monde.
  • Si l'objet de l'analyse est un secteur, tout ce qui peut être maîtrisé par des actions dans le secteur constituera l'interne et tout ce qui ne peut pas l'être, l'externe

Comment préparer les réunions ?

Quelle que soit la méthode choisie, le préalable indispensable à la préparation des réunions repose sur l'analyse documentaire et la rencontre avec quelques personnes ressources clés.

La préparation du mode de sélection du groupe, de sa taille, de sa division éventuelle en sous-groupes (thématiques, régionaux, catégories d'acteurs, etc.) est également indispensable à ce stade.

Comment identifier et étudier les 4 facteurs ?

L'ordre et la manière d'identifier et d'étudier les 4 facteurs (forces, faiblesses, opportunités, menaces) peuvent différer considérablement.

Etude des forces

Les forces sont les aspects positifs internes que contrôle l'organisation ou le pays, et sur lesquels on peut bâtir dans le futur.

Etude des faiblesses

Par opposition aux forces, les faiblesses sont les aspects négatifs internes mais qui sont également contrôlés par l'organisation, et pour lesquels des marges d'amélioration importantes existent.
L'analyse SWOT étant basée sur le jugement des participants, elle est par nature subjective et qualitative. Si l'étude des forces et celle des faiblesses nécessitent d'être approfondies, deux outils peuvent être utilisés pour fournir des pistes d'investigation : l'audit des ressources et l'analyse des meilleures pratiques (comparaison à l'intérieur d'un pays entre ce qui fonctionne bien et ce qui fonctionne moins bien suivant certains indicateurs)

Etude des opportunités

Les opportunités sont les possibilités extérieures positives, dont on peut éventuellement tirer parti, dans le contexte des forces et des faiblesses actuelles. Elles se développent hors du champ d'influence du pays ou à la marge (ex : changement de goût des consommateurs mondiaux concernant une production du pays, amélioration de l'économie d'un pays "client", développement du commerce par Internet, etc.)

Etude des menaces

Les menaces sont les problèmes, obstacles ou limitations extérieures, qui peuvent empêcher ou limiter le développement du pays ou d'un secteur (ex : l'industrie). Elles sont souvent hors du champ d'influence du pays ou à la marge (ex : désaffection des consommateurs pour un produit important du pays, prix de l'énergie en forte augmentation, baisse généralisée de l'aide au développement, etc.)

Encadré 4 - Tableau SWOT élaboré à partir des documents stratégiques de la Commission Européenne 2002, pour l'évaluation pays Tanzanie d'EuropeAid (2005)
Atouts Faiblesses
  • Pouvoir politique stable qui a permis à la Tanzanie de ne pas être affectée par les nombreux conflits des pays voisins. La Tanzanie continue à jouer un rôle de prescripteur dans la prévention des conflits et la coopération régionale.
  • Ratification des conventions internationales les plus importantes concernant les droits de l'homme.
  • Présence d'un grand nombre de syndicats, de coopératives, d'organisations de femmes et de jeunes, d'association d'entraide ethniques et d'organisations religieuses.
  • Transition récente vers une culture de démocratie multipartite décentralisée, après
    30 ans d'un système socialiste de parti unique très centralisé.
  • Irrégularités lors des élections de Zanzibar en 2000.
  • Phénomène très répandu de la corruption
  • Faiblesse légale, financière et humaine des ONG
Opportunités Menaces
  • Etat partenaire de la Communauté Est Africaine dans de nombreux domaines.
  • Refuge d'une des plus larges populations de réfugiés d'Afrique (plus de 500 000), ce qui pèse sur la population locale.

Comment mettre en relation les facteurs et en faire la synthèse ?

Il s'agit de voir comment tirer parti de la situation au mieux.

Encadré 5 - Relation entre les facteurs de l'analyse SWOT

Quelles sont les ressources nécessaires?

Encadré 6 - Les ressources nécessaires
En Temps Quelques jours de préparation, une journée pour réunir les personnes et une journée pour finaliser l'analyse quand l'analyse est limitée à la consultation de quelques personnes.

Sa durée pourra être significativement plus longue si l'analyse est plus complexe.

Humaines Les participants à l'analyse

Un animateur de groupe ou un facilitateur compétent.

Financières Une analyse simple peut avoir un coût extrêmement réduit.

Une commande spécifique dans le cadre d'une évaluation ex ante, pour aider à finaliser des choix stratégiques, peut avoir un coût significatif si elle implique des déplacements dans le pays et la réunion de plusieurs ateliers.

Quels sont les avantages et les limites de l'outil?

Encadré 7 - Les avantages et les limites
Avantages Permet de visualiser rapidement l'adéquation (ou l'inadéquation) d'une stratégie à une problématique.

En évaluation ex ante, participe à la clarification des idées des décideurs et à l'appropriation des axes stratégiques retenus.

Limites Même bien structuré, outil subjectif. Recherche d'un consensus avant de finaliser l'analyse indispensable.

Distinction entre ce qui est interne et ce qui est externe pas toujours évidente.

Outil réducteur et simplificateur (comme tous les outils aboutissant à une matrice).

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats) > Outil détaillé

Outil détaillé

.

Structure de la section:

.

QU'EST CE QU'UNE ANALYSE SWOT?

.

Quelle définitiion donner à l'analyse swot?

Définition

Définition générale

L'analyse SWOT (Strengths - Weaknesses - Opportunities - Threats) ou AFOM (Atouts - Faiblesses - Opportunités - Menaces) est un outil d'analyse stratégique. Il combine l'étude des forces et des faiblesses d'une organisation, d'un territoire, d'un secteur, etc. avec celle des opportunités et des menaces de son environnement, afin d'aider à la définition d'une stratégie de développement.

Le but de l'approche est de prendre en compte dans la stratégie, à la fois les facteurs internes et externes, en maximisant les potentiels des forces et des opportunités et en minimisant les effets des faiblesses et des menaces.

Logique de l'analyse SWOT

 

Positif

Négatif

Interne

Forces Faiblesses

Externe

Opportunités Menaces
En évaluation

En évaluation, l'utilisation de l'analyse SWOT est actuellement principalement centrée sur l'évaluation ex ante de programmes. En formalisant les points positifs et négatifs d'un territoire et en identifiant les facteurs de son environnement pouvant influer favorablement ou défavorablement sur les projets de ce territoire, l'analyse SWOT permet de réduire les incertitudes et ainsi d'affiner ou d'évaluer la stratégie. Elle fait partie des outils qui permettent l'étude de la pertinence et éventuellement de la cohérence de certains programmes ou d'une stratégie dans son ensemble.

Formes principales

L'analyse SWOT a donné lieu à de nombreuses adaptations et interprétations. Certains des quatre facteurs peuvent varier selon les besoins de l'analyse, qu'il s'agisse de l'aide à l'élaboration de scénarios de développement, de diagnostics de territoire, de la définition et de la validation de stratégie, d'une évaluation ex ante, etc. Ainsi, il est possible de rencontrer dans la littérature les termes suivants en plus de l'analyse SWOT :

  • SWOL : Strengths, Weaknesses, Opportunities, Limitations
  • SWPO : Success, Weaknesses, Potentials, Obstacles
  • SWAP : Successes, Weaknesses, Aims, Problems
  • SOFT : Successes, Opportunities, Failures, Threats

Cette liste n'est évidemment pas limitative. A quelques subtilités près, que reflètent leurs acronymes, ces analyses visent globalement le même but, elles ne sont donc pas distinguées ici.

Quel est le contexte d'origine de l'analyse SWOT ?

L'analyse SWOT vient du monde des affaires et s'inscrit dans des modèles très structurés combinant une série d'outils d'analyse de l'environnement interne à l'entreprise et de son environnement externe.

Logique d'utilisation de l'analyse SWOT dans le domaine
stratégique (Selon "Stratégique" - édition Pearson France)


Les modèles sont multiples et ont donné lieu à de nombreuses variantes au cours des cinquante dernières années, en particulier pour les outils intermédiaires, menant à l'analyse SWOT.

Ces outils ne sont pas toujours les mêmes suivant qu'il s'agit d'une analyse pour une entreprise, une organisation, un territoire ou un secteur, et suivant les contextes dans lesquels l'analyse SWOT s'inscrit (ex : définition de stratégie en évaluation).

.

POURQUOI ET QUAND?

.

A quels moments de l'évaluation l'outil gagne-t-il a être utilisé?

En évaluation ex ante

L'analyse SWOT est largement utilisée en Europe, en évaluation ex ante de programmes communautaires. Elle vient en appui aux réflexions stratégiques.

Elle peut donc également avoir sa place au moment de la rédaction des CSP (Country Strategy Paper) et lors de leur évaluation.

Elle est également parfaitement adaptée à l'évaluation projet.

Phase de structuration de l'évaluation

Dans la phase de structuration de la méthode d'évaluation, la réalisation du diagramme des problèmes est un travail assez proche de celui de l'identification des faiblesses et des menaces de l'analyse SWOT. La confrontation du diagramme des problèmes à celui des objectifs est également une réflexion qui s'apparente à l'analyse SWOT.

Il est donc possible d'utiliser cet outil dans la phase de structuration de la méthode afin de mieux étudier l'adéquation de la stratégie à la situation dans le pays.

Identification et vérification des axes stratégiques

Cette analyse permet d'identifier les axes stratégiques qui peuvent être développés.

Bien qu'avant tout destinée à la planification, utilisée en évaluation, l'analyse SWOT sert à vérifier que la stratégie mise en place constitue une réponse satisfaisante à la situation décrite par l'analyse.

Dans ces conditions, elle peut aussi bien être utilisée en évaluation :

  • ex ante pour définir les axes stratégiques ou les vérifier,
  • intermédiaire pour juger de la pertinence et éventuellement de la cohérence des programmes en cours,
  • ex post pour vérifier la pertinence et la cohérence de la stratégie ou du programme, ceci est d'autant plus vrai si cet exercice n'a pas été fait lors de leur élaboration.

Avec quels outils peut-on combiner l'analyse SWOT ?

L'analyse SWOT peut être combinée avec de nombreux outils.

Outils pouvant précéder l'analyse SWOT

Lorsque l'analyse est très poussée, elle peut être précédée par la mise en œuvre de l'ensemble ou d'une partie des outils qui y conduisent : audit des ressources, analyse des meilleures pratiques, analyse PESTEL (facteurs Politiques, Ecologiques, Socio-culturels, Technologiques, Economiques et Légaux), etc.

Outils intermédiaires à l'analyse SWOT dans une évaluation de territoire ou de secteur


Autres combinaisons possibles

  • L'analyse SWOT peut faire partie des travaux menés en entretiens de groupe.
  • L'analyse SWOT peut compléter les outils de structuration de la méthode d'évaluation comme le diagramme des problèmes.
  • Elle peut être complétée par des outils plus en lien avec la gestion des programmes comme la matrice BCG (Boston Consulting Group).

C'est donc un outil extrêmement polyvalent, facilement combinable avec d'autres.

Quelles sont les conditions d'usage en évaluation pays?

Les conditions d'emploi

Les conditions d'emploi spécifiques à l'évaluation pays concernent presque exclusivement le choix des participants. Pour cela, il convient de se reporter aux recommandations faites pour les outils entretien individuel et entretien de groupe.

Les points importants à examiner sont :

  • Qui inviter à participer à l'analyse ?
  • Comment s'assurer d'une répartition équitable des participants par groupe d'intérêt et du respect des temps de parole ?
  • Comment éviter les biais, dus à l'éventuelle influence de certains groupes sur d'autres ?
  • Combien d'analyses faire pour obtenir une analyse suffisante ?
  • Où réaliser ces analyses (dans le pays ou seulement à la Commission Européenne) ?
  • Quelle langue utiliser ?

Ces points étant résolus, cet outil peut se révéler extrêmement utile pour mettre en exergue des points saillants dont les évaluateurs ont besoin pour leur analyse et pour étayer leur jugement.

Exemples d'utilisation de l'outil en évaluation pays

Une série d'exemples, bien que n'étant pas tirés d'une évaluation pays, présentent des détails sur la mise en œuvre de l'analyse ou sur des résultats de celle-ci. En ce sens, les exemples présentés peuvent apporter des informations utiles aux évaluateurs. Pour que le contexte soit proche de celui des évaluations pays, les exemples se situent majoritairement dans des pays ou régions appartenant au champ de l'aide au développement.

Quels sont les avantages et les limites de l'analyse SWOT ?

Les avantages

Définition d'une stratégie ou d'un programme

L'analyse SWOT est un outil simple qui permet de visualiser rapidement l'adéquation (ou l'inadéquation) d'une stratégie à une problématique.

En évaluation

En évaluation ex ante, lorsque l'analyse SWOT est couplée à l'analyse stratégique, elle participe à la clarification des idées des décideurs et à l'appropriation des axes stratégiques retenus.

Les limites

Un outil subjectif

Même bien structuré, l'outil reste malgré tout subjectif. Des analyses fournies par plusieurs groupes sur un sujet donné peuvent varier significativement (des forces pour certains peuvent être des faiblesses pour d'autres). La recherche d'un certain consensus avant de finaliser l'analyse est donc indispensable.
La distinction entre ce qui est interne de ce qui est externe n'est pas toujours évidente.

Un outil réducteur

Comme tous les outils aboutissant à une matrice, le reproche qui peut être fait à l'analyse SWOT est son côté réducteur et simplificateur.

Les ressources nécessaires pour réaliser une analyse SWOT peuvent varier considérablement selon :

  • le sujet à traiter (un projet de développement ou une stratégie pays),
  • le nombre de personnes et de groupes que l'on décide d'impliquer pour réaliser cette analyse (stratèges, opérateurs, bénéficiaires, etc.),
  • le(s) lieu(x) où se déroule l'analyse (en Europe ou dans le pays).

Quelles sont les ressources nécessaires ?

Les ressources en temps

Si l'analyse est limitée à la consultation de quelques personnes connaissant très bien le sujet et se déroulant en un seul lieu, elle peut être très rapide. Dans ce cas, elle peut ne nécessiter que :

  • quelques jours de préparation,
  • une journée pour réunir les personnes,
  • une journée pour finaliser l'analyse.

Si l'analyse est beaucoup plus complexe (mise en œuvre de plusieurs outils intermédiaires) et implique beaucoup plus de personnes, alors sa durée pourra être significativement plus longue.

Les ressources humaines

Outre les participants à l'analyse, dont l'information sur la méthode est faite très souvent le jour même de la réunion, il convient d'avoir un animateur de groupe ou un facilitateur compétent.

Les ressources financières

Les ressources financières pour mener une analyse SWOT sont très variables.

  • Une analyse simple, menée dans le cadre de la structuration de l'évaluation pour valider si les choix stratégiques sont les bons, peut avoir un coût extrêmement réduit.
  • Une commande spécifique dans le cadre d'une évaluation ex ante, pour aider à finaliser des choix stratégiques, peut avoir un coût significatif si elle implique des déplacements dans le pays et la réunion de plusieurs ateliers.

L'emploi de l'analyse SWOT en évaluation projet

En évaluation projet, l'utilisation de l'analyse SWOT en fonction du temps (passé et futur) est particulièrement bien adaptée à l'identification des orientations devant être renforcées dans le futur. 

Elle permet en outre d'obtenir rapidement une auto-évaluation des acteurs sur le contexte du projet.

.

COMMENT FAIRE?

.

Comment choisir le niveau d'analyse?

Une démarche indispensable

Avant de décider de mettre en œuvre une analyse SWOT, il convient de savoir à quel domaine l'appliquer.

Pour une entreprise, cette étape est en général très claire. L'entreprise représente l'interne et le marché, la concurrence et l'environnement de l'entreprise représentent l'externe.

En revanche pour le secteur de l'aide au développement, cette analyse préalable est nécessaire, si l'on veut que les participants à l'analyse comprennent bien les questions qui leur seront posées.

Des niveaux variables

  • Si le niveau de l'analyse est l'agence (ex : la Commission Européenne), l'objet de l'analyse interne sera l'agence et celui de l'analyse externe, le pays.
  • Si l'objet principal de l'analyse est le pays lui-même, dans ce cas l'analyse interne sera focalisée sur le pays et l'analyse externe sera focalisée sur les pays environnants et le reste du monde.
  • Si l'objet de l'analyse est un secteur, tout ce qui peut être maîtrisé par des actions dans le secteur constituera l'interne et tout ce qui ne peut pas l'être, l'externe.
Distinction entre le niveau interne et le niveau externe de l'analyse SWOT

Comment préparer les réunions?

Il existe un grand nombre d'approches possibles pour la conduite des analyses SWOT, depuis les plus simplistes (une réunion de quelques personnes en une demie-journée de travail) jusqu'aux plus sophistiquées (analyse employant successivement tous les outils de l'analyse stratégique en amont de l'analyse SWOT).

Bases pour la préparation des réunions

Pré-requis pour les réunions de travail


Quelle que soit la méthode choisie, la préparation des réunions repose, au minimum, sur l'analyse documentaire et la rencontre avec quelques personnes ressources clés. Cette préparation est un préalable indispensable afin de ne pas passer à côté de points essentiels. Elle permet, si certains sujets importants ne sont pas évoqués par l'auditoire le jour des réunions, de les proposer à la discussion. L'existence d'un arbre des problèmes dans la documentation est évidemment une aide pour cette préparation.

Sélection des groupes

La préparation du mode de sélection du groupe, de sa taille, de sa division éventuelle en sous-groupes (thématiques, régionaux, catégories d'acteurs, etc.) est également indispensable à ce stade.
L'outil focus group détaille les approches de sélection des groupes.

Quel est le rôle de l'animateur du groupe?

Il est pratiquement impossible de réaliser une analyse SWOT sans un animateur de réunion et, si possible, un secrétaire. Si ce dernier peut généralement être choisi parmi l'assistance (mais pas toujours), l'animateur, en revanche, doit être fourni par l'équipe d'évaluation.

Son rôle est central dans la conduite de la réunion, il aide entre autres à :

  • mener les réunions,
  • formaliser les propos des participants sous leur forme définitive,
  • regrouper les idées communes,
  • distinguer les facteurs internes (forces et faiblesses) sur lesquels l'organisation a une marge de manœuvre, des facteurs externes (opportunités et menaces) sur lesquels elle n'en a pas,
  • assurer l'exhaustivité de l'approche en évitant les zones d'ombre,
  • aider au "réalisme" de l'approche en particulier sur celle des faiblesses,
  • animer et relancer en permanence les débats,
  • déboucher sur une analyse la plus courte et la plus simple possible, si possible avec une hiérarchisation, c'est-à-dire une classification des points par ordre d'importance relative.

En évaluation pays, la pratique de la langue locale est souvent une nécessité. Un appui local est donc souvent nécessaire. Il faut toutefois s'assurer qu'au delà de la langue, cet animateur ait la formation et les qualités requises pour animer un groupe et conduire une analyse SWOT.

Comment identifier et étudier les 4 facteurs?

Règles générales

Classification des facteurs

Les forces et les faiblesses sont les éléments internes au pays, sur lesquels ce dernier a une marge de manœuvre partielle ou totale (ex : niveau d'éducation, de santé).

Les opportunités et les menaces sont les éléments externes qui s'imposent au pays et qu'il ne peut donc pas changer (ex : barrières douanières, sécheresse).

Certains auteurs, même si ce n'est pas exactement la règle d'origine, classent différemment ces facteurs, en attribuant aux forces et aux faiblesses un caractère actuel (que les forces ou faiblesses soient internes ou externes) et aux opportunités et aux menaces, une notion d'avenir et de prospective.

Méthodes d'identification et d'étude des 4 facteurs

L'ordre et la manière d'identifier et d'étudier les 4 facteurs (forces, faiblesses, opportunités, menaces) peuvent différer considérablement.

Dans les méthodes présentées par différentes agences, on peut trouver des organisations aussi variées que suivant :

  • une réunion entièrement orale ou avec une partie consacrée à la production écrite par chaque participant, avant la synthèse,
  • un "brain storming" ou une réunion très structurée selon un protocole précis,
  • une étude faite par des individus, des paires ou des groupes,
  • une étude faite avec un seul groupe ou des études multiples menées par des groupes distincts, suivies de la synthèse des travaux des groupes en séance plénière et la formulation en une seule matrice SWOT à la fin,
  • une étude faite sans cadre prédéfini ou bien une étude menée autour de questions ou de problématiques déjà identifiées, que le groupe doit étudier spécifiquement,
  • des études thématiques en premier lieu (ex : santé, infrastructures, etc.) puis une synthèse multi-thèmes par la suite,
  • une étude des facteurs étudiés dans l'ordre (forces, faiblesses, etc.), ou en les liant (forces et faiblesses puis opportunités et menaces).

Même si les méthodes peuvent varier, il faut retenir que l'ordre a peu d'importance à partir du moment où la méthode convient à l'auditoire. Il faut donc savoir être souple et s'adapter aux contraintes humaines, budgétaires, temporelles, thématiques, etc., en ne perdant pas de vue l'objectif que l'on s'est fixé, à savoir répondre aux questions suivantes :

  • Quel est le rôle de l'analyse SWOT dans l'évaluation ?
  • Ai-je atteint l'objectif fixé avec la méthode retenue ?

Etude des forces

Comment identifier les forces ?

Les forces sont les aspects positifs internes que contrôle l'organisation ou le pays, et sur lesquels on peut bâtir dans le future. Les forces sont par exemple :

  • les domaines dont on peut être fier (ex : bon système éducatif ou juridique, société civile très présente dans les débats nationaux, etc.),
  • les choses qui se passent bien (ex : bon niveau de formation de la population ou de certaines catégories de personnes, bon niveau d'exportation, finances publiques bien gérées, etc.),
  • les ressources auxquelles on a accès (ex : eaux très poissonneuses, minerais abondants et facilement exploitables, terres fertiles, etc.),
  • les savoir-faire que les autres reconnaissent à l'organisation ou au pays (ex : réputation d'un pays où la main d'œuvre est abondante et efficace, pays attractif, etc.),
  • la géographie entendue comme la proximité géographique par rapport à un partenaire (ex : pays voisin de l'Europe) ou à des circuits commerciaux (ex : pays disposant d'infrastructures portuaires situées sur des routes maritimes importantes).
Deux outils complémentaires pour un approfondissement de l'analyse

Si l'étude des forces nécessite d'être approfondie au-delà du simple recueil de l'avis des participants aux réunions, deux outils, utilisés dans les modèles relatifs aux capacités stratégiques des sociétés, peuvent être utilisés pour fournir des pistes d'investigation.

-Audit des ressources

Un audit des ressources peut être pratiqué avant une analyse SWOT. Généralement, il se focalise sur les ressources physiques (ex : ressources naturelles, industrielles, agricoles, etc.), humaines (ex : niveau d'organisation, niveau d'éducation, disponibilité, compétences, etc.) et financières (ex : niveau des finances publiques, ressources liées aux exportations, etc.).

Il est important d'identifier, si elles existent, les ressources dites "uniques", c'est-à-dire celles qui constituent un avantage certain pour le pays (ex : niveau de scolarisation beaucoup plus élevé que dans les pays voisins).

-L'analyse des meilleures pratiques

La comparaison à l'intérieur du pays entre ce qui fonctionne très bien et ce qui fonctionne moins bien, peut permettre d'aider à identifier ce que sont les meilleures pratiques. Certains indicateurs sont maintenant fournis aux pays et permettent également certaines comparaisons au niveau :

  • thématique (ex : part de filles scolarisées, pourcentage d'enfants vaccinés contre telle maladie, etc.),
  • plus global (ex : indice de développement humain, indicateurs des objectifs du millénaire, etc.).

Ces comparaisons peuvent aider à identifier les meilleures pratiques à inclure dans l'identification des "forces".

Au niveau des programmes, des indicateurs sont également très intéressants à inclure dans ces comparaisons (ex : coût moyen par élève ayant terminé le cycle primaire, etc.).

Autres techniques d'identification

La liste des domaines du modèle PESTEL (Politique, Ecologique, Socio-culturel, Thématique, Economique, Légal) peut également servir de check-list pour identifier si tous les domaines importants ont été étudiés.

Certains finalisent l'analyse en hiérarchisant les forces afin de mieux distinguer les sujets d'importance plus élevée de ceux qui le sont moins.

Limite de l'approche

L'analyse SWOT étant basée sur le jugement des participants, elle est par nature subjective et qualitative. Il arrive ainsi que ce qu'un participant considère comme une force soit considéré comme une faiblesse pour un autre.

Etude des faiblesses

Quelques questions permettant d'identifier les faiblesses
  • Que faisons-nous mal et que pouvons-nous améliorer ?
  • Qu'est-ce que d'autres font beaucoup mieux que nous ?
  • Que devrions nous éviter ?
  • De quoi manquons nous et dont nous avons la maîtrise ?
Comment identifier les faiblesses ?

Par opposition aux forces, les faiblesses sont les aspects négatifs internes mais qui sont également contrôlés par l'organisation, et pour lesquels des marges d'amélioration importantes existent.

Les faiblesses sont par exemple :

  • de mauvaises pratiques (ex : mauvaise gestion des budgets, déficit de participation de la société civile aux décisions publiques, etc.),
  • des domaines qui peuvent être améliorés (ex : manque d'infrastructures, niveau de scolarisation très faible, etc.),
  • une mauvaise image (ex : infrastructures touristiques considérées comme médiocres malgré des efforts d'amélioration),
  • certains manques de ressources (ex : fuite des cerveaux ou des capitaux),
  • un déficit d'organisation (ex : manque de stratégie dans certains domaines, manque de partenariat, excès de bureaucratie, etc.),
  • un positionnement géographique défavorable ou un manque de ressources naturelles, même s'ils ne sont pas le fait des gestionnaires du pays.
Outils complémentaires pour l'approfondissement de l'analyse

Les outils de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des faiblesses sont les mêmes que ceux utilisés pour les forces. Ils peuvent aider à mettre en évidence les problèmes de ressources et les pratiques déficientes. Il s'agit de :

  • l'audit des ressources,
  • l'analyse des meilleures pratiques,
  • la liste des domaines du modèle PESTEL servant de check-list pour identifier si tous les domaines importants ont été étudiés,
  • le diagramme des problèmes. S'il existe dans les documents stratégiques ou des programmes mis en oeuvre dans le pays, il est toujours utile de s'y référer lors de la réalisation de la partie "faiblesses" d'une analyse SWOT.
Limite de l'approche

Encore plus que pour les forces, l'analyse des faiblesses requiert la collecte de plusieurs points de vue, dont au moins celui des représentants :

  • des stratèges et des gestionnaires du programme,
  • des bénéficiaires,
  • du pays et, si possible, de l'extérieur.

Etude des opportunités

Comment identifier les opportunités ?

Les opportunités sont les possibilités extérieures positives, dont on peut éventuellement tirer parti, dans le contexte des forces et des faiblesses actuelles. Elles se développent hors du champ d'influence du pays ou à la marge (ex : changement de goût des consommateurs mondiaux concernant une production du pays, amélioration de l'économie d'un pays "client", développement du commerce par Internet, etc.).

Par opportunités, on entend par exemple :

  • des domaines économiques en expansion où le pays peut valoriser son savoir faire (ex : développement de la demande en produits manufacturés dans les pays européens, une forte demande sur le type de tourisme offert dans le pays, etc.),
  • des problèmes dans un pays "concurrent" pouvant devenir des opportunités lorsqu'il s'agit de prendre un marché,
  • les accords multilatéraux qui n'existaient pas auparavant, et qui offrent désormais de meilleures possibilités de circulation des biens et des personnes,
  • les disponibilités financières importantes chez certains bailleurs permettant de développer certains domaines (ex : augmentation de la part prise par les femmes dans l'économie).
Un outil d'approfondissement de l'analyse : le modèle PESTEL

L'outil de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des opportunités est le modèle PESTEL. Son nom vient d'une analyse incluant les domaines Politique, Ecologique, Socio-culturel, Technologique, Economique et Légal. Elle peut fournir une aide concernant les thèmes qu'elle aborde et servir de check-list vérifiant que l'analyse SWOT n'a rien oublié.

Ces 6 thèmes sont donc un guide à la préparation des réunions et permettent de ne pas oublier chaque domaine important. Des exemples par domaine peuvent être au niveau :

  • Politique : la nature de certains accords internationaux, une stabilité politique dans les Etats voisins et dans les pays partenaires, l'existence de conflits ayant un impact sur le pays, etc.
  • Ecologique : la nature de certains accords internationaux, des changements climatiques, la pollution des eaux internationales, etc.
  • Socio-culturel : la nature de certains accords internationaux, des différences socio-culturelles avec les Etats voisins, un fort taux d'immigration, une délocalisation de la main d'œuvre, etc.
  • Technologique : l'évolution des échanges par Internet, la place prise par le fret aérien par rapport au fret maritime, les évolutions technologiques extérieures menaçant des productions ou savoir-faire locaux, etc.
  • Economique : la nature de certains accords internationaux, l'évolution du coût de certaines matières premières, l'évolution de l'économie dans certains pays clients ou partenaires, etc.
  • Légal : la nature des accords et conventions internationaux, etc.

Etude des menaces

Comment identifier les menaces ?

Les menaces sont les problèmes, obstacles ou limitations extérieures, qui peuvent empêcher ou limiter le développement du pays ou d'un secteur (ex : l'industrie). Elles sont souvent hors du champ d'influence du pays ou à la marge (ex : désaffection des consommateurs pour un produit important du pays, prix de l'énergie en forte augmentation, baisse généralisée de l'aide au développement, etc.)

Les menaces peuvent être :

  • des domaines économiques en récession concernant certaines des productions capitales pour le pays (ex : tourisme, certaines productions agricoles, etc.),
  • le développement d'une forte concurrence extérieure sur des productions (ex : cultures de rente, productions manufacturées, etc. ),
  • des accords internationaux limitant certains échanges de biens ou de personnes (ex : limitation des possibilités d'emplois dans un pays voisin),
  • des changements climatiques (ex : réchauffement de la planète) et leurs conséquences (ex : montée du niveau des océans).
Un outil d'approfondissement de l'analyse : le modèle PESTEL

L'approfondissement de la recherche des menaces, peut également se faire grâce au modèle PESTEL, utilisé dans l'analyse des opportunités.

Comment mettre en relation les facteurs et en faire la synthèse?

Hiérarchisation des facteurs

La synthèse des études est importante car elle permet, au-delà de l'identification du contenu de chacun des facteurs, une mise en relation entre eux. Elle ne peut être efficace que si une hiérarchisation au sein de chacun des facteurs a d'abord permis d'éliminer les points secondaires pour ne garder que les phénomènes importants.

Mise en relation des facteurs

L'objectif de cette phase est de voir comment tirer parti de la situation au mieux. Le schéma ci-dessous symbolise la relation entre les facteurs de l'analyse SWOT.

Schéma de l'examen des 10 possibilités offertes par l'analyse SWOT


Il convient donc lors de cette phase de bien explorer systématiquement les dix possibilités offertes par l'analyse et que chaque cellule du schéma représente (ex : étude de comment utiliser les forces pour tirer parti des opportunités, etc.). Ce travail devrait se faire idéalement avec les groupes lors des réunions.

Restitution de l'analyse

La restitution des analyses SWOT est le plus souvent faite sous la forme du tableau à 4 cellules détaillant les forces, les faiblesses, les opportunités et les menaces. Au-delà de cette représentation classique, il est bon d'accompagner cette présentation d'un véritable rapport comportant :

  • la méthode de préparation des réunions, de sélection des groupes et de conduite des réunions,
  • une analyse des limites de l'exercice (ex : un groupe n'a pas pu intervenir dû à la présence d'un autre groupe),
  • une analyse d'éventuels écarts importants d'opinion entre certains groupes (ex : des bénéficiaires face à des gestionnaires),
  • une représentation des résultats de l'analyse SWOT finale (pistes stratégiques identifiées par l'analyse),
  • les annexes du rapport doivent idéalement contenir : la liste des participants et leur fonction, les résultats d'éventuelles étapes intermédiaires (ex : SWOT avec différents groupes d'acteurs, SWOT thématiques, etc.).

Compléter l'analyse

L'analyse SWOT n'est toutefois qu'un outil et cet outil est particulièrement subjectif. Dans un domaine aussi vaste que les stratégies mises en œuvre au niveau d'un pays, il convient de ne pas en sous-estimer les limites. En effet, prendre en compte toutes les situations et évaluer toutes les relations entre elles n'est pas possible pour un outil aussi simple. Il faut donc rester pragmatique et savoir s'appuyer sur d'autres sources et d'autres avis pour compléter l'analyse de la situation et de la stratégie.

.

EXEMPLES

.

.

BILIOGRAPHIE

.

Références générales

  • Exploring corporate strategy, Gerry Johnson and Kevan Scholes.
  • "Stratégique", Gerry Johnson, Kevan Scholes et Fréderic Fréry. Edition Pearson France.
  • Cahiers Means.

Références spécifiques à l'utilisation de l'analyse SWOT en évaluation pays

  • "SWOT analysis of Pension Schemes Administration in Selected African Countries", the World Bank, février 2002 [EN] 
  • "SWOT analysis for the participatory research in the Pacific". Tellus Consultants. [EN]  
  • "Analyse SWOT", Evaluation ex ante du programme Interreg III France-Italie, paragraphe 5, Alcotra, octobre 2000, p.72-87. [FR] 
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats) > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponses

Préparation et Conception
 
Le champ de l'analyse était-il clairement défini par un niveau (ex : pays, région, secteurs, etc.) ?  
L'analyse documentaire et les entretiens préliminaires ont-ils permis d'identifier les divers groupes (ex : stratèges, gestionnaires, bénéficiaires, etc.) dont les positions doivent être prises en compte dans l'analyse ?  
Une grille de sélection des participants des divers groupes a-t-elle été élaborée ?  
Mise en œuvre
 
Les participants à l'analyse constituaient-ils un ensemble représentatif des différents avis possibles sur le sujet étudié ?  
L'information obtenue peut-elle être considérée comme suffisamment exhaustive ?  
L'information obtenue ne comporte-t-elle pas de biais (ex : influence d'un groupe sur un autre limitant la liberté de parole)?  
L'information a-t-elle été hiérarchisée et synthétisée avec les participants ?  
Le rapport détaille-t-il la méthode mise en œuvre et ses limites?  
La lecture de la grille SWOT obtenue est-elle aisée ?  
Les distinctions entre les facteurs internes et externes sont-elles bien faites ?  
L'analyse SWOT a-t-elle permis de répondre aux questions auxquelles elle devait permettre de répondre ?  
Confirme-t-elle les informations recueillies par d'autres canaux?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponses

L'analyse SWOT a-t-elle été justifiée ?  
L'information obtenue peut-elle être considérée comme suffisamment complète ?  
Le rapport détaille-t-il la méthode mise en œuvre et ses limites ?  
La grille SWOT obtenue est-elle claire ?  
Les distinctions entre les facteurs internes et externes sont-elles explicites ?  
L'analyse SWOT a-t-elle permis de répondre aux questions prévues ?  
Les résultats sont-ils cohérents avec les informations recueillies par d'autres voies ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère

Analyse multicritère

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

Objectifs

L'analyse multicritère est utilisée pour porter un jugement comparatif entre des projets ou des mesures hétérogènes.

Dans le cadre de l'évaluation, l'analyse multicritère est plutôt un outil de l'évaluation ex ante. Elle est plus particulièrement utilisée dans l'élaboration des choix stratégiques d'intervention.

Dans le cadre de l'évaluation ex post, l'analyse multicritère peut contribuer à l'évaluation d'un programme ou d'une politique en appréciant les effets des actions réalisées au regard de plusieurs critères.

Utilisations possibles en évaluation pays

En évaluation ex ante ou intermédiaire

L'analyse multicritère peut servir pour :

  • évaluer les capacités de diverses actions d'un programme à remplir un objectif donné. Ce travail pourrait se faire pour recueillir l'avis des responsables et des bénéficiaires sur leur efficacité.
  • structurer les avis de responsables de projet ou de programme sur des actions en cours.
  • discuter du contenu des programmes et des allocations entre actions lors de l'élaboration des stratégies et des programmes

En évaluation ex post

Dans les pays tiers, des domaines comme la lutte contre la pauvreté, le maintien de la sécurité, la maîtrise de l'immigration, le développement du commerce sont autant de domaines où ce type d'analyse gagnerait à être introduit pour formuler des jugements sur ces stratégies complexes.

Comment mettre en oeuvre l'analyse multicritère ?

Quelles sont les conditions d'emploi de l'analyse multicritère ?

Le temps nécessaire et le coût d'une analyse multicritère de haut niveau risquent d'être peu compatibles avec les délais et les budgets habituellement alloués à ces tâches en évaluation.

Les analyses multicritères pouvant être conduites dans le cadre d'une évaluation pays doivent se limiter à la comparaison d'actions simples et à partir de critères limités.

Encadré 1 - les étapes de mise en œuvre de l'analyse multicritère
1 Choix du domaine d'application et identification de la logique d'intervention
2 Choix du (ou des) groupe(s) de négociation ou de jugement
3 Choix de l'équipe technique chargée d'appuyer le groupe de jugement
4 Etablissement de la liste des actions en concurrence à intégrer dans l'analyse multicritère
5 Identification et sélection des critères de jugement
6 Détermination du poids relatif de chaque critère
7 Jugement par critère
8 Agrégation des jugements

Etape 1 : choix du domaine d'application et identification de la logique d'intervention

Dans le cadre de l'évaluation, l'analyse multicritère n'est généralement pas employée sur l'ensemble des sujets à évaluer.
Une fois le domaine d'application établi par l'équipe d'évaluation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas.

Etape 2 : choix du groupe de jugement

L'analyse multicritère est basée sur des notations et des choix de préférence effectués par les personnes qui vont constituer le groupe de jugement. Pour constituer ce groupe, l'équipe d'évaluation peut choisir parmi les acteurs concernés par le programme ou parmi des délégués de ces acteurs. En général, les membres du groupe sont choisis dans cette dernière catégorie, ce qui est justifié pour limiter les risques d'incompétence et pour faciliter l'identification de ces personnes.

Etape 3 : choix de l'équipe technique

L'équipe technique est chargée d'appuyer le groupe de jugement. Elle est composée des personnes suivantes :

  • Le facilitateur.
  • L'assistant technique. C'est la personne qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères.
  • Les experts qui sont chargés de collecter des données pour le compte du groupe de négociation, en vue de compléter l'information, au fur et à mesure de l'exercice.

Etape 4 : établissement de la liste des actions en concurrence

L'analyse multicritère, selon ses objectifs, aidera à comparer :

  • des scénarios ou des solutions potentielles dans un exercice de planification ou d'évaluation ex ante,
  • des variantes d'un aménagement,
  • des actions mises en œuvre dans un programme.

A la fin de cette quatrième étape une liste des actions, des scénarios ou des variantes entrant dans l'analyse sera produite.

Etape 5 : identification et sélection des critères de jugement

Cette étape est centrale dans l'analyse multicritère. Les règles de base pour la définition des critères peuvent être résumées ainsi :

  • Les critères doivent être définis avant de réaliser l'analyse, à partir des règles connues et acceptées de tous,
  • Ils doivent tenir compte de tous les points de vue exprimés par les membres du groupe,
  • Ils ne doivent pas être redondants entre eux,
  • Ils doivent former un ensemble cohérent qui aboutit à des résultats plausibles et incontestables.

Par exemple, lorsqu'une entreprise cherche à recruter un salarié d'un niveau donné, sa direction peut utiliser les critères suivant :

  • l'obtention d'un examen,
  • une appréciation des motivations et de l'expérience lors d'un entretien d'embauche,
  • le niveau de salaire demandé par le candidat.
  • Les critères ne sont pas redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Ils sont cohérents, c'est-à-dire que si deux candidats sont à égalité sur deux des trois critères, le troisième permettra de départager les candidats sans susciter de réclamation.

Etape 6 : détermination du poids relatif de chaque critère

Méthodes de pondération des critères

Une des règles de l'analyse multicritère est de pondérer ces critères entre eux afin de prendre en compte leur importance relative aux yeux des acteurs. 

Dans l'enseignement secondaire, le cas des coefficients affectés aux matières lors de l'évaluation des élèves est un exemple simple de pondération des critères.

Différentes méthodes de pondération ont été élaborées pour aider à la formalisation des pondérations (utilisation de coefficients, méthode du jeu de cartes).

Instauration de seuils de veto, d'indifférence et de préférence

Certains critères peuvent avoir une importance telle qu'ils ne peuvent pas être traités de la même manière que les autres. C'est le cas des critères pour lesquels peut s'appliquer la notion de seuil de veto (dont certains correspondent à des exigences réglementaires).

Les seuils de préférence et d'indifférence méritent également d'être définis, surtout dans les analyses longues et complexes. Deux acteurs ayant des avis très proches peuvent classer deux actions l'un au même niveau et l'autre à des niveaux différents, parce que les seuils de préférence et d'indifférence n'auront pas été assez bien définis.

Test de la sensibilité

Ce test consiste à observer l'effet des modifications des paramètres choisis par le groupe, sur les résultats de l'analyse.

Etape 7 : jugement par critère

Etude des impacts des actions

On tente de donner des valeurs aux impacts de chaque action au regard du critère. Cette évaluation peut être quantitative, mais aussi qualitative.

Encadré 2 - Tableau des résultats de l'étude des impacts des actions au regard des critères

Notation et jugement des actions par critère

Ce jugement est fait par le groupe, alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié.

L'intérêt de cette étape est d'arriver au final à doter chaque action d'une note par critère. Cette notation permet de comparer à la fois les actions entre elles et les avis entre acteurs, pour une même action.

Etape 8 : agrégation des jugements

C'est un point crucial de l'analyse mais difficile à réussir. Il faut d'abord vérifier que les jugements sont exprimés de façon homogène (ex : la surface d'un ouvrage est préférée lorsqu'elle est plus réduite). Cependant, il est important de tester si plusieurs manières de conduire l'opération aboutissent ou non à des résultats similaires ou extravagants. (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre).

Il existe différentes méthodes d'agrégation des jugements : la somme pondérée, le produit pondéré, l'approche par surclassement, etc. Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur).

S'il s'agit d'un travail dans le cadre d'un groupe consensuel ou travaillant avec des critères aux poids identiques pour tous (ex : professeurs pour la notation des élèves en classe), le tableau des performances représente le résultat de l'analyse multicritère.

Quelles sont les ressources necessaires?

Encadré 3 - Les ressources nécessaires
En Temps L'analyse prend généralement du temps, sauf dans des situations très simples ou pour recueillir des avis a posteriori. Dans les situations ex ante d'aide à la décision, les analyses multicritères durent, en général, plusieurs mois.
Humaines L'analyse multicritère implique la contribution de plusieurs catégories d'acteurs : le groupe de négociation / jugement, le facilitateur, l'assistant technique, et les experts.
Financières Dans le cadre de l'évaluation ex ante, l'analyse multicritère peut devenir lourde, d'une ampleur comparable à celles menées dans le cadre de l'aide à la planification.

Quels sont les avantages et les limites des l'outil?

Encadré 4 - Les avantages et les limites
Avantages Capacité à pouvoir simplifier des situations complexes.

Les bases sur lesquelles s'effectuent les choix des critères et la notation des performances sont souvent simples, compréhensibles et mises au point par le groupe qui conduit l'analyse.

La méthode rationalise le processus conduisant aux choix.

La méthode constitue un outil de négociation utile aux débats entre les usagers.

Limites Difficultés opérationnelles pour choisir des actions ou des variantes à étudier, pour définir des critères de comparaison et pour produire des grilles de notation.

Manque de données fiables, sur une durée suffisante pour mettre en place et valider les méthodes.

Les analyses multicritères sont souvent basées sur des processus lents et itératifs, qui peuvent nécessiter une part de négociation importante et de longue durée.

Les méthodes mathématiques d'agrégation des données nécessitent un savoir-faire de haut niveau.

L'analyse multicritère peut être considérée comme une approche subjective

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère > Outil détaillé

Outil détaillé

.

Structure de la section:

.

DEFINITION

.

Qu'est ce que l'analyse multicritère?

Objectifs

L'analyse multicritère est une méthode qui permet d'orienter un choix sur la base de plusieurs critères communs. Cette méthode est essentiellement destinée à la compréhension et à la résolution de problèmes de décision. Elle est utilisée pour porter un jugement comparatif entre des projets ou des mesures hétérogènes. De ce fait elle peut être utilisée en évaluation.

Ainsi, sur la base de plusieurs critères, les décideurs sont en mesure d'intégrer, dans un cadre prospectif ou rétrospectif, la diversité des opinions concernant les projets, pour formuler un jugement.

Cette méthode implique la participation des acteurs (décideurs, techniciens, bénéficiaires, etc.) et aboutit à des conseils opérationnels et à des recommandations.

Son but est d'aboutir à une solution par la simplification du problème, tout en respectant les préférences des acteurs.

Origine

A l'origine, cette méthode a été développée dans le cadre des sciences économiques et du génie industriel.

L'analyse multicritère, également nommée " aide multicritère à la décision ", connaît un développement très important depuis la deuxième moitié des années 1970 et peut être désormais considérée comme un outil scientifique à part entière.

Principales utilisations

Parallèlement au développement de l'outil, ses formes d'utilisation ont évolué. L'analyse est dorénavant principalement utilisée pour fournir aux décideurs des outils leur permettant de progresser dans la résolution de problèmes décisionnels faisant intervenir plusieurs points de vue, même s'ils sont contradictoires.

Conditions d'emploi

Pour pouvoir être conduite, l'analyse multicritère nécessite de disposer d'un ensemble d'actions ou variantes en compétition. Pour ces actions l'analyse va successivement bâtir :

  • une famille de critères, permettant de juger ces actions,
  • un tableau de performance des actions par critère,
  • une agrégation des résultats aboutissant à un classement par préférence.

L'analyse multicritère peut se faire à partir d'informations à la fois objectives et subjectives.

Quelles sont les principales catégories de l'analyse multicritère?

Il existe de nombreuses méthodes de mise en œuvre de d'analyse multicritère qui peuvent se regrouper en 4 catégories distinctes.

Sans compensation

Les méthodes sans compensation comprennent une hiérarchisation des critères et une définition de seuils binaires pour chaque critère. Elles conduisent lors de l'examen systématique des actions pour chaque critère, à leur exclusion ou à leur maintien, pour examen au regard du critère suivant, et ainsi de suite.

Par exemple, les phases préliminaires d'évaluation des offres de candidats aux appels d'offres de la Commission européenne utilisent cette catégorie de méthodes : critère d'exclusion, puis critère de sélection, etc.

Agrégation complète

Dans les méthodes par agrégation complète, un indice de synthèse permet de représenter l'agrégation de tous les critères. Ceci implique que les critères soient tous mesurables et que les préférences soient mathématiquement rationnelles. 

Dans cette catégorie d'analyses multicritère, les compensations peuvent se faire et toutes les variantes sont comparables. Elle s'applique aux situations simples et circonscrites.

Les méthodes : moyenne pondérée, Utilité Additives (UTA), Goal Programming, Analytic Hierarchy Process (AHP) et Multi Attribute Utility Theory (MAUT) font partie de cette catégorie.

La plus simple de ces méthodes, la moyenne pondérée, analyse, par exemple, la moyenne obtenue par un élève lors d'un examen. Les critères correspondent aux matières, leur pondération aux coefficients et les performances aux notes attribuées par matière.

Agrégation partielle

Les méthodes par agrégation partielle se caractérisent par la prise en compte de situations d'incomparabilité en adoptant un système de préférence.

L'analyse est conduite sur la base d'une comparaison entre des actions classées par couple et basée sur un indice de surclassement.

Ces méthodes présentent l'avantage de pouvoir comparer des situations complexes, naturellement incomparables en incluant des critères de natures très différentes (objectifs et subjectifs).

C'est dans cette catégorie que se trouvent les méthodes les plus connues comme Electre, Prométhée, Oreste, Macbeth etc.

Agrégation locale

La particularité des méthodes par agrégation locale repose sur un caractère itératif, basé sur les préférences du décideur.

Ce type de méthodes sélectionne une variante, élabore un proposition de quelques alternatives puis reprend l'analyse en boucle.
Ces approches ne mettent en jeu qu'un petit nombre d'actions et nécessitent une grande implication des décideurs.
Parmi ces méthodes figurent la programmation linéaire multiple, PREFCALC, UTA interactive, etc.

.

POURQUOI ET QUAND UTILISER L'ANALYSE MULTICRITERE EN EVALUATION?

.

Quels sont les usages de l'analyse multicritère?

Aide à la planification

L'analyse multicritère est avant tout un outil lié à la prise de décision. Elle est donc souvent utilisée pour aider à la planification et dans les analyses ex ante qui peuvent y être associées.

L'analyse multicritère sert surtout à comparer plusieurs variantes (tracés routiers, choix d'aménagement du territoire, offres d'un marché public, etc.) ou plusieurs mesures d'un programme.

En évaluation

En évaluation ex ante

Dans le cadre de l'évaluation, l'analyse multicritère est plutôt un outil de l'évaluation ex ante. Elle est plus particulièrement utilisée dans l'élaboration des choix stratégiques d'intervention. Elle peut être encore utilisée comme outil de négociation pouvant alimenter les débats autour des choix des priorités stratégiques d'intervention.

En évaluation ex post

Dans le cadre de l'évaluation ex post, l'analyse multicritère peut contribuer à l'évaluation d'un programme ou d'une politique à partir d'un bilan de ses effets.

Comment utiliser l'analyse multicritère en évaluation pays?

Conditions préalables

Une des particularités de l'outil, lorsqu'il est appliqué à des situations complexes, avec des acteurs aux opinions souvent opposées, est qu'il requiert un savoir-faire certain pour être mis en œuvre.

Au-delà de cette technicité requise, le temps nécessaire et le coût d'une analyse multicritère de haut niveau risquent d'être peu compatibles avec les délais et les budgets habituellement alloués à ces tâches en évaluation.

Les analyses multicritère pouvant être conduites dans le cadre d'une évaluation pays doivent utiliser des méthodes simples et faciles à mettre en œuvre, les conditions souvent difficiles ne facilitant pas la tâche. Il conviendra donc de limiter ces analyses à la comparaison d'actions simples et à partir de critères limités.

Utilisations possibles

En évaluation ex ante ou intermédiaires

Dans ces conditions, l'analyse multicritère peut servir pour :

  • évaluer les capacités de diverses actions d'un programme à remplir un objectif donné (ex : dans un programme visant à améliorer la santé des populations). Ce travail pourrait se faire à la fois en ex ante ou durant la mise en œuvre pour recueillir l'avis des responsables et des bénéficiaires sur leur efficacité,
  • structurer les avis de responsables de projet ou de programme sur des actions en cours,
  • discuter du contenu de programmes et des allocations entre actions lors de l'élaboration des DSP ou des PIN.
En évaluation ex post

Il serait sûrement intéressant d'utiliser davantage cet outil en évaluation ex post, comme méthode d'analyse des objectifs complexes où les stratégies et les intérêts des acteurs sont divergents.

Dans les pays tiers, des domaines comme la lutte contre la pauvreté, le maintien de la sécurité, la maîtrise de l'immigration, le développement du commerce sont autant de domaines où ce type d'analyse gagnerait à être introduit, avec les moyens correspondants.

Conseils d'utilisation

Pour mener à bien les analyses multicritère dans le cadre d'une évaluation pays, il conviendrait:

  • d'identifier le sujet à traiter et de recueillir ou reconstruire sa logique d'intervention,
  • d'identifier et de former un groupe de jugement, en prenant soin d'y inviter des acteurs compétents aux sensibilités différentes sur le sujet,
  • d'élaborer une série limitée de critères (voir Etape 5 : identification et sélection des critères de jugement) sur les points les plus importants en relation avec les objectifs du programme,
  • de guider ces acteurs dans la pondération des critères (collective ou individuelle) et dans la notation des performances (voir Etape 7 : jugement par critère) des actions par critère,
  • d'élaborer, suite aux travaux des acteurs, le tableau de performance et si possible d'en débattre avec eux.

Quels sont les avantages et les limites de l'analyse multicritère?

Avantages

Trouver une solution dans des situations complexes

L'avantage le plus important de l'analyse multicritère est sa capacité à pouvoir simplifier des situations complexes. Il est en effet admis qu'au-delà de quelques critères, la plupart des décideurs ne sont plus capables d'intégrer la totalité de l'information dans leur jugement. L'analyse multicritère permet alors en décomposant et en structurant l'analyse de procéder pas à pas vers la recherche d'une solution, en toute transparence. 

Une méthode compréhensible

Même si les outils mathématiques ou cartographiques utilisés pour traiter l'information peuvent être complexes, les bases sur lesquelles s'effectuent les choix des critères et la notation des performances sont en revanche souvent simples, compréhensibles et mis au point par le groupe qui conduit l'analyse. De ce fait, les acteurs impliqués dans le processus ont une bonne visibilité de la démarche et des choix opérés successivement. 

Une méthode rationnelle

Grâce à une approche homogène et simultanée lors de l'évaluation d'un grand nombre d'objets, la méthode permet également une appréciation stable des différents éléments entrant dans l'analyse. En ce sens, elle rationalise le processus conduisant aux choix.

Un outil de négociation utile aux débats complexes

Du fait de ses avantages, l'analyse multicritère est devenue un outil très utilisé dans larésolution de problèmes complexes, dans des contextes conflictuels comme l'aménagement du territoire par exemple. 

La clarté de la méthode permet de " dépassionner " le débat et de surcroît, de développer la communication entre les acteurs. Elle constitue ainsi un outil de négociation utile aux débats entre les usagers.

Limites

Conditions préalables

Un minimum de points d'accord entre les acteurs est un préalable indispensable à l'analyse. Ainsi, par exemple, une analyse multicritère des objectifs opérationnels d'un programme ne peut être conduite que si les acteurs sont d'accord avec l'objectif global et si possible l'objectif spécifique du programme. Par exemple, il faut que les acteurs soient d'accord sur la nécessité d'améliorer la circulation automobile dans un secteur pour envisager de les faire travailler sur les variantes d'un projet routier. 

Lourdeurs des débats

Les difficultés opérationnelles pour choisir des actions ou des variantes à étudier, pour définir des critères de comparaison et pour produire des grilles de notation, ne sont pas à sous estimer. Les débats pour résoudre ces points essentiels à la réussite de l'exercice peuvent parfois être très longs et compliqués. 

Disponibilité des données

Le manque de données fiables, sur une durée suffisante pour mettre en place et valider les méthodes peut se révéler être un handicap dans certaines situations. 

Facteur temps

La durée de réalisation des analyses (et leur coût) est souvent le facteur le plus limitant dans le cadre d'une évaluation. Les analyses multicritères sont souvent basées sur des processus lents et itératifs, qui peuvent nécessiter une part de négociation importante et de longue durée. Dans le cadre de l'évaluation, ce besoin de temps peut s'avérer être une limite. 

Technicité de la méthode

La technicité nécessaire à une bonne conduite de la démarche est évidente. Outre les outils informatiques qu'il faut savoir manier, les concepts ainsi que les méthodes mathématiques d'agrégation des données (voir étape 8) nécessitent un savoir-faire de haut niveau pour ne pas produire des conclusions erronées ou conduire l'analyse dans la confusion. 

Dimension subjective de l'analyse

Enfin, bien que l'analyse multicritère rationalise sans conteste l'approche des problèmes complexes, incluant des données objectives et subjectives, il n'en demeure pas moins qu'elle peut être considérée, par ses détracteurs, comme une approche subjective.

Avec quels outils peut-on combiner l'analyse multicritères?

L'analyse multicritère est un outil qui fonctionne de manière autonome. Toutefois elle peut être couplée avec des outils de collecte et d'analyse selon les besoins propres à chaque situation. Les combinaisons suivantes ne sont ni exhaustives ni limitatives. 

Dans le cadre de l'évaluation, compte tenu des coûts attachés à l'usage de ces techniques, ces combinaisons demeurent limitées.

Analyse coût - efficacité

Une analyse coût-efficacité peut être faite pour l'un des critères pris en compte dans l'analyse multicritère.

Analyse SWOT

L'analyse SWOT faite préalablement à une analyse multicritère peut aider dans la définition des critères de choix.

Panel d'experts

Le panel d'experts sur un sujet très technique peut aider le groupe de négociation à affiner son jugement sur ce sujet, à participer aux pondérations, etc.

Outils d'observation

Des études de cas, des enquêtes par questionnaire ou des entretiens de groupe peuvent fournir des informations de base nécessaires au " groupe ", facilitant de fait le choix des critères et leur notation.

Quelles sont les ressources nécessaires pour mettre en peuvre l'analyse multicritère?

Les ressources en temps

L'analyse prend généralement du temps, sauf dans des situations très simples ou pour recueillir des avis a posteriori. Dans les situations ex ante d'aide à la décision, les analyses multicritères durent, en général, plusieurs mois.

Les ressources humaines

En dehors de cas très simples, l'analyse multicritère implique la contribution de plusieurs catégories d'acteurs. 

Le groupe de négociation ou de jugement et le facilitateur

L'analyse multicritère implique principalement les acteurs suivants :

  • le groupe de négociation (en planification) ou de jugement (en évaluation) - appelé dans la suite de ce document "groupe" - : ce sont les personnes qui apportent la connaissance et leurs points de vue sur le sujet analysé.
  • le facilitateur : il assiste le groupe dans la conduite des différentes phases de l'analyse. Il connaît bien la méthode et peut dans des cas d'oppositions fortes à l'intérieur du groupe de négociation, débloquer les situations.
Groupe technique

Selon l'ampleur et la technicité de la mission, d'autres acteurs peuvent participer à l'analyse multicritère :

  • un assistant technique qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères (ex : logiciel d'analyse multicritère ou Systèmes d'information géographique) et qui a également en charge de produire des données facilement compréhensibles par un auditoire de non-spécialistes,
  • des experts chargés de collecter des données pour le compte du groupe de négociation, en vue de compléter l'information, au fur et à mesure de l'exercice.

Les ressources financières

Les ressources financières peuvent être d'ampleur très variable. Dans le cadre de l'évaluation de l'aide au développement, une analyse multicritère considérée comme faisable signifie qu'elle est simple et peu coûteuse.
Toutefois, dans le cadre de l'évaluation ex ante, selon les budgets alloués, l'analyse multicritère peut devenir lourde, d'une ampleur comparable à celles menées dans le cadre de l'aide à la planification ou à la décision dans les programmes d'aménagement.

.

COMMMENT METTRE EN OEUVRE L'ANALYSE MULTICRITERE?

.

Etape 1 : choix du domaine d'application de la logique d'intervention 

Choix du domaine d'application

Dans le cadre de l'évaluation, l'analyse multicritère n'est généralement pas employée sur l'ensemble des sujets à évaluer. Il convient donc souvent de préciser d'abord à quel domaine de l'évaluation elle s'applique.

Identification de la logique d'intervention

Une fois le domaine d'application établi par l'équipe d'évaluation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas. Il est en effet capital que, dans un exercice où les acteurs vont avoir à juger des actions en concurrence, la logique de l'intervention soit parfaitement claire et connue de tous.

Etape 2 : choix du (ou des) groupe(s) de négotiation ou de jugement

Sélection des membres du groupe

L'analyse multicritère est basée sur des notations et des choix de préférence effectués par des individus appartenant au groupe de négociation (lorsqu'il s'agit de planification) ou au groupe de jugement (dans le cadre de l'évaluation).

Ceci implique donc la sélection d'un tel " groupe " par l'équipe d'évaluation pour conduire l'analyse.
Ce choix est à la fois crucial et complexe. Les acteurs du domaine étudié peuvent être issus de deux principales catégories. 

Les acteurs " simples "

Les acteurs " simples " sont ceux qui sont concernés par le domaine parce qu'ils sont touchés par le programme (ex : bénéficiaire ou victime), ce sont également les techniciens du sujet, des responsables administratifs en rapport avec le domaine, etc. 

Les délégués des " acteurs simples "

Les délégués peuvent être des élus (territoriaux ou professionnels), des responsables d'ONG (ex : association des personnes affectées, de protection de l'environnement, de défense des consommateurs, de représentation des intérêts des femmes, etc.), des responsables administratifs en lien étroit avec le domaine, des représentants de bailleurs impliqués dans ce même domaine, etc.
C'est dans cette deuxième catégorie que sont en général choisis les membres du " groupe ".

Compétences des membres du groupe
Ces derniers doivent être suffisamment au courant du sujet à débattre et surtout être convaincus que leur point de vue pourra être discuté et remis en question par d'autres.

Représentativité des membres du groupe

L'équipe d'évaluation doit veiller à ce que tous les groupes d'acteurs ayant un rapport avec les actions comparées soient bien représentés et de manière équitable.

Possibilité de choisir plusieurs groupes

Dans certaines évaluations, deux groupes distincts sont constitués. Un groupe de spécialistes capables de noter les actions comparées par rapport au critère de jugement (ex : capacité de telle action à assurer une bonne survie des entreprises aidées) et un groupe de responsables qui, à un niveau plus décisionnel, assure la pondération des critères de jugement. Cette forme de structuration du " groupe " sera peu développée dans les évaluations pays dans la mesure où elle complexifie l'organisation de l'étude et peut augmenter son coût.

Nécessité d'un accord entre les membres sur l'objectif global

Un point capital pour que ce groupe puisse fonctionner est qu'il doit y avoir accord entre les membres sur l'objectif global de l'intervention (ex : améliorer la protection de l'environnement naturel de telle zone). S'ils ne sont pas d'accord sur cet objectif, alors il sera difficile de travailler sur les objectifs spécifiques (ex : protéger la biodiversité forestière) et encore moins sur les objectifs opérationnels ou actions permettant de réaliser cet objectif (ex : promouvoir la certification de gestion forestière durable, créer des réserves naturelles, etc.).

Etape 3 : choix de l'équipe technique chargée d'appuyer le groupe de jugement

Selon l'ampleur et la complexité des études, cette équipe peut être de taille plus ou moins importante.

Le facilitateur

Missions principales

Un acteur clé du dispositif dont il est impossible de se passer est le facilitateur. Son rôle est capital car il est impensable de trouver un " groupe " capable de mener seul un tel exercice.

Celui-ci a pour missions principales de :

  • circonscrire le sujet de l'analyse et clarifier la problématique étudiée,
  • assister les participants dans la reconstitution du cadre logique du projet ou du programme étudié,
  • participer à la définition des actions, variantes ou scénarios à intégrer dans l'analyse multicritère,
  • aider le " groupe " dans l'identification des critères de jugement et ensuite dans l'élaboration des règles de pondération,
  • aider le " groupe " dans la notation des actions par critère,
  • décider, en accord avec le " groupe ", de réaliser des études complémentaires menées par des experts, pour éclairer les décisions du " groupe ",
  • assurer si nécessaire la relation avec l'assistant technique qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères,
  • coordonner la conduite du processus d'analyse dans sa globalité, en maintenant la cohésion du " groupe " et en s'assurant de la participation de tous.
Compétences requises

Le choix du facilitateur doit se baser sur son expérience dans ce type d'intervention. Une bonne connaissance du domaine étudié est un plus. Il est important que le facilitateur connaisse parfaitement bien les biais possibles de la méthode afin d'éviter de formuler des résultats erronés. Les opérations mathématiques peuvent en effet avoir une certaine opacité pour les membres du groupe (ex : différence de classement entre deux actions entre une somme pondérée et un produit pondéré).

Dans le cadre de l'évaluation pays, il est indispensable que le facilitateur ait une bonne habitude du contexte de l'aide au développement.

L'assistant technique et les experts

L'assistant technique

C'est la personne qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères.

En effet, la plupart du temps, pour les analyses multicritère importantes, le recours à des logiciels de calcul et parfois de cartographie est nécessaire. Le maniement de tels outils nécessite bien entendu une qualification particulière. Il est donc indispensable d'avoir recours à un assistant technique connaissant l'usage de ces outils. Par ailleurs, il est important que cet assistant ait la capacité de formuler les résultats de telle façon qu'ils soient facilement compréhensibles de tous. 

Les experts

Il peut arriver que le " groupe " ait besoin d'informations supplémentaires au cours de l'analyse, pour pouvoir poursuivre son travail (ex : précision sur les effets sur l'environnement de telle action). Dans ce cas, il est nécessaire d'avoir recours à un ou plusieurs experts compétents en la matière.

Le recours peut se limiter à un avis. Dans certains cas, il peut aller jusqu'à la conduite d'études plus approfondies.

Etape 4 : établissement de la liste des actions en concurrence à intégrer dans l'analyse multicritère

 

Choix des actions à comparer

L'analyse multicritère, selon ses objectifs, aidera à comparer :

  • des scénarios ou des solutions potentielles dans un exercice de planification ou d'évaluation ex ante (ex : des mesures susceptibles de réduire la pauvreté),
  • des variantes d'un aménagement (ex : choix de la localisation d'un port, du tracé d'une route, etc.),
  • des actions mises en œuvre dans un programme (ex : avis sur différentes actions d'un même programme d'éducation).

Le choix de ces solutions à comparer est évidemment crucial et doit être compris de tous les participants. Des solutions peuvent parfois être simples à visualiser (ex : deux tracés routiers différents reportés sur carte), d'autres sont plus complexes (ex : différentes modalités d'aides à des entreprises).

Le facilitateur doit donc s'assurer que les membres du " groupe " ont tous bien compris le contenu de chacune des actions à comparer.

Production d'une liste d'actions

A la fin de cette quatrième étape une liste des actions, des scénarios ou des variantes entrant dans l'analyse sera produite.

Définition du contenu des actions

Dans certaines méthodes, cette liste peut être enrichie au fur et à mesure par un processus de réflexion itératif qui permet à la fois de choisir la solution optimale (ou consensuelle selon les cas) et d'affiner le contenu de ces actions.

La définition des actions peut, dans certains exercices, être particulièrement longue et sophistiquée. Toutefois, l'évaluateur intervient souvent après cette étape pour, dans le cadre d'une évaluation ex ante par exemple, aider à faire des choix parmi les actions possibles d'un programme.

Etape 5 : identification et sélection des critères de jugement

Cette étape est centrale dans l'analyse multicritère. Elle peut être très technique et doit au minimum répondre à certaines règles.

Les règles de choix des critères

Caractéristiques générales des critères

Les règles de base pour la définition des critères peuvent être résumées ainsi :

  • les critères doivent être définis avant de réaliser l'analyse, à partir des règles connues et acceptées de tous,
  • ils doivent tenir compte de tous les points de vue exprimés par les membres du " groupe ", (ex : préoccupations économiques de certains acteurs et écologiques d'autres),
  • ils ne doivent pas être redondants entre eux (ex : une même préoccupation ne doit pas être prise en compte dans plusieurs critères),
  • ils doivent former un ensemble cohérent qui aboutit à des résultats plausibles et incontestables.
Exemple : le concours de recrutement en entreprise

Lorsqu'une entreprise cherche à recruter un salarié d'un niveau donné, sa direction peut faire passer un concours aux candidats et utiliser les critères suivant :

  • l'obtention à un examen écrit organisé par l'entreprise, de notes minimales dans quelques matières importantes,
  • une appréciation des motivations et de l'expérience lors d'un entretien d'embauche,
  • le niveau de salaire demandé par le candidat.

Dans cet exemple, les critères sont simples à comprendre et facilement acceptables par tous. Ils sont établis avant le concours de recrutement si bien qu'aucun biais de préférence d'un membre de l'entreprise pour un candidat ne peut s'opérer ensuite. La direction s'est assurée au préalable qu'en son sein tous les points de vue sur le mode de recrutement étaient bien pris en compte.
Les critères ne sont pas par ailleurs redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Ils sont cohérents, c'est-à-dire que si deux candidats sont à égalité sur deux des trois critères, le troisième permettra de départager les candidats sans susciter de réclamation.
Cet exemple volontairement simplifié, montre la logique de construction des critères dans une situation courante.

Les familles de critères

Quatre familles de critères

Les critères peuvent être très variés. Dans la bibliographie sur l'analyse multicritère, il est courant de trouver les quatre familles de critères suivantes, facilement applicables à tous les domaines :

  • économiques,
  • environnementaux,
  • sociaux ou organisationnels,
  • légaux et politiques.

A ces familles, peuvent s'ajouter si nécessaire des critères technologiques liés en particulier à la fiabilité de certaines technologies et des critères d'utilité du programme.

Critères dans le domaine de l'aide au développement

Certains exemples par famille peuvent être donnés dans le domaine de l'aide au développement et selon les familles :

  • critères économiques : coût de l'action, capacité d'une action à créer des entreprises viables, à créer des emplois, à faire rentrer des devises, à réduire la pauvreté, etc.,
  • critères environnementaux : capacité d'une action à améliorer la qualité de l'eau, à permettre le recyclage des déchets, à sauvegarder tel groupe d'espèces végétales, etc.,
  • critères sociaux : acceptabilité sociale de l'action, adéquation aux pratiques locales, effet de l'action sur les minorités, capacité d'une action à améliorer le taux d'alphabétisation, à améliorer la santé maternelle, le ratio fille garçon en classe, etc.,
  • critères légaux et politiques : risques politiques que comporte une action, conformité de l'action aux règles nationales, etc.

Comment construire les critères avec le groupe ?

Cette étape de l'analyse est la plus souvent pilotée par le facilitateur. Il s'assure entre autres que les règles d'établissement sont respectées et que le système proposé est cohérent et complet.

Techniques de choix des critères

Les techniques sont très variées depuis le " brain storming " jusqu'à la liste préétablie par le facilitateur ou par des sous-groupes techniques de travail.

A l'issue de l'exercice, qui peut parfois être long, tous les points de vue doivent être intégrés d'une manière ou d'une autre dans le système de critères.

Sauf si le " groupe " n'a pas une bonne connaissance du sujet et oublie des points importants, le système de critères peut être jugé complet quand plus aucune réclamation n'est formulée par le " groupe ". Ceci intervient généralement lorsque chaque membre du groupe dispose d'un critère pour lequel l'action qu'il préfère arrive en tête.

Utilisation des familles de critères

Pour être sûr de ne pas oublier de critère il est important de se référer aux familles de critères.

-Exemple : critères de l'analyse multicritère d'un programme de gestion de déchets urbains

A titre d'exemple, les critères suivants pourraient être choisis pour l'évaluation ex ante d'une série d'actions d'un programme de gestion des déchets urbains dans un pays en développement :

  • Critères économiques : prix des installations de collecte et de traitement, coûts des transports, coûts de personnel et de maintenance, etc.
  • Critères environnementaux : sensibilité à la pollution des sites de stockage, contrôle des émissions de fumées, surface nécessaire au projet, etc.
  • Critères sociaux ou organisationnels : nécessité de déplacements de populations, implication des bénéficiaires, nécessité de recours à l'assistance technique, etc.
  • Critères légaux et politiques : conformité des futures installations aux lois et règlements du pays, opportunités d'emplois locaux, acceptabilité des installations par les populations locales, etc.

Chacun des critères peut, si besoin, être décomposé en sous critères, par exemple l'implication des bénéficiaires peut être décomposée en sous critères du type : consentement à payer, consentement à fournir une partie du travail, etc.

Etape 6: détermination du poids relatif de chaques critères

Méthodes de pondération des critères

Objectifs de la pondération

Une fois les critères établis, une des règles de l'analyse multicritère est de pondérer ces critères entre eux afin, de prendre en compte leur importance relative aux yeux des acteurs.

Dans l'enseignement secondaire, le cas des coefficients affectés aux matières lors de l'évaluation des élèves est un exemple simple de pondération des critères. Telle matière est jugée plus importante qu'une autre, son poids dans la moyenne sera donc supérieur.

Certaines analyses multicritères partent d'un consensus sur les poids des critères (ex : les grilles d'appels d'offres publics où les règles de jugement fixent à l'avance le poids des critères). Le groupe de jugement qui est alors la commission d'appel d'offres se limite à attribuer à chaque offre, des notes par critère.

Dans la plupart des cas, le poids des critères ne fait pas l'objet d'un consensus. Il est donc possible pour chaque acteur de donner un poids différent à chaque critère.

Cette étape peut alors révéler, tout comme l'étape du choix des critères, d'importantes divergences d'opinion entre les acteurs.

Méthode de pondération par l'utilisation de coefficients

L'exemple le plus connu d'utilisation des coefficients est celui de l'évaluation des élèves durant leur cursus scolaire.

Dans les cas les plus simples, on peut demander au " groupe " de placer sur une échelle cardinale les critères en affectant, par exemple, des coefficients (ex : chaque critère est affecté d'un coefficient entre 1 et 5 qui reflète son poids).

L'attribution d'un montant total de points à répartir, par chaque acteur, entre les différents critères (ex : 20 points au total à placer au choix sur 6 critères) est aussi une solution simple. Dans ce dernier cas, une attention particulière doit être portée au fait qu'il n'y ait pas de note 0 donnée à un critère si la méthode du produit pondéré a été adoptée.

Tableau de pondération des 6 critères utilisant des coefficients

Acteur A Acteur B Acteur C Pondération moyenne Niveau de consensus par critère
8 6 10 8 Moyen
3 2 1 2 Bon
2 6 1 3 Faible
1 1 1 1 Fort
5 4 3 4 Bon
1 1 4 2 Faible
20 20 20

Ce tableau montre comment des acteurs peuvent répartir leurs points sur des critères, à partir d'un montant maximal de 20. La colonne de droite du tableau montre le niveau de consensus ou d'opposition qu'il peut y avoir entre les acteurs autour d'un critère.

Méthode du " jeu de cartes "

Pour les cas plus complexes, différentes méthodes ont été élaborées pour aider à la formalisation de ces pondérations (ex : méthode Macbeth, Matrice de résistance, etc.).

Parmi les méthodes, l'une d'entre elles est à la fois assez simple pour être comprise de tous et suffisamment élaborée pour tenir compte de notions telles que l'égalité, la préférence et la nette préférence. Cette méthode appelée jeu de cartes, se déroule de la façon suivante :

  • tous les critères sont reportés sur des cartes de type cartes à jouer, il est possible de laisser des cartes blanches (sans aucune inscription de critères),
  • chaque membre du groupe reçoit une série de cartes par critère et autant de cartes blanches qu'il le désire,
  • la règle est qu'il classe les critères par ordre (en général d'importance décroissante). Deux possibilités intéressantes lui sont offertes par cette méthode : la première est qu'il peut mettre plusieurs critères à égalité, la seconde est qu'il peut insérer plusieurs niveaux de cartes blanches entre deux critères, marquant ainsi sa différence de préférence entre les critères.
  • deux règles simples doivent être choisies par tous au départ : l'une sur le nombre de niveaux de cartes admis (ex : on n'admet pas plus de 8 niveaux de classement des critères) et l'autre sur la manière de noter (ex : l'écart entre la meilleure et la moins bonne note ne peut excéder un rapport de 5). L'exemple suivant retient ces valeurs.

Ainsi, on obtient un classement entre les critères dont la pondération reflète assez finement la notion de préférence.

La méthode du " jeu de cartes "


Dans cet exemple, les notes de différents niveaux possibles reflètent l'écart décidé : les 8 niveaux se distribuent linéairement des notes entre 5 et 1. Aux yeux de l'acteur x, les critères C1 et C5 sont les plus importants, mais il n'a pas de préférence entre eux. Le C7 est bien classé mais l'acteur a voulu marquer sa différence d'importance avec les deux premiers en insérant une carte blanche. Ainsi de suite jusqu'au C6 qui est le critère le moins important pour lui et tellement moins qu'il l'a séparé des précédents par trois cartes blanches.

Instauration de seuils de veto, d'indifférence et de préférence

Définition de seuils de veto

Certains critères peuvent avoir une importance telle qu'ils ne peuvent pas être traités de la même manière que les autres. C'est le cas des critères pour lesquels peut s'appliquer la notion de seuil de veto. Ils peuvent être en valeur absolue ou relative, intervenir seuls ou en série, etc. selon les choix faits par le groupe.

-Exemples

Ainsi dans un examen il peut être exigé des candidats pour obtenir le diplôme d'avoir plus de 10 de moyenne mais également pas moins de 5 à chaque matière. Il y a ici deux seuils de veto qui interviennent en série.

Des valeurs relatives peuvent intervenir, par exemple, dans des variantes de prix entre deux projets ou deux offres. Il peut ainsi être décidé comme critère que, quel que soit l'écart de qualité entre les projets, le prix du meilleur projet ne pourra jamais être supérieur au double du suivant.

-Seuil de veto imposé par la réglementation

Des seuils de veto correspondant à des exigences réglementaires peuvent également intervenir. Si par exemple dans l'étude de plusieurs variantes autoroutières, les études détaillées conduites au fur et à mesure du processus de précision du tracé montrent qu'une variante détruit un biotope rare alors l'exigence réglementaire agit comme seuil de veto et cette variante est éliminée.

Définition de seuils de préférence et d'indifférence

Les seuils de préférence et d'indifférence méritent également d'être définis, surtout dans les analyses longues et complexes.

Il peut arriver que des acteurs ne disposant pas de référentiel commun sur ces sujets n'appliquent pas les règles de la même manière, ce qui peut parfois conduire à des biais

Ainsi par exemple, si ces seuils ne sont pas clairement définis en amont, deux acteurs ayant des avis très proches peuvent classer deux actions l'un au même niveau et l'autre à des niveaux différents, parce que les seuils de préférence et d'indifférence n'auront pas été assez bien définis.

Ces seuils doivent donc être bien clairs par critère pour chaque acteur. Ces seuils sont généralement établis en fonction du degré de précision des données qui permettent de mesurer le critère.

Test de la sensibilité

Objectifs

Il est important lorsque l'on a construit avec le " groupe " l'ensemble du système préparant l'analyse, de tester sa sensibilité. Ce test consiste à observer l'effet de modifications des paramètres choisis par le " groupe ", sur les résultats de l'analyse.

L'ensemble des règles fixées par le " groupe " peut ainsi être testé afin de voir par exemple, si des variations de notation de performances par critère, de pondération, d'agrégation de sous critères dans un critère, de définition d'un seuil, etc. ont un effet important ou non sur les résultats de l'analyse.
Dans les analyses longues et complexes des tests peuvent se faire à plusieurs étapes du processus. 

Utilité d'un logiciel

Ces tests peuvent être assez faciles si l'analyse est conduite à l'aide d'un logiciel permettant de restituer instantanément les résultats de ces simulations.

Avantage du test

Au-delà de la vérification du bon fonctionnement du système établi, ces tests qui doivent, de préférence, être pratiqués avec les membres du " groupe ", ont un effet très didactique et participent à la démonstration de la fiabilité du système.

Etape 7 : jugement par critère

Une fois les critères établis, il convient pour chaque acteur de juger chaque action à comparer au regard de chacun des critères.

Etude des impacts des actions au regard des critères

En évaluation ex ante

Dans le cadre de l'évaluation ex ante, cette étude est prospective. Elle peut être basée sur des avis d'experts, sur des statistiques ou selon la complexité du sujet sur des modèles pré-établis.

Ainsi, on tente à ce stade, de donner des valeurs aux impacts de chaque action au regard du critère ( ex : au critère "effet de l'action sur la sécurité routière", on va tenter d'apporter une réponse en terme de diminution du nombre d'accidents de la route). 

En évaluation ex post

Dans le cadre de l'évaluation ex post, le même exercice que dans une évaluation ex ante peut être conduit à partir des résultats obtenus. Parfois ce type de statistique peut faire défaut, dans ce cas, les données seront reconstruites à partir d'avis d'experts. 

Exemple : mise en œuvre par des experts d'une étude des impacts

Tableau des résultats de l'étude des impacts des actions au regard des critères

Action A
Action B
120 220
Fort Faible
Plus forte que pour B Moins forte que pour A

Cette évaluation peut être quantitative (ex : nombre d'emplois créés) mais aussi qualitative (ex: au critère " impact sur le paysage " la réponse peut être faite sur une grille du type " faible, moyen, fort ").

L'évaluation peut également être relative, par exemple au critère " acceptabilité sociale de telle action " il peut être simplement répondu que l'action A selon tel acteur est plus acceptable que l'action B.

Les résultats qui sortent de cette analyse d'impacts peuvent donc être de nature très diverse, être issus de calculs techniques très poussés ou plus simplement d'avis d'experts.

Notation et jugement des actions par critère

La notation et, in fine, le jugement porté sur chaque action par rapport à chaque critère, est le résultat du travail précédent.

Ce jugement est fait par le " groupe ", alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié.

L'intérêt de cette étape est d'arriver au final à doter chaque action d'une note par critère. Cette notation permet de comparer à la fois les actions entre elles et les avis entre acteurs, pour une même action. 

Transformation des jugements qualitatifs en valeur

Pour faciliter les calculs, si on n'a pas recours à des logiciels autorisant toutes les possibilités de l'analyse multicritère, la transformation des avis qualitatifs en valeur permet de faciliter la suite de l'analyse, même si cette opération conduit parfois à un appauvrissement de la qualité de l'information détenue. 

Exemple de notation des actions

Suite à l'étude des impacts menée par des experts concernant deux actions jugées au regard de 3 critères (nombre d'emploi créé, l'impact sur le paysage et le risque d'opposition de la population), leur notation en valeur peut poser certaines difficultés.

Le nombre d'emplois créés pourrait être ordonné dans des classes avec attribution d'une note à chaque classe, soit 1 pour aucun emploi créé, puis 2 pour la création de 1 à 50 emplois, etc. jusqu'à une notation maximum définie par le groupe : par exemple 5.

Le traitement de la notion relative à l'opposition de la population, qui peut être moins forte pour une action est plus délicat à transformer en valeur. Une façon de contourner cette difficulté est d'arriver à faire exprimer aux acteurs leur perception de l'écart entre deux situations.

Si dans l'exemple cité, le risque d'opposition de la population qui existe est plus forte pour A que pour B, est-il possible de décrire leur degré d'écart (ex : faible, moyen, fort, très fort, etc.)? 

Utilisation de logiciels adaptés

Le développement des outils informatiques d'aide à la réalisation d'analyse multicritère permet d'intégrer facilement ces notions de préférence, auxquelles aucune valeur absolue n'est attachée.

Etape 8 : agrégation des jugements

Les risques dans les méthodes de codage des données

C'est un point crucial de l'analyse et c'est loin d'être le plus facile à réussir.

Vérification des possibilités d'agrégation

Une fois les actions notées par critère, la tentation est grande d'appliquer les opérations mathématiques simples pour comparer les actions. Or, il est nécessaire de maîtriser les méthodes employées, sinon le risque est élevé d'aboutir à des incohérences et à des résultats peu ou pas crédibles.

Il faut d'abord vérifier que toutes les données fonctionnent dans le même sens par rapport à la préférence des acteurs du groupe (ex : la surface d'un ouvrage est préférée lorsqu'elle est plus réduite). L'usage de notations par critère utilisant des classes (ex : classe de surface d'emprise) ou un rang (ex : action classée première sur tel critère) permettent de relativiser les écarts entre critères.

Cependant, le risque d'aboutir à des résultats peu satisfaisants demeure. Il est important à ce stade de tester si plusieurs manières de conduire l'opération aboutissent ou non à des résultats similaires ou extravagants (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre).

Méthodes d'agrégation des jugements
-Somme pondérée

La somme pondérée s'applique parfaitement à des mesures de valeurs réelles, comparables entre elles. En revanche, cette méthode d'agrégation devient vite incertaine lorsqu'elle cumule des valeurs de nature différente. 

Si la somme pondérée est maintenue par le " groupe " comme manière d'agréger les résultats, cela signifie que ceux-ci reconnaissent en fait que toutes les compensations sont possibles entre critère.

-Produit pondéré

Le produit pondéré est également souvent utilisé. Malgré les risques mathématiques, son usage permet de mieux tenir compte des extrêmes. Il permet en cela de mieux considérer ce que certains membres du " groupe " pensent comme non ou mal compensable. Par ailleurs, le veto peut être exprimé ici par une valeur égale à zéro d'une note sur un critère.

-Exemple d'analyse des résultats selon la méthode d'agrégation

Le tableau ci-dessous montre le résultat d'une analyse simple sur trois actions et trois critères notés à partir de notes comprises entre 0,05 et 1, en utilisant la somme pondérée et le produit pondéré.

Tableau de comparaison entre les résultats d'une analyse
multicritère utilisant la somme pondérée ou le produit pondéré


Ce tableau montre que le résultat de l'analyse n'est pas le même selon que l'on utilise la somme pondérée ou le produit pondéré.
L'introduction de la valeur 0 dans le produit pondéré aboutirait à éliminer l'action et agirait comme un veto.

Ce tableau met également en évidence la relative fragilité de ces approches, même si ces méthodes sont couramment employées par exemple pour la notation des élèves en classe ou dans les attributions d'appel d'offres.

D'autres approches mathématiques sont pratiquées pour tenter de retirer les biais comme ceux relevés dans l'exemple. Celles-ci peuvent toutefois être très techniques et requérir l'appui d'un spécialiste, en particulier pour connaître les limites de leur usage.

L'approche par le surclassement

Concepts de bases pour qualifier la préférence des acteurs

Les spécialistes de l'analyse multicritère se sont rapidement heurtés à des difficultés lorsque les actions en compétition étaient peu, voire pas comparables entre elles (ex : dans un programme de santé une action de vaccination et une action d'information).

Dès lors, trois concepts de base pour qualifier la préférence ont été développés dans les analyses multicritères plus récentes :

  • la préférence, qui marque clairement le choix d'un acteur pour une action plutôt qu'une autre,
  • l'indifférence, lorsque l'acteur n'arrive pas à distinguer de manière suffisamment nette deux actions,
  • l'incomparabilité qui représente la difficulté que rencontre un acteur à comparer deux actions entre elles. La notion de surclassement est alors basée sur le fait qu'entre deux actions incomparables ou difficiles à comparer, un acteur va se prononcer sous la forme suivante : " l'action A est au moins aussi bonne ou pas pire que l'action B ".
Mise en oeuvre
-Utilisation de logiciels

Les méthodes ayant recours à ces concepts très subtils, indispensables dans une analyse des préférences, sont toutes basées sur des logiciels qui facilitent grandement l'élaboration des résultats, du test de sensibilité, des démarches itératives, etc. et qui évitent les lourdeurs de calculs (Quels sont les avantages et les limites de l'analyse multicritère ?)

-En évaluation

Dans le cadre de l'évaluation ex ante, de tels outils peuvent être utilisés pour aider dans des programmations le justifiant sur le plan financier. Dans les évaluations de stratégies d'aide extérieure, où l'évaluateur n'intervient réellement ni en ex ante, ni en ex post, où les délais sont toujours très courts et les moyens limités, l'emploi de tels outils paraît plus difficile.

Construction du tableau de performance

Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur). 

Cas d'une pondération consensuelle des critères 
S'il s'agit d'un travail dans le cadre d'un groupe consensuel (ex : direction d'une entreprise) et/ou travaillant avec des critères aux poids identiques pour tous (ex : professeurs pour la notation des élèves en classe), le tableau des performances représente le résultat de l'analyse multicritère.

Tableau des performances dans le cas d'une pondération identique des critères

 


Cas d'une pondératin des facteurs

Si l'analyse multicritère est faite à partir d'une pondération propre à chaque acteur, alors une interprétation des tableaux de performance est nécessaire et un retour éventuel vers le " groupe " pour pouvoir progresser à nouveau dans l'analyse est possible.

Ce retour peut se faire à partir :

  • d'une simple restitution au groupe des jugements de chaque membre du " groupe " si aucune négociation n'est liée à l'analyse multicritère, ce qui est peut être le cas en évaluation,
  • d'une recherche de la meilleure ou des meilleures solutions pour le " groupe ". Différentes techniques existent : en éliminant les actions les moins bonnes (celles qui ont les scores les plus bas ou le minimum de préférence) ou en essayant de trouver les meilleures (maximum de préférence). Ces techniques souvent itératives à ce stade ont pour but de tendre vers un certain consensus.

.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

  • Cahiers Means : Evaluer les programmes socio-économiques. Fonds Structurels communautaires. Collections Means. 1999
  • ROY, Bernard, BOUYSSOU, Denis : Aide multicritère à la décision : méthodes et cas
  • MAYSTRE Lucien Yves, BOLLINGER Dominique. Aide à la négociation multicritère. Pratique et Conseils. Presses polytechniques et universitaires romandes. 1999.
  • SCHARLIG A, Décider sur plusieurs critères, panorama de l'aide à la décision multicritère. Presses polytechniques et universitaires romandes. 1990.

Par ailleurs, plusieurs logiciels existent pour aider à mener ces analyses comme la série des Electre, Prométhée, etc.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
Le domaine d'application de l'analyse a-t-il été clairement délimité ?  
Un groupe représentatif des différentes prises de position par rapport à l'objet de l'analyse a-t-il été constitué ?  
La liste des alternatives à comparer par l'analyse multicritère a-t-elle été validée par des bénéficiaires et par des experts du domaine ?  
Le contenu de chaque alternatives a-t-il été clairement expliqué aux membres du " groupe " ?  
La cohérence du système de critère a-t-elle été vérifiée ?  
Les familles " habituelles " de critères (économiques, environnementaux, sociaux et politiques) sont-elles toutes représentées dans la liste produite ?  
Mise en œuvre
 
Les règles pour l'établissement de la liste des critères d'évaluation ont-elles été bien expliquées aux membres du " groupe " ?  
Les tests de sensibilité de l'ensemble du système de critères ont-ils été concluants ?  
Les biais mathématiques relatifs à l'agrégation des jugements ont-ils été évités ?  
Chaque membre du groupe a-t-il pu produire son jugement de manière indépendante ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Le recours à l'analyse multicritère a-t-il été justifié par une question précisément identifiée ?  
Le groupe constitué pour l'analyse était-il représentatif de tous les acteurs concernés par le projet ?  
Les tests de la sensibilité de l'ensemble du système de critères ont-ils été concluants ?  
Un tableau de performance a-t-il été établi ?  
Le résultat attendu de l'analyse a-t-il pu être obtenu de façon suffisamment fiable pour être utile à l'évaluation ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité

Analyse coût-efficacité

.

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

L'analyse coût-efficacité est un outil d'aide à la décision. Il a pour but d'identifier la voie la plus efficace, du point de vue économique, d'atteindre un objectif. Dans le cadre de l'évaluation, l'analyse permet de discuter l'efficacité économique d'un programme ou d'un projet.

Si l'on considère un programme qui a pour objectif majeur la création d'emplois, l'analyse coût-efficacité visera à estimer le nombre d'emplois créés par ce programme duquel le coût de chaque emploi pourra être déduit. Le cas échéant, la comparaison entre plusieurs programmes poursuivant le même objectif permettra de comparer les coûts induits par chaque pour un emploi créé. Cette comparaison fournit des indicateurs quantitatifs tangibles à la discussion sur le choix des méthodes comparées.

L'analyse coût-efficacité permet de comparer des politiques, des programmes ou des projets entre eux. Elle confronte plusieurs alternatives, notamment dans le but de savoir celle qui permet d'obtenir un résultat donné pour le coût le moins élevé.

L'analyse coût-efficacité peut contribuer à apporter des réponses aux questions suivantes :

  • Quel est le coût d'un programme ou d'une mesure, rapporté à un élément concret lié à son objectif ?
  • Est-il préférable d'investir des ressources dans une intervention plutôt qu'une autre pour atteindre l'objectif donné ?
  • Quel type d'intervention ou quelle association d'interventions procurent les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ?
  • Comment allouer au mieux les ressources, étant donné les besoins concurrentiels entre les programmes?
  • A quel niveau un investissement supplémentaire peut-il améliorer nettement le résultat d'une intervention ?

Quels usages peut-on faire de l'analyse coût-efficacité ?

Spécificités de l'analyse coût-efficacité :

  • L'efficacité est mesurée en fonction d'un résultat unique qui est l'effet principal attendu de l'intervention analysée.
  • C'est une méthode d'analyse économique : elle mesure l'efficacité selon des indicateurs des résultats attendus ou atteints et non en fonction de la valeur monétaire de ces résultats.
Encadré 1 - Schéma global des usages de l'analyse coût-efficacité

L'analyse coût-efficacité contribue efficacement à l'évaluation de projet, de programme ou à l'évaluation sectorielle lorsque l'objectif majeur de la politique peut être réduit en un résultat unique. C'est un instrument d'analyse économique des objectifs opérationnels à ces différents niveaux.

L'analyse coût-efficacité peut être utilisée :

  • En évaluation ex ante comme outil d'aide à la décision, pour orienter les choix.
    Selon les cas, l'outil peut servir Selon les cas, l'outil peut servir (i) à animer la réflexion préalable à la décision des décideurs, (ii) à faire ressortir des préférences à des groupes représentant différentes catégories de bénéficiaires ou d'acteurs impliqués dans les secteurs où l'intervention est envisagée.
  • En évaluation ex post pour juger a posteriori de l'efficacité économique d'une intervention
  • En évaluation intermédiaire pour actualiser les résultats ex ante et effectuer des choix entre diverses options de poursuite d'une intervention

Comment mettre en oeuvre l'analyse coût-efficacité?

Encadré 2 - Schéma global de mise en œuvre de l'analyse coût-efficacité

Vérifier la pertinence de l'analyse au regard du programme

S'il n'est pas possible d'exprimer l'effet attendu du programme sous la forme d'un résultat prioritaire précis ou si cette priorité ne peut pas être exprimée sous la forme d'unités quantifiables homogènes, il est préférable de ne pas avoir recours à l'analyse coût-efficacité.

La méthode est bien adaptée aux actions dont les résultats attendus sont clairement identifiés et dont les coûts directs et indirects sont aisément mesurables.

Identifier l'accessibilité et la fiabilité des données

Pour réaliser une analyse coût-efficacité, l'évaluateur a besoin de disposer de données fiables, c'est-à-dire :

  • en évaluation ex-post, la possibilité de mesurer les résultats obtenus,
  • en évaluation ex-ante, une modélisation possible, sur des bases rigoureuses, des résultats effectivement susceptibles d'être atteints.

Déterminer le critère d'efficacité et élaborer l'indicateur pertinent

Le choix du critère sur lequel sera mesurée l'efficacité est en relation directe avec l'objectif principal de l'intervention.

  • Dans le cas d'une intervention dont les objectifs peuvent être résumés par un objectif principal unique, l'identification du critère d'efficacité ne doit pas présenter de difficulté particulière.
  • En revanche, pour une intervention dont les objectifs sont multiples, ce choix peut justifier des débats visant à retenir un objectif principal de l'intervention qui sera l'objet de l'analyse coût efficacité.

Par exemple, pour une intervention visant à améliorer l'efficacité de l'enseignement fondamental, le critère d'efficacité retenu peut être l'accroissement du niveau moyen des connaissances fondamentales acquises au cours du cycle primaire. Soulignons que d'autres critères pourraient se révéler plus pertinents selon le contexte dans lequel l'intervention est mise en œuvre.

La mesure de cet accroissement peut s'appuyer sur l'évolution des notes obtenues par les élèves dans l'ensemble des matières ou être limité aux deux matières jugées les plus importantes. On peut aussi imaginer un test appliqué à tous les élèves issus de l'enseignement primaire pour mesurer cet accroissement.

Comment évaluer le coût total du programme ?

Additionner les coûts directs

Dans ce mode de calcul, seuls les coûts directs investis dans l'intervention sont pris en compte. Dans le cadre d'intervention de l'aide publique au développement, il s'agit le plus souvent de coûts financiers : subventions, transferts financiers, diminutions de taxes, financements de projets ou d'activités, etc.

Prendre en compte des coûts indirects

La prise en considération des coûts indirects s'avère nécessaire à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention.

Exemple de coûts indirects dans un programme de santé :

Perte de production : temps pris par le patient sur son temps de travail pour aller se faire vacciner

Coûts sociaux : aménagement des horaires et des conditions de travail d'une femme enceinte dans le cadre d'un programme de lutte contre la prématurité

Prendre en compte d'autres types de coûts

Lorsque d'autres coûts importants sont induits par la mise en œuvre du projet, il peut s'avérer nécessaire d'ajouter un niveau de complexité dans le calcul des coûts. Par exemple en prenant en compte la perte de gains ou de bénéfices résultant du fait de ne pas avoir utilisé à d'autres fins ces financements publics (coût de perte d'opportunité).

Comment mesurer les effets du programme ?

Evaluation ex ante

L'évaluateur doit prévoir de façon rigoureuse les résultats quantitatifs prévisibles de la mesure. Selon la complexité de l'intervention, le recours à une méthode de simulation peut s'avérer nécessaire. 

Evaluation ex post

L'évaluateur peut utiliser des techniques empiriques s'il dispose de données primaires suffisamment nombreuses et fiables. Lorsque ce n'est pas le cas, il lui faut estimer les résultats quantitatifs effectivement obtenus à partir de données secondaires.

Comment mettre en rapport les coûts avec l'efficacité ?

L'analyse nécessite de disposer d'éléments stables sur lesquels repose la comparaison :

  • entre différentes interventions aux objectifs similaires dans un même pays,
  • entre des interventions de même nature dans des contextes similaires,
  • des résultats obtenus avec une situation sans intervention, etc.
En comparant des programmes

Lorsque l'on compare des programmes aux résultats identiques, c'est le critère du coût comparatif qui est utilisé comme paramètre.

Lorsque l'on compare, pour un même objectif, différents types d'interventions au coût identique, l'analyse repose sur des éléments qualitatifs.

Quelles sont les ressources nécessaires?

Encadré 3 - Les ressources nécessaires
En temps Le temps nécessaire à la mise en œuvre de l'analyse est fonction des données techniques et financières disponibles. Lorsqu'elles sont accessibles, l'analyse peut être conduite en quelques jours. Dans le cas contraire, les données peuvent se révéler longues à réunir.
Humaines L'analyse peut être menée par les évaluateurs. Il est souhaitable que l'un deux ait déjà participé à une telle analyse. Les évaluateurs devront s'assurer la collaboration d'experts dans le pays concerné, notamment pour s'assurer la pertinence du critère retenu.
Financières Selon les données disponibles, la collecte et la reconstitution des données peuvent exigées des ressources importantes. Ne pas oublier de prendre en compte le coût des experts

Quels sont les avantages et les limites de l'outil?

Encadré 4 - Les avantages et les limites
Avantages Un outil de l'évaluation ex ante simple et efficace pour comparer différentes mesures ou programmes aux objectifs identiques.

Un outil pédagogique et de communication qui ramène les résultats obtenus à un indicateur quantifiable unique.

Une visibilité de l'efficacité d'une intervention.

Limites L'analyse coût-efficacité se concentre sur une seule dimension, l'effet principal. La mesure de l'efficacité des résultats attendus de l'intervention est donc simplifiée. Pour des interventions visant un large objectif dont la réalisation repose sur des effets parallèles, l'analyse se révèle inadaptée ou trop partielle.

Une analyse de l'efficacité et non de la pertinence.

La démarche s'avère plus lourde et plus complexe dans un cadre ex-post que dans une situation ex-ante car la mise en œuvre d'une intervention induit des coûts et des effets non prévus à l'origine. La collecte des données relatives aux effets et aux coûts non prévus impose souvent un exercice difficile.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité > Outil détaillé

Outil détaillé

.

Structure de la section:

.

DEFINITION

.

Qu'est ce que l'analyse coût efficacité?

Une méthode comparative d'évaluation économique

Objectifs

L'analyse coût-efficacité a pour but d'identifier la manière la plus efficace, du point de vue économique, de réaliser un objectif préétabli. En se focalisant sur un résultat majeur attendu d'une action, par exemple le nombre d'emplois créés, elle est utilisée pour identifier l'efficacité d'un programme rapporté à son coût.

Définitions

Les coûts représentent les dépenses estimées pour la mise en œuvre du programme. L'efficacité en évaluation est le rapport entre les résultats obtenus et les objectifs. Le cheminement de l'analyse coût-efficacité repose sur l'estimation du coût d'obtention d'un résultat. En reprenant l'exemple ci-dessus, l'analyse viserait à estimer le coût de chaque emploi créé par telle ou telle action. 

Un outil de comparaison

La méthode permet de comparer des politiques, des programmes ou des projets entre eux. Par exemple, comparer les coûts de différents programmes dont les effets sont identiques, ce qui bien sûr impose d'identifier des situations suffisamment proches pour que la comparaison soit pertinente. Inversement, pour des actions d'un coût identique, la méthode compare les effets attendus ou obtenus de ces différentes actions. La méthode permet ainsi de confronter plusieurs alternatives, notamment dans le but de choisir celle qui est la plus apte à obtenir un résultat donné pour le coût le moins élevé.

Les domaines d'application

Aide à la décision

L'analyse coût-efficacité est essentiellement utilisée dans le cadre de l'aide à la décision des politiques et programmes publics ainsi que des investissements publics et privés. Certains secteurs ont plus particulièrement développé l'utilisation de la méthode pour comparer des politiques relativement complexes. C'est notamment le cas pour la santé, l'éducation, l'environnement, l'emploi ou encore la sécurité routière. La méthode peut cependant être utilisée dans tous les secteurs.

On observe que sa mise en œuvre peut s'avérer relativement complexe dans certains contextes, particulièrement lorsque des résultats de nature différente sont attendus simultanément d'une même action. 

Analyse d'actions

D'une façon générale, la méthode est plus simple à utiliser pour analyser des actions dont les contours sont clairement délimités, notamment dont les coûts et les effets sont aisément identifiables. Elle se révèle en revanche nettement plus lourde, particulièrement pour ce qui concerne la collecte d'informations, pour l'analyse d'actions qui mobilisent des ressources d'origines et de natures diverses et peu pertinente pour des actions dont les effets sont multiples et difficilement hiérarchisables.

Quelles sont les spécificités de l'analyse coût efficacité?

Place de l'analyse coût-efficacité dans la " famille " des outils d'évaluation économique

L'analyse coût-efficacité appartient à une famille d'outils d'analyse économique visant à estimer intrinsèquement ou comparativement l'efficacité ou l'efficience d'une politique ou d'un programme.

Différents outils d'analyse économique pour comparer des programmes d'intervention

Type d'analyse

Définition

Critère d'efficacité

Conditions d'emploi

Analyse de minimisation des coûts Analyse du coût minimal d'une intervention par comparaison avec plusieurs programmes Aucun Utilisée quand on estime (ou qu'on suppose) que l'effet des interventions comparées est identique
Analyse coût-efficacité L'impact est évalué au moyen d'indicateurs précis, quantifiés et homogènes, mais non monétaires Unités physiques quantifiables (utilisées comme critère de mesure des résultats) Utilisée quand l'effet des interventions peut être exprimé au moyen d'une variable principale pour laquelle on dispose d'un indicateur quantifiable
Analyse coût-utilité L'impact est mesuré par rapport à l'utilité du service ou de l'intervention pour les personnes concernées Unités d'utilité (mesurant la valeur d'usage des résultats pour les utilisateurs et les bénéficiaires) Utilisée quand l'effet des interventions comporte au moins deux dimensions majeures (ou plus)
Analyse coût-avantages Les effets de l'intervention sont exprimés en termes monétaires, et traduits sous la forme d'un taux Unités monétaires Utilisée quand on veut comparer des interventions différentes dans des situations différentes

A cette famille d'outil d'analyse économique, certains auteurs ajoutent l'analyse coût-faisabilité dont l'objectif est de juger de la faisabilité d'une politique à partir de l'estimation des coûts qu'elle engendre.

L'efficacité mesurée selon un résultat unique

Pour mesurer l'efficacité d'une politique ou d'un programme, la méthode est focalisée sur un seul résultat, l'effet principal attendu de l'intervention analysée. Volontairement, la méthode ne tient pas compte des autres effets de la politique ou le programme analysé, que ce soit des effets recherchés ou non. 

En se concentrant sur une seule dimension, la mesure de l'efficacité des résultats attendus de l'intervention est donc simplifiée. Cet aspect n'est pas un obstacle lorsque l'analyse porte sur une intervention dont l'objectif principal et le résultat attendu sont clairement identifiés, voire évidents. En revanche, pour des interventions visant un objectif large, dont la réalisation repose sur des effets parallèles, donc sur plusieurs résultats concomitants, l'analyse se révèle inadaptée ou trop partielle.

Le choix de la variable unique est évidemment une des difficultés de l'analyse.

Exemple du choix d'un résultat significatif


Une mesure effectuée sur des bases physiques et non monétaires

L'autre spécificité de l'analyse coût-efficacité est de mesurer l'efficacité selon des indicateurs reflétant les résultats attendus ou atteints et non pas en fonction de la valeur monétaire de ces résultats. A la différence de l'analyse coût-avantages, l'analyse coût-efficacité ne comporte donc pas d'évaluation monétaire des résultats. Il s'agit d'une méthode d'analyse économique et non pas financière. 

L'analyse produit le coût unitaire d'un résultat attendu. Par exemple, pour un programme santé, on pourra s'intéresser à la diminution d'une pathologie en terme de nombre de personnes concernées :

  • combien coûte l'éradication de cette pathologie pour une personne ?
  • combien coûte l'éradication de cette pathologie dans un programme d'éducation à l'accroissement de la proportion de lettrés ?
  • à quel coût le programme permet-il d'augmenter de 1 % la proportion de population alphabétisée ?

Quelles sont les questions auxquelles l'analyse coût efficacité peut répondre?

L'analyse coût-efficacité peut contribuer à apporter des réponses aux questions suivantes :

  • Quel est le coût d'un programme ou d'une mesure, rapporté à un élément concret lié à son objectif (ex : coût par enfant scolarisé) ?
  • Est-il préférable (ou bien a-t-il été préférable) d'investir des ressources dans une intervention plutôt qu'une autre pour atteindre l'objectif donné ?
  • Quel type d'intervention ou quelle association d'interventions procurent (ou auraient procuré) les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ?
  • Comment allouer au mieux les ressources, étant donné les besoins concurrentiels entre les programmes (ou comment aurait-il fallu les allouer) ?
  • A quel niveau un investissement supplémentaire peut-il (ou aurait-il permis de) améliorer nettement le résultat d'une intervention ?

.

POURQUOI ET QUAND UTILISER L'ANALYSE COÛT EFFICACITE?

.

Quels sont les usages possible de l'analyse coût efficacité en évaluation?

Dans le cadre de l'évaluation de politique de coopération, l'analyse coût-efficacité peut être utilisée comme un outil d'évaluation de projet, de programme ou d'évaluation sectorielle lorsque la politique s'y prête. C'est un instrument d'analyse économique des objectifs opérationnels à ces différents niveaux. En revanche, il n'est pas adapté à l'analyse de la stratégie pays, sauf ci celle-ci était concentrée sur un objectif unique dont la réalisation s'appuierait sur un résultat principal clairement identifiable. Il n'est en ce sens qu'un outil de contribution à l'analyse de la cohérence de l'aide.

Schéma de l'utilisation possible de l'analyse coût-efficacité selon l'évaluation


En début d'évaluation

Il peut être utile de choisir en début d'évaluation des programmes ou projets qui pourront faire l'objet d'une analyse coût-efficacité. Cette sélection de programmes, correspondant aux objectifs prioritaires de coopération et dont les effets sont mesurables en unités homogènes, peut en effet constituer un garde-fou précieux pour éviter aux évaluateurs de se perdre ensuite dans des analyses d'efficacité et d'impact " digressives ".

Cette sélection, réunissant les conditions nécessaires à la mise en œuvre de l'analyse coût-efficacité, conduit les responsables à identifier un résultat prioritaire attendu auquel correspond un indicateur simple et quantifiable. De ce fait, cette sélection constitue un moyen de focaliser l'évaluation sur des grandes questions et enjeux prioritaires de la stratégie de coopération.

Le fait d'analyser sous l'angle " coût-efficacité " implique de préciser au préalable quelles sont les problématiques prioritaires des stratégies de coopération et de cerner les programmes pour lesquels il est possible de mesurer des résultats quantitatifs précis.

Pour évaluer les choix d'allocation des ressources

L'élaboration et la négociation de stratégies de coopération nationale nécessitent de répartir des ressources forcément limitées entre les programmes. De nombreux facteurs interviennent pour orienter l'allocation des ressources, notamment les questions de sensibilité, d'acceptabilité, d'équité et d'efficacité.

Dans ce contexte, l'analyse coût-efficacité constitue un outil utile à la comparaison des stratégies d'allocation des ressources, en comparant les coûts et les résultats des principales interventions qui les caractérisent.

Pour définir des priorités de planification stratégique

L'analyse coût-efficacité constitue un instrument précieux pour définir des priorités de planification stratégique. Elle permet aux décideurs de fixer des priorités en fonction des coûts et des conséquences (en termes de résultats quantitatifs simples) de différentes initiatives possibles pour atteindre un objectif pré-défini.

Pour animer un débat complexe

L'exercice de priorisation des résultats attendus, ainsi que de quantification et d'homogénéisation des indicateurs de résultat constituent des étapes nécessaires dans le cadre d'une évaluation pays.

En utilisant la méthode coût-efficacité pour mettre en exergue des résultats prioritaires attendu quantifiables et mesurables, les évaluateurs peuvent débattre avec les décideurs, mais aussi avec d'autres interlocuteurs concernés, de priorités des stratégies d'intervention et des impacts déterminants recherchés ou obtenus.

En évaluation pays, le processus de débat avec les responsables suscité par la mise en œuvre de l'analyse coût-efficacité s'avère parfois aussi utile que les conclusions que cette analyse permet de tirer.

Dans quel type d'évaluation peut-on utiliser l'analyse coût efficacité?

La conduite d'une analyse coût-efficacité dans les contextes, ex-ante, intermédiaire et ex-post, soulève des difficultés méthodologiques différentes et une collecte d'information plus complexe dès que l'intervention est en phase de réalisation.

En évaluation ex ante

L'analyse coût-efficacité est en premier lieu destinée à l'aide à la décision. Elle permet de juger du bien fondé économique de la décision de réaliser une intervention, ou dans le cas où un choix entre plusieurs interventions doit être fait, de connaître l'intervention économiquement la plus efficace. C'est donc d'abord dans les évaluations ex-ante, afin de juger de la pertinence économique d'une mesure à prendre, que cette analyse trouve sa place.

En évaluation ex post

L'analyse peut être mise en œuvre dans le contexte d'évaluation ex-post, où elle peut contribuer à juger a posteriori de l'efficacité économique d'une intervention. Pour une même intervention l'analyse ex-post peut donner des résultats sensiblement différents de l'ex-ante, notamment du fait que des coûts non prévus à l'origine se soient avérés nécessaires pour sa réalisation ou encore que les résultats observés s'avèrent différents des résultats escomptés.

En évaluation intermédiaire

L'analyse peut s'avérer très utile dans le cadre d'une évaluation intermédiaire, notamment pour actualiser les résultats ex-ante et le cas échéant effectuer des choix entre diverses options de poursuite d'une intervention.

Quels sont les avantages et les limites de l'analyse coût efficacité?

 

Quels sont ses avantages ?

Un outil de l'évaluation ex ante

L'analyse coût-efficacité constitue un bon outil, simple et efficace pour comparer différentes mesures ou programmes aux objectifs identiques. Elle constitue un outil appréciable d'évaluation ex ante pour faciliter le choix entre différentes interventions au regard de leur coût.

Un outil pédagogique et de communication

L'analyse coût-efficacité ramène les résultats obtenus à un indicateur quantifiable unique. Elle oblige donc à exprimer un seul objectif prioritaire d'une intervention de façon simple et concrète. Aussi présente-t-elle une valeur pédagogique et de communication importante.

Visibilité de l'efficacité d'une intervention

L'analyse coût-efficacité permet de rendre simplement compte aux bénéficiaires et aux décideurs du coût des résultats attendus d'une intervention. Les décideurs s'avèrent donc souvent très intéressés par cette expression concrète et simple des objectifs d'une intervention.

Quelles sont ses limites ?

Une analyse des résultats directs et simples

L'analyse coût-efficacité est focalisée sur le résultat direct principal de l'intervention. La focalisation sur l'effet principal se traduit notamment par l'absence de prise en compte des effets indirects. L'analyse coût-efficacité compare les coûts à des résultats immédiats, en négligeant les effets à plus long terme.

Cette méthode n'est donc utilisable que pour comparer ou évaluer des programmes aux résultats " simples ", c'est-à-dire relativement homogènes, obéissant à une priorité claire et quantifiable. Or les programmes ou interventions centrés sur un effet direct prioritaire et simple s'avèrent relativement rares.

Dans le cas où une intervention entraîne des résultats secondaires et/ou indirects, l'utilisation d'une analyse coût efficacité peut s'avérer inopportune, voire malencontreuse. Le fait de négliger ces effets peut en effet conclure à la sous estimation des coûts engendrés par ces effets, sous-estimation qui peut s'avérer importante et de nature à favoriser une mauvaise appréciation de la situation.

Une analyse de l'efficacité et non de la pertinence

L'analyse coût-efficacité permet de juger si une intervention est économiquement efficace, et plus particulièrement si comparativement à d'autres interventions elle est plus efficiente. En revanche, elle ne permet pas de statuer sur la pertinence ou sur l'intérêt qu'il y a à mettre en place et poursuivre cette intervention. 

Difficultés de l'évaluation ex-post

Dans le cadre d'une évaluation ex post, mener une analyse coût-efficacité suppose de disposer de données fiables sur les coûts réels de l'intervention et sur les résultats effectivement obtenus.

Selon la diversité des ressources mobilisées pour une intervention, il peut se révéler très lourd, voire impossible, de recueillir les données permettant d'apprécier l'ensemble des coûts qui ont été mobilisés pour la réalisation d'une intervention. De même si l'observation des résultats attendus n'a pas été prévue et effectuée de façon régulière, dans le cadre d'une mesure de suivi de la mise en œuvre du programme, la collecte de ces données peut s'avérer complexe ou approximative.

En tout état de cause, la démarche s'avère plus lourde et plus complexe dans un cadre ex-post que dans une situation ex-ante, du fait que la mise en œuvre d'une intervention induit des coûts et des effets non prévus à son origine. La collecte des données relatives aux effets et aux coûts non prévus impose souvent un exercice difficile.

Avec quels outils peut on combiner l'analyse coût efficacité?

Analyse coût-avantages

L'analyse des résultats ne se limite pas aux seuls résultats positifs directement obtenus. L'évaluateur gagne à quantifier aussi les effets négatifs, ainsi que les effets indirects et les effets multiplicateurs. Il est difficile de mesurer ces derniers avec exactitude, mais l'évaluateur a intérêt à les estimer afin de donner une image plus exacte des résultats effectivement obtenus. Ces estimations peuvent être réalisées par une analyse coût-avantages.

Analyse multicritère

Pour évaluer des programmes ou des stratégies de coopération nationales ou régionales aux objectifs et aux effets nombreux et complexes (directs et indirects, positifs et négatifs), l'évaluateur doit utiliser des méthodes de pondération des résultats. Il peut être préférable de combiner ou d'avoir uniquement recours à d'autres méthodes qui intègrent cette complexité comme notamment l'analyse multicritère. L'analyse coût efficacité peut alors constituer un préalable utile à une analyse multicritère.

.

COMMENT METTRE EN OEUVRE L'ANALYSE COÛT - EFFICACITE?

.

Etape 1: définir les conditions de mise en oeuvre de l'analyse coût-efficacité

Conditions de mise en oeuvre de l'analyse coût-efficacité


Vérifier la pertinence de l'analyse au regard des objectifs du programme

Cette première étape permet de vérifier si l'analyse coût-efficacité constitue effectivement un outil pertinent d'analyse pour le programme en question.

S'il n'est pas possible d'exprimer l'effet attendu du programme sous la forme d'un résultat prioritaire précis ou si cette priorité ne peut pas s'exprimer sous la forme d'unités quantifiables homogènes, il est préférable de ne pas avoir recours à l'analyse coût-efficacité.

Identifier l'accessibilité et la fiabilité des données

Une autre précaution est indispensable avant de commencer l'analyse coût-efficacité : il convient de vérifier l'accessibilité et la fiabilité des données sur les coûts comme sur l'indicateur quantitatif de résultat obtenu ou escompté. En effet, pour réaliser une analyse coût-efficacité, l'évaluateur a besoin de disposer de données fiables, c'est-à-dire :

  • en évaluation ex-post, une quantification possible des résultats obtenus,
  • en évaluation ex-ante, une modélisation possible, sur des bases rigoureuses, des résultats effectivement susceptible d'être atteints.

Déterminer le critère d'efficacité et élaborer l'indicateur pertinent

Choix du critère d'efficacité

Une fois confirmée la faisabilité de l'analyse coût-efficacité, le choix du critère sur lequel sera mesurée l'efficacité est en relation directe avec l'objectif principal de l'intervention.

Dans le cas d'intervention dont l'objectif est clairement identifié, l'identification du critère d'efficacité ne doit pas présenter de difficulté particulière. En revanche, pour une intervention dont l'objectif est assez large - par exemple une intervention visant à améliorer l'efficacité de l'enseignement fondamental - ce choix peut justifier des débats visant à identifier l'objectif principal de l'intervention - par exemple réduire le nombre d'illettrés ou plutôt accroître le niveau moyen des connaissances fondamentales acquises au cours de la scolarité dans le primaire ou encore accroître le nombre d'enfants fréquentant l'enseignement primaire-.

Le choix du critère conditionne la qualité du jugement produit par l'analyse coût-efficacité. Dans les cas où cela s'avère nécessaire, ce choix peut être fait dans le cadre d'un atelier de type " focus group " réunissant les acteurs impliqués et compétents de l'intervention. Pour un programme d'ampleur national, le choix du critère d'efficacité peut être élaboré dans le cadre d'un " panel d'experts ", auprès de spécialistes de la question.

Exemple du choix du critère d'efficacité

Objectifs du projet

Critère d'efficacité

  • Réduire la consommation de drogues par individu
  • Augmenter le nombre de diplômés du secondaire
  • Améliorer le niveau des élèves du secondaire au Brésil
  • Améliorer le niveau de lecture chez les adultes illettrés
  • Kilogramme de cocaïne consommés par individu
  • Nombre d'élèves ayant réussit le Certificat du secondaire
  • Résultat des tests en portugais et en mathématiques
  • Résultat des tests par adulte ayant bénéficié d'un programme d'alphabétisation

D'après : " Cost-effectiveness analysis ", 2000, p.110.

Choix de l'indicateur pertinent

L'élaboration de l'indicateur dépend de plusieurs facteurs. Dans de nombreux pays, la rareté et la fiabilité réduite des sources statistiques limitent les possibilités de choix. Il peut donc s'avérer indispensable de se doter de moyens d'observation nécessaires à la production de l'indicateur.

Dans le cas, par exemple, d'une intervention visant à améliorer l'efficacité de l'enseignement fondamental, le critère d'efficacité retenu peut être l'accroissement du niveau moyen des connaissances fondamentales acquises au cours du cycle primaire. La mesure de cet accroissement peut résulter d'une observation de l'évolution des notes obtenues par les élèves dans l'ensemble des matières, ou plutôt dans les deux matières jugées les plus importantes (lecture/écriture et mathématiques), ou encore résulter d'un test identique appliqué à tous les élèves issus de l'enseignement primaire, etc.

Dans la plupart des interventions, le choix de l'indicateur peut influer de façon déterminante sur les conclusions de l'analyse. Il est donc recommandé d'effectuer ce choix dans le cadre d'un " focus group ", voire si nécessaire d'un panel d'experts, similaire à celui du choix du critère d'efficacité.

Si, dans les cas les plus simples un seul " focus group " suffit à déterminer le critère et l'indicateur, dans les cas plus complexes, il peut être souhaitable de laisser un laps de temps pour arrêter le choix du critère et donc d'organiser une seconde séance de travail pour le choix de l'indicateur.

Etape 2 : évaluer le coût total du programme

Additionner les coûts directs

Dans le cadre d'analyse d'intervention de l'aide publique au développement, la méthode la plus simple et la plus couramment utilisée consiste à additionner toutes le ressources publiques utilisées pour le programme. Dans ce mode de calcul, seuls les coûts directs investis dans l'intervention sont pris en compte. Il s'agit le plus souvent de coûts financiers : subventions, transferts financiers, diminutions de taxes, financements de projets ou d'activités, etc.

Exemple de calcul des coûts directs


Prendre en compte des coûts indirects

La prise en considération des coûts indirects, comme par exemple les coûts des ressources humaines mobilisées pour la maîtrise d'ouvrage des programmes correspondent à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention. Cette prise en compte des coûts indirects s'avère nécessaire lorsque ceux-ci représentent une part significative des ressources mobilisées par l'intervention.

Cependant cette prise en compte peut se révéler complexe, il convient donc en premier lieu d'apprécier l'importance relative de ces coûts par rapport aux coûts directs de l'intervention, afin de décider si leur prise en compte est déterminante dans l'analyse.

Exemple de calcul des coûts indirects


Prendre en compte d'autres types de coûts

Il peut s'avérer nécessaire d'ajouter un niveau de complexité dans le calcul des coûts en prenant en compte le manque de gains ou bénéfices provoqué par le fait de ne pas avoir utilisé à d'autres fins ces financements publics (c'est le coût de perte d'opportunité). 

Cette méthode d'estimation des coûts est justifiée dans la mesure où des alternatives à l'utilisation des ressources sont clairement identifiées, ce qui de fait est rarement le cas.

Exemple de calcul d'autres coûts


Etape 3 : mesurer les effets du programme

Il s'agit de l'étape la plus complexe.

Condition préalable : la nature des informations

La façon dont l'évaluateur mesure les effets d'un programme dépend de la nature des informations dont il dispose.

Evaluation ex ante

Dans le cas d'évaluation ex-ante, l'évaluateur doit prévoir de façon rigoureuse les résultats quantitatifs prévisibles de la mesure. Selon la complexité de l'intervention, le recours à une méthode de simulation peut s'avérer nécessaire. 

Evaluation ex post

En évaluation ex-post, l'évaluateur peut utiliser des techniques empiriques s'il dispose de données primaires suffisamment nombreuses et fiables. Lorsque ce n'est pas le cas, il lui faut estimer les résultats quantitatifs effectivement obtenus à partir de données secondaires.

L'analyse peut nécessiter de procéder de manière suivante :

  • effectuer des pondérations pour tenir compte de différents effets ou variables secondaires,
  • définir des critères et méthodes pour quantifier certains éléments qualitatifs. A priori seuls des éléments quantitatifs sont utilisables pour réaliser une analyse coût-efficacité, mais il peut parfois être nécessaire et judicieux de quantifier des variables à priori qualitatives : quantification de résultats de politiques environnementales par exemple,
  • ramener à une unité quantitative unique et homogène des données quantitatives de nature diverse.
Exemples

Exemple de mesure des effets


Etape 4: mettre en rapport les coûts avec l'efficacité

Comparaison

L'analyse nécessite de disposer d'éléments stables sur lesquels repose la comparaison :

  • entre différentes interventions aux objectifs similaires dans un même pays,
  • entre des interventions de même nature dans des contextes similaires,
  • des résultats obtenus avec une situation sans intervention, etc.
Comparaison de programmes aux résultats identiques

Lorsqu'il s'agit de comparer des programmes différents aux résultats identiques, l'analyse est assez simple puisque c'est le critère de coût comparatif qui est utilisé comme paramètre. 

Comparaison de programmes aux coûts identiques

Lorsqu'on compare, pour un même objectif, différents types d'interventions au coût identique, l'analyse peut devenir plus délicate.

La comparaison entre des indicateurs de résultats quantitatifs différents repose en partie sur des éléments qualitatifs. Par exemple, lorsqu'il s'agit de comparer le nombre de personnes soignées dans un cas et le nombre de malades évités dans l'autre, en vue d'évaluer le coût-efficacité relatif de mesures curatives et préventives dans le domaine sanitaire.

Décision

La décision est alors politique. Le rôle de l'évaluateur est d'utiliser l'outil " coût-efficacité " comme un moyen d'aide à la décision, pour l'éclairer et la faciliter. 

Elaborer et animer la réflexion

Selon les cas, l'outil peut servir :

  • pour animer la réflexion préalable à la décision des décideurs,
  • pour faire élaborer des préférences à des groupes représentant différentes catégories de bénéficiaires ou d'acteurs impliqués dans les secteurs où l'intervention est envisagée.
Compléter avec l'analyse multicritère

Pour animer un débat entre des acteurs représentants des catégories différentes d'intérêt et les aider à progresser ensemble dans le choix de priorités, l'analyse coût-efficacité ne peut suffire, elle est alors combiner avec l'analyse multicritères. L'analyse coût-efficacité constitue dans ce cas une première étape de l'analyse multicritère.

Exemple

Exemple d'un rapport coût-efficacité


.

EXEMPLES

.

.

BIBLIOGRAPHIE

.

  • " Analyse coût-efficacité et VIH/SIDA ", ONUSIDA, collection Meilleures Pratiques, Août 1998.

  • Levin H. M., McEwan P.J., " Cost-effectiveness analysis ", 2nd edition, Methods and Applications, Sage Publications, Londres, New Delhi, 2000.
  • Macmillan D. et Morrison R., " Analyse coût-efficacité de la création d'un écosystème de terres boisées ", XIè Congrès forestier mondial, octobre 1997, Turquie.
  • " Méthodologie de l'évaluation économique des programmes de santé ", site de MEDCOST.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
Les évaluateurs ont-ils précisé clairement les hypothèses préalables qui les ont conduit à mener cette analyse coût-efficacité ?  
Le choix du critère de comparaison a-t-il été discuté et débattu avec les responsables et partenaires de la politique évaluée (ou du secteur analysé) ?  
L'indicateur retenu informe-t-il le critère de façon complète?  
Le choix de cet indicateur a-t-il été discuté avec les responsables et les partenaires du secteur ?  
Mise en œuvre
 
A-t-on été capable de décrire de façon précise et rigoureuse ce que serait la situation sans l'intervention (prévue ou réalisée) ?  
Les ressources apportées par d'autres bailleurs et par les bénéficiaires ont-elles bien été prises en compte ?  
Les coûts de l'intervention ont-ils pu être évalués avec une précision suffisante ?  
Les évaluateurs ont-ils tenu compte de l'incertitude et des marges d'erreurs dans l'estimation des coûts et des résultats ?  
Le calcul des coûts et des résultats a-t-il été ajusté dans le temps ?  
Tous les effets ont-ils été bien pris en compte ?  
Les effets qualitatifs ont-ils été quantifiés ?  
Des erreurs ou des omissions dans l'estimation des coûts ou des effets ont-elles pu invalider les résultats ?  
Les différences entre les alternatives sont-elles suffisantes pour argumenter la prise de décision ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

L'analyse coût-efficacité a-t-elle permis de formuler un jugement nécessaire à l'évaluation ?  
Le choix du critère de comparaison a-t-il été discuté et débattu avec les responsables et partenaires de la politique évaluée (ou du secteur analysé) ?  
Les évaluateurs ont-ils tenu compte de l'incertitude et des marges d'erreurs dans l'estimation des coûts et des résultats ?  
Le calcul des coûts et des résultats a-t-il été ajusté dans le temps ?  
Tous les effets qualitatifs ou quantitatif ont-ils été pris en compte ?  
Les différences entre les alternatives sont-elles suffisantes pour argumenter la prise de décision ?  

.

Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse culturelle et sociale

Analyse culturelle et sociale

.

Structure de la section:

.

 QU'EST CE QUE L'ANALYSE CULTURELLE ET SOCIALE?

.

Définition générique

L'analyse culturelle et sociale est construite à partir d'apports de la sociologie et de l'anthropologie.

Dans l'ouvrage fondateur " Economie et société ", Max Weber définit la sociologie comme " une science dont l'objet est de comprendre, par interprétation, l'activité sociale pour ensuite, expliquer les chaînes causales du déroulement de cette activité ainsi que ses effets " (Weber, 1922).

Sans entrer plus avant dans des considérations théoriques, disons que la sociologie étudie les groupes qui composent les sociétés, les processus d'interaction entre ces groupes et les effets de ces interactions dans différentes sphères telles que l'économie, le droit, l'éducation, etc. Par ailleurs, l'évolution biologique et culturelle de l'humanité est le sujet d'étude de l'anthropologie, qui interroge les significations symboliques des pratiques sociales, qu'elles soient de l'ordre de l'économique, du domestique ou du rituel. Ainsi pour étudier les faits culturels et sociaux, les deux disciplines de référence sont l'anthropologie et la sociologie.

Dans le domaine du développement

Dans le domaine du développement, l'apport de la sociologie et de l'anthropologie repose sur les travaux de quelques sociologues et anthropologues dont le plus connu est Michael Cernea. Celui-ci a introduit l'application de la sociologie et de l'anthropologie du développement à la Banque Mondiale dans les années soixante dix et a publié, depuis, un grand nombre de travaux dans lesquels il met en avant le rôle constructif des sciences sociales dans les stratégies de développement.

" Pour mettre en pratique les principes fondamentaux de l'analyse sociale, pour prévoir et concevoir, le sociologue ou l'anthropologue du développement dispose des connaissances nécessaires en matière d'organisation sociale et de systèmes culturels pour induire un développement moins douloureux et plus performant " (Cernea, 1995).

Le premier sommet mondial pour le développement social qui s'est tenu à Copenhague en mars 1995 est une référence majeure pour l'analyse culturelle et sociale dans le domaine du développement.

Définition appliquée à l'évaluation pays

L'analyse culturelle et sociale appliquée à l'évaluation pays, consiste à aborder la société du pays sous l'angle de ce qui la structure et l'anime. L'analyse culturelle et sociale s'attache à dégager les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêt et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent.

L'analyse culturelle et sociale s'intéresse non seulement aux structures de base mais aussi aux facteurs d'introduction du changement dans les sociétés, que ceux-ci aient une origine endogène ou exogène. Elle permet ainsi de comprendre les rapports entretenus, par les sociétés dans leur ensemble, ou par les groupes spécifiques qu'elles contiennent, avec le développement et la coopération.

Par cette démarche, il s'agit d'apporter à l'évaluation, une compréhension de la façon dont les dynamiques propres à une société, les hiérarchies sociales, les rapports sociaux de sexe, les croyances religieuses, les représentations en vigueur concernant le travail, l'argent, la richesse, la pauvreté influent sur les possibilités de recevoir et de mettre en œuvre des programmes de coopération.

.

POURQUOI ET QUAND UTILISER L'ANALYSE CULTURELLE ET SOCIALE?

.

Quand faut-il utiliser l'analyse culturelle et sociale en développement ?

Analyse des changements sociaux et des blocages au développement

L'analyse culturelle et sociale devrait être l'un des instruments privilégiés dans la conception des stratégies et la définition des programmes. Elle permet en effet d'apprécier la capacité qu'a la structure sociale d'absorber et de valoriser les changements induits par les stratégies de développement. Elle donne aussi un aperçu sur les spécificités de telle ou telle société, à prendre en considération dans la mesure où elles sont de nature à faire échec à certains modèles importés dont les promoteurs sont peu avertis des cultures et des dynamiques propres.

" L'étude des structures sociales, dans un contexte de changements nombreux et accélérés (…) manifeste les contradictions existant entre les divers principes de structuration et d'organisation, ainsi que les décalages existant entre les aspects " officiels " de la société et la pratique sociale " (Balandier, 1985).

Pour évaluer la stratégie pays

Principalement en évaluation ex ante

L'usage le plus judicieux de l'analyse culturelle et sociale est en évaluation ex ante, dans la mesure où la connaissance des sociétés nationales est un élément sur lequel appuyer l'ensemble de la construction de la coopération. C'est donc cette partie de la méthode qui est davantage développée.

L'évaluateur cherchera à établir le cadre de référence culturelle et sociale dans lequel la stratégie de coopération et les programmes qui en découlent peuvent s'inscrire de façon plus ou moins dynamique dans telle ou telle société. Il s'agit par là de mettre en lumière les facteurs qui se prêtent aux stratégies de développement introduites par la coopération et, d'autre part, de mettre en garde les porteurs de programmes de coopération qui iraient à l'encontre de certaines caractéristiques sociales, religieuses, politiques, d'usages en vigueur et de groupes d'intérêt et qui risqueraient par là, d'aller à l'échec. 

En évaluation intermédiaire et ex post

L'usage en évaluation ex ante n'exclut pas son usage dans les évaluations intermédiaires ou ex post.

Dans les évaluations intermédiaires, l'outil peut être utilisé pour juger de la pertinence des objectifs stratégiques et des priorités des programmes.

Dans les évaluations ex post, des rapprochements seront faits entre l'analyse culturelle et sociale de départ et celle des résultats des programmes découlant de la stratégie.

Cadre de référence schématisé de l'analyse culturelle et sociale


Dans tous les cas

Les caractéristiques sociales et culturelles à prendre en compte le sont au regard de l'impact qu'elles peuvent avoir sur les stratégies de coopération. C'est à dire, sur la façon dont :

  • les populations cibles peuvent adhérer aux actions inscrites dans ces stratégies ou bien y être réticentes,
  • les responsables locaux des programmes de coopération peuvent en valoriser les effets dans le sens de l'intérêt général ou en capter les bénéfices pour des intérêts de groupes, de castes, de communautés,
  • des croyances religieuses ou des liens de subordination dans les rapports sociaux peuvent être des adjuvants ou des freins vis-à-vis des changements introduits par la stratégie de l'Union Européenne.
Combiner à l'analyse SWOT

De manière plus globale, l'analyse culturelle et sociale peut venir compléter une analyse SWOT.

Pourquoi introduire l'analyse culturelle et sociale en évaluation pays ?

Analyse des groupes sociaux concernés

La raison d'être de l'analyse culturelle et sociale en évaluation pays est de donner les moyens d'analyser :

  • Quels groupes sont visés (en évaluation ex ante) ?
  • Quels groupes ont bénéficié (en évaluation ex post) de la stratégie de l'Union Européenne ?
  • Quels groupes sont en situation inverse ? C'est-à-dire, négligés (en évaluation ex ante) ou lésés (en évaluation ex post) dans la formulation et dans la mise en œuvre de la stratégie.

Les pays sont habités par des femmes et des hommes qui sont non seulement des partenaires directs (autorités politiques, techniciens, acteurs économiques et administratifs) et indirects (bénéficiaires) des programmes et projets découlant des stratégies pays énoncées par l'Union Européenne mais aussi et avant tout des entités humaines évoluant dans un univers social déterminé.

La connaissance de la façon dont la société est structurée (systèmes de parenté, systèmes administratifs, politiques, juridiques, religieux) et organisée (rapports entre les groupes sociaux, rapport entre le politique et la société civile, pouvoir politique et pouvoir économique) est indispensable à l'évaluation.

Compréhension des dynamiques sociales face au développement

La connaissance culturelle et sociale nourrit la compréhension de facteurs qui déterminent des comportements économiques, des pratiques institutionnelles, des phénomènes de résistance au changement. Ces éléments n'apparaissent généralement pas dans les annuaires statistiques ni dans les présentations officielles, dans la mesure où les stratégies de développement ont, pendant toute une période, été pensées en dehors des structures sociales et mentales.

Or, " certains échecs (de projets de développement) sont simplement imputables à une mauvaise analyse économique, d'autres à une mauvaise compréhension des données socioculturelles ou à une méconnaissance du rôle des traditions des participants dans la réussite du projet " (Kottak, 1998).

Cette remarque, faite à propos de projets, s'applique tout aussi bien aux stratégies pays. Il faut noter, cependant, que la compréhension des données socioculturelles et du rôle des traditions est plus complexe à cette échelle ; c'est là toute la difficulté de la mise en œuvre de cet outil.

Approche globale de la société

Il est particulièrement délicat de donner des prescriptions de méthode pour l'analyse de l'organisation sociale dans le cadre d'une évaluation pays.

En effet, autant il est possible d'appréhender l'organisation sociale à l'échelle d'un projet localisé, autant il est risqué de calquer une telle démarche à l'échelle nationale - le risque étant de se perdre dans la complexité sociale.

Or, il n'est pas opportun de viser une explication globalisante, étant donné que l'évaluation n'est pas une démarche de recherche mais qu'elle utilise des éléments des sciences sociales pour juger de l'adéquation d'une stratégie de coopération et de développement à la réalité d'une société nationale.

Les éléments recherchés seront donc ceux permettant un cadrage qui restera sommaire mais qui doit néanmoins être pertinent au regard des changements qu'entraînent les stratégies de développement.

Quels sont les avantages de l'analyse culturelle et sociale ?

Avantages

Une approche transversale

L'apport de l'analyse culturelle et sociale peut être considéré comme transversal aux différents outils d'évaluation. Cet outil constitue une sorte de médiation entre les objets à évaluer et les autres outils d'évaluation.

Il contribue à fonder les jugements évaluatifs concernant la pertinence, la cohérence, l'efficacité, l'efficience et la durabilité, sur les spécificités et tendances profondes des systèmes sociaux dans lesquels sont appliqués la stratégie et les programmes de coopération.

Un renouvellement des sciences sociales appliquées au développement

L'analyse culturelle et sociale ouvre un champ de renouvellement des sciences sociales appliquées, dans la mesure où sa mise en oeuvre est encore balbutiante et ne dispose que de peu de références :

" par l'exploration de nouvelles pistes, au cours de leur travail sur les variables culturelles des programmes de développement, les chercheurs en sciences sociales appliquées se voient offrir l'une des rares occasions d'accomplir des " inventions sociales ", pour reprendre l'heureuse expression de Whyte " (Cernea, 1998).

Limites

Une méthode qui n'interroge pas les objectifs stratégiques

Une première limite est inhérente à la méthode proposée. Celle-ci consiste en effet à définir le champ de l'analyse culturelle et sociale à conduire en fonction des objectifs stratégiques.

Or, si l'outil est utilisé pour la conception de la stratégie, le champ n'est défini que par l'objectif général de l'Union Européenne, généralement indépendant du contexte concret du pays.

Si l'outil est utilisé pour l'évaluation de la stratégie, le champ se rapporte alors au système d'objectifs de la stratégie à évaluer. Mais, dans ce cas, il y a un risque de rester aveugle aux variables qui auraient pu conduire à choisir un système d'objectifs différent. 

Une méthode délicate à mettre en oeuvre

Un autre aspect à évoquer, mais qui est davantage une difficulté de l'exercice qu'une limite, réside dans la responsabilité assez étendue laissée à l'évaluateur quant aux investigations à mener.

Il est en effet possible de suggérer ici les questions à aborder, les sources d'information et la méthode de collecte et d'analyse des informations pour ce qui est du cadrage général, mais pour ce qui est des enjeux spécifiques à chaque pays considéré, l'évaluateur aura à déconstruire lui-elle même certaines formulations du CSP afin de décliner les axes du cadrage général en sous questions particulières.

Un profil de socio-anthropologue est donc requis dans l'équipe d'évaluation.

.

COMMENT METTRE EN ŒUVRE L'ANALYSE CULTURELLE ET SOCIALE ?

.

Trois domaines constituant le cadre de référence

L'évaluation ne prétend pas faire une analyse exhaustive des sociétés dans lesquelles elle a à se prononcer sur la stratégie de l'Union Européenne. Elle doit néanmoins comprendre de façon fine, dans leur spécificité, les grands traits de ces sociétés.

Les grands traits des sociétés sont recherchés dans trois domaines qui peuvent être considérés comme constituant un cadre de référence donnant accès aux principales caractéristiques d'une société et permettant de les mettre en perspective avec la problématique du développement.

Ces trois domaines sont:

  • Héritages : croyances, coutumes, patrimoine et contexte historique
  • Mutations : l'organisation sociale, juridique, politique de la société et ses bouleversements
  • Appropriations : culture, métissages et production de la modernité

Pour chacun de ces domaines, des zones d'enjeux sont identifiées et présentées ici sous forme de tableaux. Elles doivent être adaptées au contexte et déclinées en questions qui forment le questionnement de l'évaluation.

Héritages : croyances, coutumes, patrimoine et contexte historique

Définition

Les " héritages " renvoient aux principaux éléments du passé qui sont considérés, dans une société donnée, comme ayant principalement contribué à la configurer dans sa forme actuelle.

Argument

Les sociétés d'aujourd'hui sont modelées par les périodes déterminantes du passé; certains moments décisifs de l'histoire des peuples laissent des traces dans des pratiques familiales et sociales, sans qu'elles ne soient toujours explicitées.

Example
Ainsi, les stratégies en matière de planning familial dans les pays de la Caraïbe, par exemple, doivent nécessairement s'appuyer sur une prise en compte du passé esclavagiste, sachant que la marque de ce passé a joué de façon différenciée, jusqu'à aujourd'hui, selon les pays, sur les rapports de genre, la nuptialité et la fécondité.

.

Comment prendre en compte le contexte historique ?

Il ne s'agit pas ici d'accumuler des dates ni de faire œuvre d'historien mais d'être en mesure de replacer la stratégie de coopération et de développement dans une dimension diachronique signifiante.

En d'autres termes, le questionnement, dans le domaine du contexte historique, est destiné à donner à l'évaluation certains moyens d'établir des liens entre des phénomènes actuels et des événements du passé dont certains sont vivaces dans les mémoires et d'autres plus enfouis mais cependant agissants. Ce questionnement est à replacer dans la conception du développement comme processus ininterrompu de changement.

Tableau des zones d'enjeux dans le domaine des héritages.

Domaines Thèmes
L'invention de la nation Le sentiment d'unité nationale
Les langues
Les valeurs véhiculées
Les héritages idéologiques et culturels Une éthique toujours influente ?
Des traditions réinventées ?
Le Code du leadership
Le legs bureaucratique, économique et politique La culture du droit de propriété
Le poids de la bureaucratie politique
Le rapport à l'Etat et aux réformes
Religion, politique et développement Un pluralisme religieux équilibré ?
Une division religieuse du travail ?
L'influence des confessions

.

.

Mutations : l'organisation sociale, juridique, politique de la société et ses bouleversements

Définition

La confrontation de modèles sociaux et politiques entre Nord et Sud mais aussi entre pays du Sud a nécessairement des impacts sur les systèmes nationaux. C'est ce qu'il convient d'examiner sous la rubrique des mutations.

Argument

Une société n'est jamais figée et la tentative de cerner au plus près les systèmes et valeurs qui la fondent ne saurait se satisfaire d'une approche statique. La période récente est marquée par une accélération des échanges et des coopérations bilatérales et multilatérales. Sous le double effet de ces mouvements et des évolutions internes aux sociétés étudiées, certaines données sociétales évoluent.

Comment prendre en compte les mutations ?

La mise en perspective des mutations socio politiques avec la stratégie de coopération européenne repose sur la confrontation des équilibres et déséquilibres à l'échelle mondiale avec les évolutions observables dans la société étudiée.

A cet égard, il y a lieu de discerner si les changements impliqués par les stratégies de l'Union Européenne font écho à des changements survenus dans l'histoire des pays ou s'ils les ignorent.

Tableau des zones d'enjeux dans le domaine des mutations.

Domaines Thèmes
Le système politique, juridique et administratif L'organisation des pouvoirs
Les enjeux de l'Etat de droit
La Police
Les enjeux de la démocratisation L'historicité des pratiques démocratiques
Société civile et processus participatifs Une société civile dynamique ? Influente ?
Une société civile confessionnelle ?
Une société civile communautarisée ?
Historicité et modalités des pratiques participatives
Les rapports entre société civile et politique
Pauvreté, richesse et creusement des inégalités sociales Paupérisation et enrichissement
La bourgeoisie, les groupes sociaux dominants
L'impact de la libéralisation à l'échelle mondiale
Une nouvelle stratification sociale ?
Le poids de la dépendance La "soutenabilité" (durabilité) des réformes
La question des investisseurs étrangers

Empowerment: culture, cultural mixing and technology

Définition

Les cultures des peuples puisent dans le passé autant qu'elles s'abreuvent aux multiples courants qui traversent toutes les sociétés. Cette re-création permanente est à la fois source d'identité et vecteur de communication et d'échange avec d'autres peuples et d'autres civilisations.

Argument

Le fond culturel est une dimension centrale de la dynamique de coopération. Les cultures sont le terreau sur lequel reposent les phénomènes d'adaptation ou de rejet face à l'introduction du changement. En même temps, elles sont constamment renouvelées du fait d'apports internes et externes.

Comment prendre en compte les appropriations culturelles ?

Tant les lectures préalables que les observations réalisées dans le pays doivent permettre de porter attention à toutes les formes de production culturelles qui témoignent des valeurs et des aspirations de leurs auteurs et, à travers eux, des groupes sociaux, ethniques, religieux qui forment la société.

La littérature, aussi bien que la musique, les arts graphiques et plastiques, le théâtre, la danse mais aussi certaines pratiques populaires telles que la cuisine, les contes, l'artisanat d'art expriment des façons de se projeter dans un monde en mouvement et, à ce titre, ont leur place dans l'analyse du développement et de l'accueil réservé aux programmes de coopération.

Tableau des zones d'enjeux dans le domaine des appropriations.

Domaines Thèmes
Les traditions culturelles Immobilisme, vitalité, syncrétisme, modernisation ?
Traditions et modèles importés
Interférences entre pratiques religieuses et activités économiques ?
Les vecteurs de l'expression culturelle Langage, pouvoir et développement
Illettrisme et développement communautaire
Art populaire et marché international de l'art
Statut social des artistes
Place des femmes artistes
Coopération et expression culturelle
Métissages Interpénétration de différentes composantes culturelles
Part des productions culturelles dans l'image du pays à l'étranger

.

1ÈRE ÉTAPE : PHASE PRÉPARATOIRE

1/ La recherche documentaire

Il est important de préparer une mission de ce type par une recherche documentaire en amont large et approfondie qui permette aux évaluateurs de pointer les enjeux véritables, de poser les bonnes questions et de tester ensuite leurs hypothèses sur le terrain, par le biais des panels d'experts et des entretiens. Autrement dit, la quête d'informations doit se faire bien avant la mission, par la recherche documentaire.

Le recherche documentaire a pour objectif :

  • acquérir une connaissance fine de la société ;
  • pointer les véritables enjeux au sein des trois domaines de références et poser les bonnes questions (les hypothèses seront par la suite tester sur le terrain) ;
  • être capable d'animer un débat de fond ;
  • crédibiliser l'évaluateur auprès des experts par une connaissance des sujets.

Les questionnements de l'outil étant extrêmement étendus, il est nécessaire de mener la recherche documentaire avec un souci d'efficacité. Nous proposons ici une méthode pour mener cette analyse documentaire.

Les bibliographies par pays ou par thème

L'idéal est de disposer d'un répertoire bibliographique ou de bulletins signalétiques qui font le point, périodiquement, sur les publications consacrées à un pays ou une région du monde. Dans ce cas, le travail de recherche est grandement facilité par la lecture des notices bibliographiques qui permettent d'identifier rapidement les travaux pertinents pour la stratégie-pays et d'aller directement à l'essentiel. Il faut noter toutefois que ces bibliographies, lorsqu'elles sont éditées sous forme d'ouvrages, ne sont pas toujours actualisées en raison du décalage entre l'actualité éditoriale foisonnante et les délais de réalisation d'un tel index.

Les ouvrages et annuaires de type handbook avec entrée par pays et/ou par thème

Dans les cas, très nombreux, où il n'existe pas de répertoire bibliographique, nous conseillons de débuter cette recherche documentaire par la lecture d'articles de type Annuaire ou Handbook qui résument généralement assez bien l'histoire d'un pays et font régulièrement le point sur l'actualité politique, économique et sociale de celui-ci. Il en existe en français, en anglais et autres langues. L'intérêt de telles lectures est certes limité, mais il permet de se familiariser avec l'histoire du pays sans perdre trop de temps à lire des sommes historiques et, surtout, il donne souvent l'opportunité de découvrir une première bibliographie de référence.

Exemple
C'est le cas, par exemple, du l'Etat du monde (publié chaque année aux Editions de la Découverte) qui fournit, en sus des articles consacrés aux pays (rédigés par des spécialistes reconnus), des indications bibliographiques qui sont généralement pertinentes et actualisées. On peut également y trouver des liens avec des sites Internet qui peuvent être utiles.

.

Les ouvrages collectifs centrés sur un pays

Traitant pêle-mêle de l'histoire ancienne, des langues, des structures sociales, des religions, etc., ces ouvrages sont évidemment d'inégale qualité. Mais ils sont doublement précieux en ce qu'ils permettent un balayage assez rapide et exhaustif des réalités culturelles et sociales visées par l'outil et aident à affiner la recherche documentaire en fournissant des bibliographies plus spécialisées qui incitent à aller plus loin sur chacun des thèmes.

Les ouvrages de référence ou qui font débat dans un pays

Cette étape consiste en la lecture de documents plus spécialisés, par thèmes ou par discipline. Ainsi, sera-t-il utile de consulter des ouvrages ou des articles de sociologie, d'anthropologie, d'histoire, de géographie humaine, de science politique ou d'économie portant sur le pays ou une région de celui-ci. L'idéal étant d'avoir consulté une ou plusieurs références se rapportant à chacun des trois thèmes de l'analyse culturelle et sociale.

Il est important de connaître (et si possible d'avoir lu) les auteurs ayant travaillé sur le pays et leurs principaux ouvrages. Outre que cela fonde la crédibilité des évaluateurs, cela permet aussi de lancer ou de relancer les débats lors des panels autour d'une thèse connue et débattue.

Exemple (tiré de la mission test de l'outil en Tanzanie)
Ainsi, par exemple, l'ouvrage célèbre de Goran Hyden (Beyond Ujamaa in Tanzania. Underdevelopment and an uncaptured peasantry) n'est pas seulement un livre qui a suscité d'intenses débats académiques en anthropologie du développement. Vingt cinq ans après sa parution, il continue de faire débat en Tanzanie où la fameuse notion hydenienne d'"économie d'affection" est soutenue par certains et contestée par d'autres. Cela fut un point d'entrée intéressant, lors du panel 1, pour débattre des attitudes paysannes face aux réformes de libéralisation.

.

Les articles de revues spécialisées, par grands thèmes et disciplines sur le pays

Il est intéressant de concentrer une partie de la recherche documentaire sur les articles de revues et autres documents se rapportant au pays ou au thème considéré. Le gain de temps est souvent appréciable. Aujourd'hui, de nombreuses revues spécialisées offrent des services en ligne qui permettent de consulter ou même de télécharger des articles et des dossiers qui peuvent s'avérer utile pour une mission d'évaluation.

Les publications locales, working papers et autres documents produits par les institutions de recherche ou les observatoires du pays

Durant la mission, nous conseillons également de prendre connaissances des travaux produits localement et qui ne sont pas toujours accessibles ou disponibles en Europe :

  • Se rendre systématiquement auprès des éditeurs locaux pour consulter ou acquérir leurs publications qui, souvent, concernent d'assez près les questionnements de l'analyse culturelle et sociale.
  • Consulter les organismes de recherche ou les observatoires (type Observatoire économique et social) qui ont souvent des bulletins ou des working papers intéressants et qui publient des études fondées sur des enquêtes menées localement.
  • Enfin, ne pas oublier de solliciter les interlocuteurs (notamment les chercheurs et professeurs) lors des entretiens, pour obtenir d'eux des papiers et autres études qu'ils auraient réalisées et qui restent souvent confidentielles.

La presse locale

La presse locale doit être également utilisée dans la démarche. Il s'agit simplement de consulter régulièrement la presse du pays avant la mission pour se familiariser avec les thèmes en débat dans la société et, sur place, de réaliser une mini revue de presse qui pourra servir, au besoin, pour

  • prendre la "température" du pays,
  • identifier des enjeux du débat public,
  • lancer ou relancer les débats lors des panels ou des entretiens sur un des articles.

Cet usage de la presse n'est pas indispensable, mais il peut s'avérer un complément utile

La documentation officielle produite par les agences de coopération

Enfin, signalons évidemment que la recherche documentaire ne se limite pas à la recherche bibliographique d'ouvrages ou de travaux publiés.

  • Il faut mentionner l'usage qui peut être fait des documents officiels produits par les agences de coopération. Ils sont évidemment incontournables.
  • Mais il faut aussitôt ajouter l'intérêt de toute une littérature "grise" de rapports et autres études menées sur le pays concerné par l'évaluation.

2/ Adaptation du questionnement aux spécificités du pays

Les contextes sont trop variés d'un pays à l'autre pour pouvoir définir une liste de questions type qui présenterait le risque de laisser de côté des aspects spécifiques fondamentaux. En revanche, l'outil peut proposer des zones d'enjeux et des problématiques communes qui seront adaptées à chaque pays à la suite de l'analyse documentaire.

3/ Réalisation d'entretiens préparatoires

Ces entretiens ont un double objectif : d'une part, les personnes interrogées peuvent fournir des contacts intéressants et des orientations bibliographiques et d'autre part, ils permettent de récolter des informations complémentaires et ainsi, de construire une grille de questions plus pointues.

Trois catégories de personnes semblent importantes à rencontrer :

  • des spécialistes du pays considéré ;
  • des spécialistes du secteur concerné;
  • des " institutionnels " et responsables notamment des desks à Bruxelles.

4/ Elaboration de la liste des experts participant aux panels

Sélection des experts et prise de contact

Il est important d'identifier plusieurs personnes ressources (deux ou trois) qui fourniront des noms d'experts. Avec leur aide, une liste assez fournie sera constituée parmi laquelle les experts qui participeront aux panels seront choisis en fonction de leurs objets de recherche.

La recherche de personnes ressources est primordiale, car elle permet de croiser les sources (triangulation) et de mobiliser plus facilement les personnes cibles.

Si l'on organise trois panels composés chacun de 6 personnes, il est nécessaire d'en trouver 18 au moins. Il est conseillé d'en prévoir plus, car il peut y avoir des désistements.

Stratégie de prise de contact

Tous les experts identifiés sont d'abord contactés par courrier électronique. Lors du premier courrier, une description sommaire de la mission et des panels leur est faite, en précisant les dates. Ce n'est qu'après avoir reçu une réponse montrant un intérêt pour le processus et affirmant leur disponibilité qu'une description plus précise peut leur être transmise. Tous les experts ne se manifestant pas à la suite des envois de courriers électroniques, sont relancés par téléphone si on dispose de leur numéro.

2ÈME ÉTAPE : LE DÉROULEMENT DE LA MISSION

Les panels d'experts et les entretiens de l'outil, n'ont pas vocation à fournir l'information de base sur les caractéristiques socio-anthropologiques, institutionnelles ou historiques d'un pays, mais de valider ou invalider des hypothèses élaborées en amont, de mettre en débat des questions irrésolues et, enfin, de faire surgir des enjeux qui n'avaient pas été envisagés auparavant.


Les panels d'experts

La rencontre des panélistes

Il s'agit de rencontrer chacun des panélistes lors d'un entretien avant de les réunir dans un panel. Lors de cet entretien, une présentation approfondie de la mission leur sera faite, ainsi qu'une présentation des questions auxquelles l'analyse se propose de répondre. Par ailleurs, cet entretien préparatoire sera l'occasion de discuter ouvertement de l'expérience et de l'approche de l'expert et de recueillir ses impressions générales sur l'aide au développement dans son pays. Enfin, certaines questions de la grille pourront être abordées plus particulièrement ; ce dernier point permettra de juger de la réserve des panélistes lors des panels en comparant les deux discours

L'organisation des panels d'experts

Un panel d'experts sera organisé pour chacune des trois thématiques de l'outil :

  • l'histoire, les croyances et les héritages du passé,
  • la société, le droit et la vie politique
  • les appropriations de la modernité : les questions culturelles et les innovations sociales.

Les panels seront d'une durée de quatre heures, entrecoupées d'une pause d'un quart d'heure.

L'objectif de chacun des panels est :

  • d'une part de mettre en débat les analyses tirées des lectures préalables en ce qui concerne les principales caractéristiques socio-anthropologiques, historiques, politiques, économiques et culturelles de la société étudiée et d'analyser ses bouleversements récents ;
  • d'autre part, de mettre en évidence des enjeux et des problématiques susceptibles d'intéresser la Commission dans la mise en œuvre de sa stratégie pays, par exemple, en pointant les recompositions sociopolitiques engendrées par les réformes.

Le contenu des échanges

Une des difficultés de l'exercice est de distinguer entre les énoncés de type opinion personnelle, les interprétations et les analyses proposées par les panélistes d'un phénomène qu'ils ont étudié. En effet, aucun panéliste, évidemment, ne peut être expert dans tous les domaines abordés. Or, dans le panel, ils ne sont pas seulement sollicités sur leurs spécialités, car ils sont inclus dans un débat qui aborde différents thèmes ; ainsi, ils peuvent être amenés à parler de sujets qu'ils ne maîtrisent pas.

Plusieurs éléments peuvent entraver la qualité des propos recueillis des participants :

  • Un manque de pratique d'expression libre, lié à des systèmes de contrôle social, politique ou religieux ou à un passé récent marqué par une privation des libertés fondamentales ;
  • Le recours à des experts très sollicités par la coopération internationale, habitués aux discours uniformisés des bailleurs.

L'animation des panels d'experts

Comme indiqué plus haut, il est très important que l'animateur des débats dispose d'une connaissance approfondie du contexte, et ce pour plusieurs raisons :

  • être crédible aux yeux des panélistes et pouvoir relancer la discussion à bon escient
  • éviter les propos descriptifs en orientant les débats sur la base de connaissances partagées.
  • lancer des questions susceptibles, d'une part, d'intéresser les panélistes et, d'autre part, de faire émerger un débat.

Les entretiens

Cette démarche par entretiens individuels ne doit pas être considérée comme un simple complément de la méthode des panels d'experts. Elle peut être placée sur le même plan en termes de "rentabilité" dans la collecte d'informations.

Les entretiens individuels ont pour objectif soit de préciser certains points abordés lors du panel d'experts, soit de rencontrer les experts ne pouvant pas participer au panel pour des raisons d'incompatibilité d'emploi du temps ou parce que l'effectif maximum était atteint. Trois types d'entretiens :

  • ceux qui sont prévus depuis Paris et qui sont organisés pour compléter l'apport du panel d'experts,
  • ceux dont la nécessité s'impose, sur place, dans le prolongement des panels,
  • ceux qui sont organisés sur place également, sur suggestion d'experts précédemment rencontrés ou de contacts obtenus pendant le séjour.

Il est donc primordial de prévoir suffisamment de temps à affecter à ces entretiens, avant et après les sessions du panel d'experts.

Le focus group

Afin de rencontrer les usagers ou bénéficiaires finaux des stratégies mises en œuvre et ainsi de valider les données recueillies lors des panels et des entretiens, l'organisation d'un focus group s'impose.

TL'organisation d'un focus group avec les "usagers" ou les populations cibles d'une politique de développement ne fonctionne pas selon la même démarche que celle de l'organisation de panels. En effet, alors que la prise de contact avec des experts se fait par mail ou par téléphone et peut donc se faire depuis la France, celle avec cette catégorie d'acteurs ne peut qu'être directe et implique de "labourer" le terrain. Il est donc nécessaire d'avoir recours à un relais local pour assurer l'organisation d'un focus group - le temps d'une mission d'évaluation étant déjà bien rempli. Les participants ne maîtrisent pas toujours la langue des évaluateurs, ni même l'anglais, langue véhiculaire internationale ; d'autre part, la richesse et la subtilité de la terminologie employée par les participants dans leur propre langue peut être elle-même objet d'analyse - toutes raisons qui militent pour s'adjoindre un interprète de qualité dans cette étape du travail.

3EME ÉTAPE: AU RETOUR DE MISSION

Analyse des données

Les données issues de l'analyse documentaire, des panels, des entretiens et des focus group sont croisées pour répondre aux questions d'évaluations identifiées à la phase préparatoire. A cette phase, comme aux autres, il est important de faire la distinction entre les énoncés de type opinion personnelle, les interprétations et les analyses proposées par les personnes rencontrées. Cela ne signifie pas qu'il faille écarter les interprétation et les opinions, il faut seulement les prendre en compte comme tel.

Rédaction du rapport

Le rapport sera structuré en trois parties correspondant chacune à un des 3 domaines constituant le cadre de référence. Dans chacune des parties, il sera fait la distinction entre les données à analyser et les recommandations.

Quelles sont les ressources nécessaires à l'analyse culturelle et sociale?

Compétences de l'équipe d'évaluation

L'équipe d'évaluation devra comporter un ou une sociologue ou anthropologue confirmé-e.

Temps de travail en évaluation pays

Le chargé de l'analyse culturelle et sociale dans l'équipe d'évaluation consacrera environ 40 jours de travail à cette tâche.

La décomposition du temps de travail est indiquée dans le tableau récapitulatif. Ce dernier prévoit un nombre précis de jours de travail dans une situation moyenne. Dans les cas où des difficultés se présentent et ralentissent ou compliquent le bon déroulement, la fourchette du temps de travail se situe entre 40 et 50 jours.

Rémunération des experts

Chaque expert participant à un panel d'expert sera rémunéré pour une journée de travail (correspondant à la séance du panel et à la relecture de la note transmise par l'évaluateur) selon le barème en vigueur dans le pays si c'est un citoyen de ce pays et au barème international s'il n'est ni citoyen ni résident.

La rémunération d'un expert qui participe à plusieurs panels de travail sera multipliée par autant de panels.

TABLEAU RECAPITULATIF DES PROCEDURES A SUIVRE EN EVALUATION PAYS


EXEMPLES

.

.

BIBLIOGRAPHIE

.

  • BALANDIER G., 1985: Sociologie des Brazzavilles noires, Paris, Presses de la Fondation nationale des sciences politiques.
  • BAKER J., 2000 : Evaluating the impact of development projects on poverty. Handbook for practitioners, the World Bank.
  • BAUM W.C., TOLBERT S.M., 1985: Investing in development - Lessons from the World Bank experience, Oxford University Press for the World Bank.
  • BISSILLAT J., VERSCHUUR Christine (dirigé par.), 2001: Genre et économie : un premier éclairage, Cahiers genre et développement, N°2 ; l'Harmattan, AFED-EFI Paris-Genève.
  • BISSILLAT J., 2001: La participation des femmes aux coopératives mixtes : temps et idéologies, in Genre et économie : un premier éclairage.
  • CERFE, République du Cameroun, Union Européenne, 2002: Recherche-Action sur le capital social à Yaoundé et Douala, rapport final, Plateforme d'observation.
  • CERNEA M. & S.E. GUGGENHEIM, et al., 1993: Anthropological approaches to resettlement: policy, practice and theory. Boulder, Colorado : Westview press.
  • CERNEA M., 1995: Social organization and development anthropology, the 1995 Malinovski Award lecture, the World Bank.
  • CERNEA M., 1998: The economics of involuntary resettlement, the World Bank.
  • CERNEA M. (ed), 1998: La dimension humaine dans les projets de développement, les variables sociologiques et culturelles, Paris, Karthala.
  • CHAMBERS R., 1997 and 2000: Whose reality counts - Putting the first last. ITDG Publishing, London.
  • DANSEREAU F., NAVEZ BOUCHANINE F., et al., 2002: Gestion du développement urbain et stratégies résidentielles des habitants, Paris L'Harmattan.
  • DFID (DEPARTMENT FOR INTERNATIONAL DEVELOPMENT),1999: Sustainable livelihoods guidance sheets, UK Government.
  • DREVET-DABBOUS O., 2001: La division sexuelle du travail, in Genre et économie : un premier éclairage.
  • EUROPEAN COMMISSION, EuropeAid, 2004: Project Cycle management guidelines, Vol 1 : Project Cycle Management.
  • FAYMAN S. et al., 2001: Rapport introductif sur la ville inclusive. Quatrième Forum International sur la pauvreté urbaine, Marrakech, Octobre 2001, HABITAT.
  • FONDS POUR LA PROMOTION DES ETUDES PREALABLES, ETUDES TRANSVERSALES, EVALUATIONS, 2004: Capitalisation et valorisation : De l'efficacité des évaluations, documents de travail.
  • IMBODEN N., 1978: A management approach to project appraisal and evaluation, Paris OCDE.
  • KELLET P., GARHNAM A., 1995: The role of culture and gender in mediating the impact of official interventions in informal settlements: a study from Colombia in Habitat International, Vol 19, n°1.
  • KING P., 1996: The limits of housing policy: a philosophical investigation, London, Middlesex U Press.
  • KOTHARI U., 2000: Developing guidelines for assessing achievement in the eight focal areas of social development work and for assessing outcomes, Institute for Development Policy and Management, University of Manchester. Social Development Systems for Coordinated Poverty Eradication.
  • KOTTAK C.P., 1998: Quand l'aspect humain n'est pas mis au premier plan : enseignements sociologiques tires de projets terminés. In : CERNEA : La dimension humaine dans les projets de développement, op.cité.
  • MACKAY K.: Public sector performance : the critical role of evaluation, the World Bank.
  • MARSDEN D., OAKLEY P., 1990: Evaluating social development projects, Oxfam, Oxford (extracts from the International Conference in Swansea about Performance Criteria in NGO Poverty Alleviation Programmes, september, 19-22, 1989).
  • NAVEZ-BOUCHANINE F., 200 : Les interventions en bidonville au Maroc, une évaluation sociale. ANHI, Rabat.
  • OPERATIONS EVALUATION DEPARTMENT, the World Bank, 2000: Evaluation and poverty reduction. Proceedings of a World Bank Conference.
  • OVERSEAS DEVELOPMENT ADMINISTRATION, 1995: Guide to social analysis for projects in developing countries. Stationery Office Books.
  • PATTON M.Q., 1987: How to use qualitative methods in evaluation. London, Sage.
  • POLESE & STREN: The social sustainability of cities.
  • SALMEN L., 1987: Listen to the people: participatory observation evaluation of development projects, NY Oxford U Press.
  • SALMEN L., 1995: Beneficiary assessment: an approach described, W Bank, Environment department papers n° 023.
  • SCOTT R.A. & SHORE A.R., 1979: Why sociology does not apply: sociology in public policy. New York and Oxford : Elsevier.
  • SCRIMSHAW N. & GLEASON G.R., 1992: Rapid assessment procedures : qualitative methodologies. Boston : international nutrition foundation for developing countries.
  • TAHER N., 1997: Socio-political and economic costs of a donor-led housing programme : the case of Rashed-greater Cairo, DPU, Bartlett, UCL, London, working paper n° 84.
  • VELLUTINI Ch., LE GOFF J.C, BURBAN F., 2001: Evaluation de la stratégie pays de la Commission Européenne : Burkina Faso 1996-2000.
  • THE WORLD BANK, Poverty Reduction Group and Social Development Department, 2003: a user's guide to poverty and social impact analysis.
  • WEBER M., 1922: Economia e società. Edizione di Comunità, Milano 1961.
  • WHITEHEAD A. & LOCKWOOD M., 2001: Le genre dans les évaluations sur la pauvreté de la banque mondiale, in Genre et économie.
  • WHYTE W.F., (1982): Social inventions for solving human problems, in American Sociological review, vol. 47.
Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse culturelle et sociale > Check-list

Check-list

.

CHECK-LIST DESTINEE AUX EVALUATEURS

.

Questions

Réponse

Préparation et Conception
 
La bibliographie comprend-elle tous les types de documents ?  
Des entretiens préparatoires ont-ils été réalisés ?  
Les questions sont-elles adaptées au contexte?  
Les sources d'information (documentation, entretien, données de suivi, observation directe) figurent-elles dans les rapports de mission ?  
Mise en oeuvre
 
Les experts ont-ils été rencontrés avant les panels ?  
Les compétences des membres du panel permettaient-elles de couvrir de façon complète tous les sujets à traiter?  
Y a-t-il eu une information précise des membres du panel sur leur rôle et sur les règles de fonctionnement d'un panel?  
Un focus group avec les bénéficiaires a-t-il été organisé ?  
La distinction entre les énoncés de type opinions personnelles, interprétations et analyses proposées par les personnes rencontrées a-telle bien été opérée ?  
Le croisement des informations a-t-il permis d'élaborer des conclusions pertinentes ?  
Le rapport est-il suffisamment compréhensible et explicite?  
Le rapport d'étude distingue-t-il les données analysées des recommandations ?  

.

CHECK-LIST DESTINEE AUX GESTIONNAIRES

.

Questions

Réponse

Les sources d'information (documentation, entretien, données de suivi, observation directe) figurent-elles dans les rapports de mission ?  
La distinction entre les opinions personnelles, les interprétations et les analyses proposées par les personnes rencontrées a-t-elle bien été opérée ?  
Le croisement des informations a-t-il permis d'élaborer des conclusions pertinentes ?  
Le rapport d'étude est-il compréhensible et explicite ?  
L'analyse permet-elle de formuler des recommandations ?  

.