Boîte à outils

.

Structure de la section:

.

QUELS OUTILS ?

.

Les quatre fonctions de l'évaluation

L'évaluation s'organise en quatre fonctions principales, non strictement séquentielles : structuration de l'évaluation (axée sur la formulation de questions d'évaluation en vue de conduire au jugement d'ensemble, ou overall assessment), collecte de données quantitatives et qualitatives, analyse de l'information recueillie, jugement sur les questions, conduisant à la formulation des conclusions et recommandations.
Les objectifs de ces quatre fonctions peuvent se résumer comme suit :

  • La structuration de l'évaluation contribue à choisir (ou préciser) les questions d'évaluation, les critères de jugement, les indicateurs de ces critères et ainsi à définir la méthode de l'évaluation.
  • La collecte a pour objectif de réunir toutes les données primaires et secondaires brutes (quantitatives et qualitatives) nécessaires pour répondre aux questions.
  • L'analyse traite l'information recueillie en vue d'arriver à des constats, notamment sur la contribution de l'aide aux évolutions observées.
  • Pour chaque question d'évaluation, le jugement conduit à la formulation de la réponse et aux conclusions de l'évaluation.

La conception de la méthode d'évaluation sur la base des questions d'évaluation en vue de la formulation d'un jugement d'ensemble (overall assessment) est déterminante dans le choix des outils pour chacune des quatre phases.

L'importance de la recherche documentaire

Bien qu'aucun outil ne soit présenté sur ce site à cet effet, la recherche documentaire auprès des services de la Commission et sur le terrain (en particulier, l'utilisation des supports tels que la base de données CRIS) est un constituant de l'évaluation.
La liste suivante (non exhaustive) recense les principales sources documentaires (données secondaires) à considérer dans le cas d'une évaluation pays :

  • les accords généraux, bilatéraux et multilatéraux, de coopération, de partenariat, d'association, sectoriels et thématiques (commerce, investissement, science et technologie, etc.) et les conclusions de sommets bilatéraux et multilatéraux ;
  • les Documents de Stratégie Pays/Région (DSP et DSR) et les Programmes Indicatif National/Régional (PIN et PIR)
  • les rapports annuels et les bilans à mi-parcours (mid-term reviews) disponibles ;
  • les rapports de la Cour des Comptes européenne ;
  • les documents officiels gouvernementaux (notamment le Document Stratégique de Réduction de la Pauvreté (DSRP) et les stratégies sectorielles, si existantes) et ceux produits par les agences multilatérales et bilatérales de coopération (documents de stratégie, documents de projet, etc.) ;
  • les évaluations de projets et programmes, à caractère thématique et/ou sectoriel disponibles ;
  • les rapports de monitoring (ROM) sur les projets et programmes en cours ;
  • les règlements généraux de la Commission et, d'une façon générale, tous les textes réglementaires et les engagements politiques de la période couverte par l'évaluation.

Les outils développés

Treize outils ont été mis au point. Ils sont généralement connus des évaluateurs. On en rappelle ci-après leurs traits distinctifs.

Diagramme des objectifs et diagramme des effets

Le diagramme des objectifs décrit la hiérarchisation des objectifs à mettre en œuvre dans la réalisation d'une stratégie, de l'objectif global à long terme de l'Union Européenne jusqu'aux actions entreprises dans le cadre des programmes d'exécution. Le diagramme des effets présente la hiérarchie des activités, des résultats et des effets escomptés. Les effets escomptés sont la traduction des objectifs en termes de réalisation.

Permettant de reconstruire la logique de l'intervention et les effets escomptés, l'outil joue un rôle de premier plan dans la structuration de l'évaluation des interventions complexes en contribuant à la formulation des questions d'évaluation.

Diagramme des problèmes

Les projets et programmes d'aide ont pour objet de satisfaire des besoins jugés prioritaires et pour cela résoudre un certain nombre de problèmes faisant obstacle. Il est théoriquement possible d'en tirer un diagramme prenant la forme d'un arbre complet avec un tronc (le problème principal), un système radiculaire (l'arborescence des causes) et une ramure (les conséquences).

Le diagramme des problèmes, en association avec le diagramme des effets, permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.

Diagramme des décisions

Le diagramme des décisions décrit le processus par lequel les objectifs stratégiques ou politiques généraux de l'Union Européenne en matière de coopération avec les pays tiers donnent lieu à des décisions de coopération bilatérale à moyen terme et à court terme.

Complétant le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie en terme de cohérence interne (enchaînement logique des choix successifs) et de pertinence externe (prise en compte des éléments de contexte et des positions des parties prenantes).

Entretien individuel

L'entretien individuel permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation : faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.

Focus group

Le focus group vise à débattre des informations, des opinions et des jugements déjà collectés. Il permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance. On utilise fréquemment le focus group pour recueillir les opinions des bénéficiaires sur leur participation à un programme et ce qu'ils en ont retiré de positif ou négatif - alternative aux entretiens. Quel que soit l'usage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu d'une opinion spontanée.

Enquête par questionnaire

L'enquête par questionnaire permet de collecter auprès d'un échantillon de population des réponses comparables. Lorsque l'échantillon est représentatif, l'enquête par questionnaire permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.

Etude de cas

L'étude de cas vise à répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets, choisis en fonction des objectifs de l'évaluation. Dans des contextes qui le permettent et qui le nécessitent, le ou les cas étudiés peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.

Panel d'experts

Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. Le panel permet de proposer des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.

SWOT

L'analyse SWOT combine l'étude des forces et des faiblesses d'une organisation, d'un territoire, d'un secteur, etc. avec celle des opportunités et des menaces de son environnement. Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.

Indicateurs de contexte

L'outil vise à positionner un pays en comparant ses indicateurs de contexte avec ceux d'autres pays. Un indicateur de contexte est une donnée qui fournit une base simple et fiable pour décrire une variable de contexte. L'outil permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.

Analyse multicritère

L'analyse multicritère est, dans une position ex-ante, un outil d'aide à la décision. Dans le contexte de l'évaluation ex-post, elle contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.

Analyse coût-efficacité

L'outil vise à identifier l'action qui atteint un résultat au meilleur coût. Il permet de comparer l'efficience de projets ou de programmes recherchant des effets comparables. Il contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.

Analyse culturelle et sociale

Dans le cadre de l'évaluation pays, l'analyse culturelle et sociale consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent.

L'absence d'outil statistique

Dans le contexte de l'aide aux pays tiers, les données susceptibles d'un traitement statistiques sont généralement difficiles à réunir. De plus, leur pertinence est limitée du fait des retards de publication et de leur fiabilité fragile. Les données disponibles sont générales et descriptives, elles ne requièrent que des traitements relativement simples. La priorité s'est donc portée sur le développement d'outils basés sur des données relativement simples à obtenir.

Principes d'utilisation

D'une façon générale, il importe de veiller à la faisabilité d'un travail de terrain ou sur les limites de ce travail. Les contextes spécifiques des pays dans lesquels l'étude est conduite peuvent en effet fortement limiter le choix des outils, notamment du fait des contraintes logistiques et des coûts de mise en œuvre.
Avant de présenter les critères de choix des outils les plus appropriés à la méthode adoptée, quelques principes d'utilisation doivent être rappelés :

  • Aucun outil ne permet à lui seul de répondre à une question ou de remplir une des quatre fonctions, ce qui veut dire que toute évaluation nécessite une combinaison d'outils.
  • Chacun des outils est adapté à une fonction spécifique, parfois à plusieurs.
  • Plusieurs outils sont généralement employés en parallèle pour une même fonction avec des angles d'attaque différents, en vue de permettre des recoupements.
  • Le choix des outils d'évaluation dépend de tâches à réaliser et du contexte : degré de complexité de l'intervention, niveau de l'expertise disponible, nature de l'information recherchée et disponible, multiplicité des interlocuteurs, etc.
  • Le choix des outils doit, sauf demande spécifique, procéder d'un souci d'homogénéité dans le détail et la précision de l'information utilisée et de son analyse.

En bref, l'équipe d'évaluation doit recourir à plusieurs outils et adopter la combinaison d'outils la plus efficiente dans le contexte spécifique de l'évaluation.

.

QUAND UTILISER QUELS OUTILS

.

Les outils et les quatre fonctions de l'évaluation

Le classement des outils selon les quatre grandes fonctions est un premier élément de choix.
Pour chaque outil, le tableau ci-dessous propose les fonctions auxquelles l'outil est destiné et celles auxquelles il peut contribuer utilement. La plupart des outils ont ainsi une fonction principale et une ou plusieurs fonctions secondaires. On rappelle que la liste d'outils présentée ci-dessous n'a aucun caractère limitatif.


Les outils de structuration

La structuration de l'évaluation peut utilement s'appuyer sur une première série d'outils regroupés ici sous le terme d'outils de structuration. Dans le cas d'une évaluation de projet ou de programme homogène, le cadre logique décrivant les objectifs (globaux et spécifiques) de l'intervention, les problèmes auxquels elle répond, et les résultats attendus, constitue l'outil de structuration de l'évaluation. L'utilisation du diagramme des problèmes est souvent recommandée en plus du cadre logique.
Pour les évaluations dont le champ comprend un ensemble d'objectifs et d'activités hétérogènes, notamment les évaluations géographiques, trois outils sont proposés ici, dont le premier, le diagramme des objectifs et des effets, constitue le pilier. Lorsque qu'il s'agit de programmes complexes ou de stratégies, le diagramme des problèmes permet de répondre à des questions sur la pertinence des objectifs, d'identifier les enjeux de l'intervention et inversement les problèmes auxquels elle n'a pas eu pour but de proposer de solutions. Enfin, le diagramme des décisions complète utilement le diagramme des objectifs dont la rationalité ne permet pas d'appréhender les origines de toutes les orientations et décisions, notamment celles qui conduisent à éliminer certains choix et/ou qui résultent d'une négociation avec les partenaires.
Ces outils sont également utilisables dans les phases d'analyse et de formulation des jugements (voir polyvalence des outils).

Les outils de collecte, d'analyse et de jugement

Dans ces trois fonctions, il existe une panoplie étendue d'outils, souvent complémentaires et/ou polyvalents. C'est ainsi que nombreux facteurs sont à prendre en compte pour effectuer un choix efficace. Bien qu'il n'existe pas de formules permettant d'assurer un choix optimal, il existe en revanche un cheminement (lien) favorisant l'élaboration d'une méthode homogène et susceptible de conduire à une réponse solide aux questions.

Polyvalence des outils

La liste des outils qu'il serait souhaitable de mobiliser est fréquemment trop étendue pour que les ressources de l'évaluation permettent d'envisager la mise en œuvre de tous les outils. Des arbitrages sont nécessaires, en s'appuyant sur les priorités de l'évaluation et en optimisant l'utilisation des ressources. Plus le champ et le questionnement de l'évaluation sont étendus, plus le risque de dispersion est grand et donc plus l'équipe d'évaluation doit être attentive à ce que ses observations et ses analyses permettent de répondre aux questions essentielles de l'évaluation. L'équipe prendra donc en compte le fait que, d'une part, plusieurs outils sont généralement nécessaires pour remplir une même fonction et recouper l'information et que, d'une autre part, les outils sont souvent polyvalents et contribuent à répondre à plusieurs questions à la fois.

Critères de choix des outils

Outre la fonction des outils et leur capacité à remplir l'une ou l'autre des quatre grandes fonctions de l'évaluation, d'autres critères doivent être examinés.
Les critères de choix proposés ici ont pour objet de guider l'évaluateur dans les arbitrages nécessaires à la finalisation de la méthode.

  • La maîtrise des techniques. Si tous les outils proposés ici doivent pouvoir être utilisés par les équipes d'évaluation, pour certains outils il est souhaitable qu'un membre de l'équipe en ait déjà fait l'expérience. C'est notamment le cas des outils nécessitant la maîtrise de techniques spécifiques d'animation de groupe, d'outils relativement complexes comme l'analyse multicritère ou l'analyse coût-efficacité ou encore pour l'enquête par questionnaire.
  • Le besoin de données spécifiques. Certains outils nécessitent la collecte de données particulières sans lesquelles leur mise en œuvre risque de produire des conclusions erronées. Par exemple, une analyse coût-efficacité nécessite des indicateurs d'efficacité des projets comparés, sans lesquels la mise en œuvre de l'outil n'est pas possible. Avant de décider d'utiliser l'outil, il faut s'assurer que ces données sont disponibles ou qu'elles pourront être élaborées avec une fiabilité suffisante.
  • Les ressources nécessaires pour l'utilisation de l'outil. La question est particulièrement sensible pour les outils mis en œuvre au cours des missions dans un pays partenaire et qui entraînent parfois des coûts spécifiques élevés. Il importe de s'assurer de leur pertinence dans la méthode et de rechercher la voie la moins coûteuse et la plus efficiente (notamment pour la collecte de donnés).
  • Le délai de réalisation. Certains outils nécessitent des délais de préparation importants avant leur mise en œuvre sur le terrain, c'est notamment le cas des enquêtes ou, à un moindre degré, de certains focus groups et panels d'experts.
  • La disponibilité d'experts locaux qualifiés, capables de mettre en œuvre des outils particuliers dans les langues locales. Cette question est particulièrement cruciale pour les outils qui nécessitent des techniques d'animation de groupe (focus groups, etc.) pour lesquelles des experts de bon niveau disponibles sont parfois difficiles à identifier.

Le tableau ci-dessous propose pour chaque outil une notation des cinq critères, mettant l'accent, pour chaque outil, sur les critères qui nécessitent une attention particulière. Chaque critère est noté de 1 à 3. La note 1 indique que le critère ne pose pas de problème particulier pour cet outil. La note 3 indique que pour le critère concerné, il est recommandé de vérifier de la faisabilité de la mise en œuvre l'outil.

Exigences spécifiques des outils

Outil Maîtrise
des
techniques
Informations
spécifiques
Coût Délai Experts
locaux
qualifiés
Diagramme des
objectifs et
diagramme des effets
2 1 1 1 1
Diagramme des
problèmes
2 1 1 1 1
Diagramme des
décisions
2 1 1 1 1
Entretien
individuel
1 1 1 1 1
Focus group 2 1 1 2 3
Enquête par
questionnaire
3 1 3 3 2
Etude de cas 1 2 2 3 1
SWOT 1 3 2 2 1
Indicateurs de
contexte
2 1 1 1 1
Panel d'experts 2 1 1 2 2
Analyse multicritère 2 3 2 2 2
Analyse coût efficacité 3 3 3 2 1
exigence forte (3) , moyenne (2), faible (1)

Des notations de niveau 3 ne signifient pas qu'il faut éviter d'utiliser l'outil. Il est en effet recommandé de donner la priorité aux outils assurant les meilleures réponses aux questions posées et, dans un deuxième temps, de s'assurer de la possibilité de les mettre en œuvre dans le contexte et avec les ressources de l'évaluation.

Le développement d'une méthode homogène

  • La conception de la méthode doit viser la mise en place d'une technicité homogène et efficace. Il est inutile de prévoir la mise en œuvre d'outils très sophistiqués pour remplir une fonction si les autres fonctions ne sont pas traitées avec une précision ou une rigueur similaire ou si les autres outils ne peuvent pas fournis les informations nécessaires ou utiliser les informations produites.
  • La collecte doit être conçue avec une attention particulière car il est rarement possible de relancer une collecte incomplète, surtout pour la partie effectuée dans le pays partenaire. La même attention doit être portée aux outils d'analyse et de jugement qui sont mis en œuvre dans le pays partenaire.
  • À cette fin, il est utile d'estimer les risques d'insuccès liés à la mise en œuvre de chaque outil et le cas échéant de prévoir des solutions alternatives, afin d'en limiter les conséquences sur l'ensemble de l'évaluation.

En définitive, la méthode doit se développer en s'appuyant sur la palette d'outils disponibles en prenant en compte leurs avantages et leurs contraintes, les conditions de leur mise en œuvre dans le cadre des évaluations de l'aide au développement, les ressources nécessaires à leur mise en œuvre ainsi que les limites des résultats que l'on peut en attendre, notamment en fonction du contexte.

Analyse des outils

Diagramme des objectifs et diagramme des effets

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de reconstruire la logique de l'intervention et les effets escomptés.
Contribue à la formulation des questions d'évaluation.
L'outil joue un rôle de premier plan dans la structuration de l'évaluation des programmes complexes (c'est le cas des stratégies pays/Région).
Contraintes potentielles Accès limité à la documentation. Information mal élaborée
Résultats attendus Formulation des questions d'évaluation.
Reconstruction de la logique d'intervention du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Expertise de l'évaluateur.

Diagramme des problèmes

Fonction prioritaire Structuration de l'évaluation
Avantages Permet de valider la pertinence d'un projet, d'un programme ou d'une stratégie, en mettant en relation les effets escomptés et les problèmes qu'ils doivent contribuer à résoudre.
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Validation de la logique d'interven-tion du programme.
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs.
Expertise de l'évaluateur.

Diagramme des décisions

Fonction prioritaire Structuration de l'évaluation
Avantages Facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes).
Contraintes potentielles Accès limité à la documentation.
Information mal élaborée
Résultats attendus Explicitation du processus de décision et de détermination des objectifs stratégiques et/ou politiques.
Analyse de la cohérence et pertinence de la stratégie
Ressources nécessaires Recherche documentaire indispen-sable.
Complémentaire avec le diagramme des objectifs et des problèmes.
Expertise de l'évaluateur.

Entretien individuel

Fonction prioritaire Observation / Collecte
Avantages Permet de collecter auprès d'acteurs et de bénéficiaires des informations à toutes les étapes de l'évaluation
Contraintes potentielles Disponibilité et degré de collaboration limités des parties prenantes.
Choix inapproprié des interlocuteurs (manque de représentativité de toutes les parties prenantes)
Subjectivité et spontanéité des opinions exprimées.
Faible degré de comparaison des réponses.
Résultats attendus Faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.
Ressources nécessaires Parties prenantes disponibles.
Délais requis.

Focus group

Fonction prioritaire Collecte / Observation
Avantages Permet d'éclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de s'assurer de leur consistance.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes.
Risque de choix inapproprié /arbitraire d'interlocuteurs (représentativité de toutes les parties prenantes).
Subjectivité des opinions exprimées
Résultats attendus Des opinions stabilisées après discussion approfondie, au lieu d'une opinion spontanée.
Ressources nécessaires Collecte antérieure des informations (le focus group vise à débattre des informations, des opinions et des jugements déjà collectés).
Maîtrise locale pour la facilitation de réunions.

Enquête par questionnaire

Fonction prioritaire Collecte / Observation
Avantages Permet de collecter auprès d'un échantillon de population des réponses comparables.
Contraintes potentielles Disponibilité et degré de collabora-tion limités des parties prenantes enquêtées
Traitement lourd, précisant élaboration, des réponses/donnés.
Non maîtrise des techniques.
Résultats attendus Lorsque l'échantillon est représen-tatif, elle permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.
Ressources nécessaires Expertise requise pour le traitement de données.
Délais requis.
Coûts.

Etude de cas

Fonction prioritaire Analyse
Avantages Permet de répondre aux questions "Comment" et "Pourquoi" à partir de l'étude détaillée de cas concrets.
Contraintes potentielles Spécificité des situations analysées (non généralisables).
Risque d'extrapolation/généralisa-tion injustifiée.
Risque de choix inapproprié/ arbitraire des cas d'études (sans rapport avec les objectifs de l'évaluation).
Accès à l'information.
Résultats attendus Réponses aux questions qui nécessitent un approfondissement (comment et pourquoi ?).
Dans des contextes qui le permettent, les études de cas peuvent être sélectionnés pour que les conclusions soient généralisables à l'ensemble de l'évaluation.
Ressources nécessaires Accessibilité des sites et disponibilité de bénéficiaires.
Délais.
Coûts.

Panel d'experts

Fonction prioritaire Analyse
Avantages Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer.
Le panel permet d'obtenir l'avis collectif, débattu et consensuel, d'un group d'experts reconnus.
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité de jugements/analyses.
Résultats attendus Des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et l'expérience des experts.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

SWOT

Fonction prioritaire Analyse
Avantages Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre.
Contraintes potentielles Informations trop générales, voire incomplètes ne permettant pas de réaliser une analyse en profondeur.
Risque d'impartialité dans l'analyse des forces/faiblesses.
Non maîtrise de l'outil.
Nécessité d'un consensus autour de l'analyse (perception de menaces/opportunités).
Résultats attendus Diagnostic rapide d'une organisation, territoire, programme-me, secteur à partir de l'analyse des forces et des faiblesses combinée avec l'analyse de l'environnement / contexte en termes d'opportunités et de menaces.
Ressources nécessaires Collecte antérieure des informations (le SWOT nécessite des informations très précises. Autrement il risque de rester un exercice purement abstrait et intellectuel).
Maîtrise de l'instrument.

Indicateurs de contexte

Fonction prioritaire Analyse
Avantages Permet d'apprécier les dynamiques de développement par la comparaison du niveau et de l'évolution des principaux indicateurs avec ceux de pays dans des contextes comparables.
Contraintes potentielles Choix inapproprié des indicateurs de contexte.
Manque d'informations suffisantes/ fiables pour compléter les indicateurs.
Résultats attendus Positionnement d'un pays par comparaison de ses indicateurs de contexte à ceux d'autres pays
Ressources nécessaires Nécessite une bonne collecte de donnés, régulière afin de mesurer l'évolution des indicateurs du contexte.
Peut nécessiter des enquêtes par questionnaire.

Analyse culturelle et sociale

Fonction prioritaire Analyse
Avantages Consiste à identifier les éléments constitutifs des groupes sociaux, ethniques, religieux, des groupes d'intérêts et toutes caractéristiques qui fondent les valeurs communes à une société de même que les différences qui la traversent
Contraintes potentielles Disponibilité limitée des experts.
Subjectivité des jugements/analyses.
Niveau d'abstraction de l'analyse ; distance par rapport à la réalité.
Résultats attendus Une approximation à la notion de capital social dans un territoire donné.
Ressources nécessaires Accessibilité des experts sélection-nés.
Collecte antérieure des informations.
Maîtrise de facilitation de réunions.

Analyse multicritère

Fonction prioritaire Jugement
Avantages Outil d'aide à la décision qui, dans le contexte de l'évaluation ex-post, contribue utilement à la formulation de jugements fondés sur un ensemble hétérogène de critères.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus Jugements sur les questions d'évaluation
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Délais.
Coûts.

Analyse coût-efficacité

Fonction prioritaire Jugement
Avantages Permet de comparer l'efficience de projets ou de programmes recher-chant des effets comparables.
Contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients.
Contraintes potentielles Insuffisance/non précision des informations.
Non maîtrise de la technique.
Résultats attendus La méthode vise à identifier l'action qui atteint un résultat au meilleur coût.
Des jugements sur le choix de projets /programmes.
Ressources nécessaires Informations requises (collecte et analyse précédents).
Maîtrise de la technique.
Coûts.
Délais.

.

QUELLE COMBINAISON D'OUTILS?

.

Principe de combinaison

L'utilisation de certains outils requiert la mise en œuvre préalable d'autres outils. C'est le cas lorsqu'un outil peut produire des informations utiles à la mise en œuvre d'un autre outil. C'est aussi le cas lorsqu'en apportant un angle d'analyse différent, un outil permet de conforter ou de nuancer les conclusions auxquelles un autre outil a permis d'arriver. Pour les outils relativement complexes (notamment les outils de jugement), il importe, avant de s'engager dans leur mise en œuvre, de s'interroger sur les informations préalables qui pourraient améliorer leur performance et de rechercher l'outil qui va permettre de les produire de façon optimale.
Les cas les plus fréquents de mise en oeuvre d'un outil par un autre sont répertoriés dans le tableau ci-après. Par exemple, la première ligne du tableau suggère que les diagrammes des objectifs et des effets impliquent ou peuvent impliquer la réalisation d'entretiens individuels et de focus groups.

Outils utilisés par d'autres outils


Le tableau ci-dessus est indicatif. Il est possible d'imaginer d'autres cas dans des contextes particuliers. De façon générale, ce sont les outils de collecte (fondamentalement l'entretien individuel, le focus group et l'enquête par questionnaire) qui sont le plus mobilisés par les autres outils d'analyse et de jugement, car ces derniers requièrent des informations spécifiques pour leur mise en oeuvre. Il est donc important de prêter une attention spéciale aux outils d'analyse et de jugement, afin d'assurer l'homogénéité de la méthode et la performance optimale des outils tout au long de la séquence.

Fréquence d'utilisation des outils

Du tableau ci-dessus il ressort que l'entretien individuel est, sans surprise, l'outil le plus utilisé par les autres outils (y compris les autres outils de collecte). Par contre, l'étude de cas se situe à l'extrême, constituant un méta outil qui s'appuie donc sur tous les outils de collecte. Il peut, le cas échéant, utiliser les outils d'analyse.
Bien qu'il ne soit pas possible de proposer a priori toutes les combinaisons et associations souhaitables entre outils, certaines considérations méritent d'être formulées dans le but d'assurer l'homogénéité de performance des outils tout au long de la séquence :

  • Certains outils sont fréquemment utilisés par d'autres outils. Par exemple, l'entretien individuel est un outil de collecte utilisé dans la plupart des outils d'évaluation.
  • Sans évoquer une hiérarchie entre les outils, la plupart des outils sont plus ou moins composites. En décidant d'utiliser un outil particulier, il est donc nécessaire de prendre en compte les conditions d'usage et les contraintes inhérentes aux outils sur lesquels il s'appuie.?
  • Compte tenu de la polyvalence, évoquée précédemment, de la majorité d'outils, il convient de tenir compte des critères de rationalisation et d'optimisation dans leur choix. On se réfère notamment au regroupement de questions d'évaluation selon la fonctionnalité des outils sélectionnés, et vice-versa.

Exemple de combinaison

Test de deux outils utilisables en évaluation pays - enquête par questionnaire et focus group - réalisé dans le cadre de l'évaluation Bénin.
Le test a vérifié la possibilité de répondre partiellement par une combinaison des deux outils à la question évaluative suivante : "Dans quelle mesure la stratégie sanitaire et les interventions de la Commission permettent-elles de répondre aux besoins fondamentaux de la population, en particulier des plus pauvres ?"
Les objectifs du test étaient de collecter et traiter les informations et les points de vue des bénéficiaires afin de constater les tendances globales du service fournis par les centres de santé. Il a combiné trois enquêtes et quatre focus groups.
Trois enquêtes :

  • deux sur questionnaire fermé (s'adressant d'une part aux ménages et d'autre part aux usagers des centres de soins : en tout 660)
  • une sur questionnaire ouvert (s'adressant aux autorités locales, au personnel de santé, aux responsables de mutuelles et d'associations locales : en tout 100).

Quatre focus groups :

  • deux focus groups de bénéficiaires (villageoises) dans deux localités différentes ;
  • un focus group réunissant les sages femmes et les infirmiers ;
  • un focus group réunissant les médecins du secteur privé et public.

Les 2 derniers focus group ont été organisés en complément des résultats des 2 focus groups de bénéficiaires et de ceux des questionnaires. L'objectif est de croiser des regards différents sur une même situation à partir de quelques éléments de dysfonctionnements constatés.
Le croisement des résultats de l'enquête par questionnaire et des focus groups a largement contredit les présupposés de départ de l'action de réorganisation de l'offre de santé publique au Bénin par la Commission européenne. Il a en outre confirmé l'accès aux soins très réduit des plus pauvres dans le secteur public.

.

QUELLES CONTRAINTES ET EXIGENCES SPECIFIQUES?

.

Les limites et risques sont liés aux contraintes spécifiques et aux exigences de chacun des outils en ressources de tous ordre.

Contraintes potentielles

Accès à l'information et aux sources d'information

La plupart des outils exigent un accès relativement facile à la documentation de base (Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions, Etude de cas, Indicateurs de contexte) Certains outils sont très dépendants de la représentativité, de la disponibilité et de la coopération d'interlocuteurs et parties prenantes, notamment : Entretien individuel, Focus group, Enquête par questionnaire.

Qualité de l'information recueillie

La qualité des informations recueillies est essentielle. Elle peut être affectée par :

  • l'insuffisance et/ou l'imprécision des informations (SWOT, Indicateurs de contexte, Analyse coût-efficacité, Analyse multicritère, Analyse culturelle et sociale)
  • un biais dans les opinions exprimées (Enquête par questionnaire, Focus group)
  • une partialité dans les jugements ou un biais dans les analyses (Panel d'experts, Analyse culturelle et sociale )
  • une certaine partialité dans l'analyse des forces/faiblesses (SWOT)
  • une généralisation non valide (Etude de cas)
  • des réponses difficiles à comparer (Entretien individuel)
  • le choix inapproprié des indicateurs de contexte (Indicateurs de contexte)
  • un niveau excessif d'abstraction de l'analyse et une trop grande distance par rapport à la réalité (Analyse culturelle et sociale )

Maîtrise des techniques spécifiques

Une bonne maîtrise de l'outil est utile dans tous les cas, et particulièrement pour : Enquête par questionnaire, Analyse culturelle et sociale , SWOT, Analyse coût-efficacité, Analyse multicritère.
La disponibilité et l'expérience des experts qualifiés doit être particulièrement assurée pour : Etude de cas, Analyse culturelle et sociale , Panel d'experts, Focus group.
Le traitement des réponses peut devenir très lourd faute de savoir faire suffisant (Enquête par questionnaire).
Une insuffisante expérience fait courir le risque de choix inappropriés des cas d'étude, sans rapport direct avec les objectifs de l'évaluation (Etude de cas).
La recherche nécessaire d'un consensus sur la perception des menaces et opportunités exige un savoir faire spécifique (SWOT).

Ressources nécessaires

Ressources humaines

La disponibilité d'experts qualifiés doit être garantie dans tous les cas. Elle est une condition sine qua non pour : Analyse culturelle et sociale , Panel d'experts. SWOT, Analyse coût-efficacité, Analyse multicritère, Focus group.
L'expertise de l'évaluateur est à considérer pour les outils dits de structuration : Diagramme des objectifs et diagramme des effets, Diagramme des problèmes, Diagramme des décisions.
Elle est expressément requise pour le traitement des données de l'Enquête par questionnaire.
Une expérience de conduite et d'animation de réunions est capitale pour : l'Analyse culturelle et sociale , le Panel d'experts, le Focus group.

Coûts

Une attention particulière doit être portée aux coûts de mise en œuvre pour les outils suivants : Analyse coût-efficacité, Analyse multicritère, Enquête par questionnaire, Etude de cas.

Durée

Une estimation pertinente du temps nécessaire est importante dans tous les cas, et en particulier pour la mise en œuvre de : l'Analyse coût-efficacité, l'Analyse multicritère, l'Enquête par questionnaire, l'Etude de cas, l'Entretien individuel.

Incidence des opérations préalables

Lorsque un outil requiert une collecte préalable d'information, sa durée, son coût et les ressources humaines nécessaires ne doivent pas être sous-estimés. Le cas échéant, une vérification de l'accessibilité des sites et de la disponibilité des bénéficiaires doit être opérée (Etudes de cas).

.

CHECK-LIST DE L'USAGE DES OUTILS

.

Check list à l'usage de l'équipe d'évaluation

  • Le choix de chacune des questions évaluatives tient-il compte de la possibilité d'obtenir une réponse convaincante par l'utilisation efficace d'outils ?
  • Le choix des outils aidera-t-il à formuler le jugement d'ensemble ?
  • Les outils retenus permettent-ils de répondre de manière optimale aux objectifs de l'évaluation ?
  • Chacun des outils correspond-il aux contraintes et possibilités liées aux conditions spécifiques de l'évaluation ?
  • La programmation de chacun des outils prend-elle en compte l'ensemble des tâches nécessaires à leur mise en œuvre ?
  • Les ressources nécessaires pour chacun des outils (compétences, nombre de jours, coût) ont-elles été précisément évaluées ? Sont-elles pertinentes au regard des résultats espérés ? et obtenus ?

Check list à l'usage du gestionnaire de l'évaluation

  • Les réponses de chacune des questions évaluatives reposent-elles sur la mise en œuvre d'une bonne combinaison d'outils ?
  • Le jugement d'ensemble s'appuie-t-il sur l'utilisation d'outils appropriés ?
  • Le choix de chacun des outils et leur combinaison sont-ils justifiés de manière claire et convaincante ?
  • Les ressources (experts, budget, temps) mobilisables pour la mise en œuvre des outils sont-elles judicieusement utilisées ?

LA BOITE A OUTILS ET SON MODE D'EMPLOI

L'évaluation vise à produire des recommandations opérationnelles découlant de conclusions solides, fondées sur des critères de jugement clairs, sur des éléments factuels solides et sur des raisonnements dûment argumentés.

Conclusions et recommandations sont de nature à interroger les auteurs et opérateurs du programme ou de la politique. Elles doivent résulter d'une démonstration rigoureuse (un dire d'expert ne suffit pas).

Le développement d'une méthode ad hoc rigoureuse et l'utilisation d'outils appropriés sont les instruments indispensables de cette démonstration.

Ce site présente une série d'outils d'évaluation et un mode d'emploi de la boîte à outils :

  • qui situe les outils dans la méthode d'évaluation
  • qui présente les critères de choix des outils
  • qui donne des indications pour une combinaison appropriée des outils.

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions