Analyse multicritère

RESUME

.

Pourquoi utiliser cet outil en evaluation ?

Objectifs

L'analyse multicritère est utilisée pour porter un jugement comparatif entre des projets ou des mesures hétérogènes.

Dans le cadre de l'évaluation, l'analyse multicritère est plutôt un outil de l'évaluation ex ante. Elle est plus particulièrement utilisée dans l'élaboration des choix stratégiques d'intervention.

Dans le cadre de l'évaluation ex post, l'analyse multicritère peut contribuer à l'évaluation d'un programme ou d'une politique en appréciant les effets des actions réalisées au regard de plusieurs critères.

Utilisations possibles en évaluation pays

En évaluation ex ante ou intermédiaire

L'analyse multicritère peut servir pour :

• évaluer les capacités de diverses actions d'un programme à remplir un objectif donné. Ce travail pourrait se faire pour recueillir l'avis des responsables et des bénéficiaires sur leur efficacité.
• structurer les avis de responsables de projet ou de programme sur des actions en cours.
• discuter du contenu des programmes et des allocations entre actions lors de l'élaboration des stratégies et des programmes

En évaluation ex post

Dans les pays tiers, des domaines comme la lutte contre la pauvreté, le maintien de la sécurité, la maîtrise de l'immigration, le développement du commerce sont autant de domaines où ce type d'analyse gagnerait à être introduit pour formuler des jugements sur ces stratégies complexes.

Comment mettre en oeuvre l'analyse multicritère ?

Quelles sont les conditions d'emploi de l'analyse multicritère ?

Le temps nécessaire et le coût d'une analyse multicritère de haut niveau risquent d'être peu compatibles avec les délais et les budgets habituellement alloués à ces tâches en évaluation.

Les analyses multicritères pouvant être conduites dans le cadre d'une évaluation pays doivent se limiter à la comparaison d'actions simples et à partir de critères limités.

Etape 1 : choix du domaine d'application et identification de la logique d'intervention

Dans le cadre de l'évaluation, l'analyse multicritère n'est généralement pas employée sur l'ensemble des sujets à évaluer.
Une fois le domaine d'application établi par l'équipe d'évaluation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas.

Etape 2 : choix du groupe de jugement

L'analyse multicritère est basée sur des notations et des choix de préférence effectués par les personnes qui vont constituer le groupe de jugement. Pour constituer ce groupe, l'équipe d'évaluation peut choisir parmi les acteurs concernés par le programme ou parmi des délégués de ces acteurs. En général, les membres du groupe sont choisis dans cette dernière catégorie, ce qui est justifié pour limiter les risques d'incompétence et pour faciliter l'identification de ces personnes.

Etape 3 : choix de l'équipe technique

L'équipe technique est chargée d'appuyer le groupe de jugement. Elle est composée des personnes suivantes :

• Le facilitateur.
• L'assistant technique. C'est la personne qui maîtrise parfaitement l'usage des logiciels nécessaires à la conduite de certaines analyses multicritères.
• Les experts qui sont chargés de collecter des données pour le compte du groupe de négociation, en vue de compléter l'information, au fur et à mesure de l'exercice.

Etape 4 : établissement de la liste des actions en concurrence

L'analyse multicritère, selon ses objectifs, aidera à comparer :

• des scénarios ou des solutions potentielles dans un exercice de planification ou d'évaluation ex ante,
• des variantes d'un aménagement,
• des actions mises en œuvre dans un programme.

A la fin de cette quatrième étape une liste des actions, des scénarios ou des variantes entrant dans l'analyse sera produite.

Etape 5 : identification et sélection des critères de jugement

Cette étape est centrale dans l'analyse multicritère. Les règles de base pour la définition des critères peuvent être résumées ainsi :

• Les critères doivent être définis avant de réaliser l'analyse, à partir des règles connues et acceptées de tous,
• Ils doivent tenir compte de tous les points de vue exprimés par les membres du groupe,
• Ils ne doivent pas être redondants entre eux,
• Ils doivent former un ensemble cohérent qui aboutit à des résultats plausibles et incontestables.

Par exemple, lorsqu'une entreprise cherche à recruter un salarié d'un niveau donné, sa direction peut utiliser les critères suivant :

• l'obtention d'un examen,
• une appréciation des motivations et de l'expérience lors d'un entretien d'embauche,
• le niveau de salaire demandé par le candidat.
• Les critères ne sont pas redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Ils sont cohérents, c'est-à-dire que si deux candidats sont à égalité sur deux des trois critères, le troisième permettra de départager les candidats sans susciter de réclamation.

Etape 6 : détermination du poids relatif de chaque critère

Méthodes de pondération des critères

Une des règles de l'analyse multicritère est de pondérer ces critères entre eux afin de prendre en compte leur importance relative aux yeux des acteurs. 

Dans l'enseignement secondaire, le cas des coefficients affectés aux matières lors de l'évaluation des élèves est un exemple simple de pondération des critères.

Différentes méthodes de pondération ont été élaborées pour aider à la formalisation des pondérations (utilisation de coefficients, méthode du jeu de cartes).

Instauration de seuils de veto, d'indifférence et de préférence

Certains critères peuvent avoir une importance telle qu'ils ne peuvent pas être traités de la même manière que les autres. C'est le cas des critères pour lesquels peut s'appliquer la notion de seuil de veto (dont certains correspondent à des exigences réglementaires).

Les seuils de préférence et d'indifférence méritent également d'être définis, surtout dans les analyses longues et complexes. Deux acteurs ayant des avis très proches peuvent classer deux actions l'un au même niveau et l'autre à des niveaux différents, parce que les seuils de préférence et d'indifférence n'auront pas été assez bien définis.

Test de la sensibilité

Ce test consiste à observer l'effet des modifications des paramètres choisis par le groupe, sur les résultats de l'analyse.

Etape 7 : jugement par critère

Etude des impacts des actions

On tente de donner des valeurs aux impacts de chaque action au regard du critère. Cette évaluation peut être quantitative, mais aussi qualitative.

Encadré 2 - Tableau des résultats de l'étude des impacts des actions au regard des critères

Notation et jugement des actions par critère

Ce jugement est fait par le groupe, alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié.

L'intérêt de cette étape est d'arriver au final à doter chaque action d'une note par critère. Cette notation permet de comparer à la fois les actions entre elles et les avis entre acteurs, pour une même action.

Etape 8 : agrégation des jugements

C'est un point crucial de l'analyse mais difficile à réussir. Il faut d'abord vérifier que les jugements sont exprimés de façon homogène (ex : la surface d'un ouvrage est préférée lorsqu'elle est plus réduite). Cependant, il est important de tester si plusieurs manières de conduire l'opération aboutissent ou non à des résultats similaires ou extravagants. (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre).

Il existe différentes méthodes d'agrégation des jugements : la somme pondérée, le produit pondéré, l'approche par surclassement, etc. Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur).

S'il s'agit d'un travail dans le cadre d'un groupe consensuel ou travaillant avec des critères aux poids identiques pour tous (ex : professeurs pour la notation des élèves en classe), le tableau des performances représente le résultat de l'analyse multicritère.

Quelles sont les ressources necessaires?

Quels sont les avantages et les limites des l'outil?