Qualité du rapport final

.

.

L'utilité d'une évaluation dépend de la crédibilité qui ressort de la transparence du processus et de la qualité du rapport d'évaluation.

La qualité d'une évaluation doit être vérifiée à quatre différents niveaux : au niveau des termes de référence, du processus d'évaluation, du rapport d'évaluation et de la dissémination et enfin au niveau du suivi de l'évaluation.

Le présent document aborde uniquement le sujet de la qualité du rapport d'évaluation.

.

L'origine de la grille de qualité

.

En 1999 la Direction générale REGIO de la Commission européenne a proposé dans son guide d'évaluation (MEANS collection), une grille de qualité afin d'apprécier la qualité des rapports d'évaluation. Egalement en 1999, la Direction générale de l'Agriculture de la Commission européenne a décidé d'utiliser systématiquement la grille de qualité afin d'apprécier la qualité des rapports d'évaluation. En 2001, il a été décidé que l'utilisation de la grille de qualité est devenue obligatoire au sein des services de la Commission européenne en tant qu'un des standards appliqué par les fonctions d'évaluation dans chaque Direction générale. Depuis 2002 la Direction des affaires externes applique pour toutes les évaluations en cours la grille de qualité décrite plus loin.

.

Le contenu de la grille de qualité

.

La grille de qualité est remplie deux fois. Tout d'abord, afin d'apprécier le rapport provisoire et ensuite, le rapport final prêt à la publication. La grille de qualité est publiée sur le site internet avec le rapport d'évaluation.

L'appréciation de la qualité garantie la conformité du rapport avec les standards professionnels et répond au besoin d'information des utilisateurs visés. La grille de qualité est présentée dans le Terme de référence. Les évaluateurs externes connaissent dès le début de l'exercice d'évaluation les critères sur lesquels leur travail sera apprécié.

Le control de qualité des rapports finaux a trois objectifs:

  • Vérifier si l'équipe d'évaluation externe a bien satisfait les exigences du service commanditaire.
  • Distinguer, parmi les conclusions, celles qui sont valides et solidement étayées de celles qui le sont moins et qui doivent être utilisées avec précaution.
  • Assumer la résistance de l'évaluation aux critiques que suscitent inévitablement les jugements portés sur les succès et les échecs.

.

Neuf critères de qualité

.

La grille de qualité est basée sur neuf critères indépendants les uns des autres et qui sont examinés pour leur propre mérite.

1. Satisfaction des besoins attentes

Le rapport traite-t-il de façon adéquate les demandes d'information formulées par les commanditaires et correspond-il aux termes de référence ?

2. Pertinence du champ

Le rapport fait-il un examen complet de la raison d'être de l'intervention examinée, de ses réalisations, résultats et impacts, ainsi que de ses interactions prévues et imprévues avec d'autres politiques et leurs conséquences ?

3. Justification de la méthode

La conception de l'évaluation est-elle adaptée et adéquate pour fournir l'ensemble des constats qui serviront à répondre aux principales questions de l'évaluation, compte tenu des limites méthodologiques ?

4. Fiabilité des données

Les données primaires et secondaires sélectionnées sont-elles adaptées ? Sont-elles suffisamment fiables pour l'usage qui en est attendu ? Quand les données statistiques manquent, les données qualitatives sont-elles significatives ? Quand les données uniquement disponibles sont faibles, les évaluateurs ont expliqué les faiblesses et les limites d'utilisation de ces données ?

5. Solidité de l'analyse

Les données quantitatives et qualitatives sont-elle analysées de façon adéquate et systématique de sorte qu'elles permettent de répondre aux questions de l'évaluation de façon valide ? Les liens de cause à effet entre l'intervention et les résultats sont-ils expliqués? Les éléments externes sont-ils pris en considération correctement ? Les comparaisons sont-elles faites explicitement ?

6. Crédibilité des constats

Les constats découlent-ils de façon logique et justifiée d'une analyse des données, d'interprétations basées sur des hypothèses et sur une logique présentées avec soin ?

7. Validité des conclusions

Les conclusions sont-elles liées aux constats ? Sont-elles basées sur les critères de jugement ? Les conclusions sont-elles claires, groupées et hiérarchisées ?

8. Utilité des recommandations

Les recommandations sont-elles liées aux conclusions ? Sont-elles équitables (justes, impartiales vis-à-vis à), non biaisées en faveur de points de vue personnels ou de parties prenantes, et assez détaillées pour être concrètement applicables ?  Sont-elles groupées et hiérarchisées ?

9. Clarté du rapport

Le rapport décrit-il clairement l'intervention évaluée, y compris son contexte et sa finalité, ainsi que le processus et les constats de l'évaluation ? Le rapport est-il facile à lire, a-t-il un résumé synthétique mais complet ? Contient-il des graphiques et les tableaux ?

.

Comment remplir la grille de qualité?

.

Chacun des neuf critères de la grille d'appréciation de qualité est noté suivant cinq niveaux : excellent, très bon, bon, faible et inacceptable.

Pour chaque rapport d'évaluation, la grille d'appréciation de qualité est remplie par deux personnes qui discutent les neuf critères afin d'envoyer ensuite une seule grille aux évaluateurs externes.

La grille d'appréciation de qualité des rapports d'évaluation est remplie et notée par différents membres de l'équipe d'évaluation. Il est important qu'en dépendant des personnes et du temps, l'appréciation de la qualité du rapport soit cohérente. Afin de s'assurer que la grille de qualité des différents rapport soit comparable, il est nécessaire d'élaborer un référentiel pour que les gestionnaires d'évaluation s'en servent au moment de l'appréciation de rapport d'évaluation. En outre, le chef d'unité vérifie chaque grille de qualité pour préserver la cohérence globale de l'assurance de qualité.

L'unité d'évaluation des relations externes à la Commission européenne a établi un référentiel complet pour noter les neuf critères.

Critère 1 : Satisfaction des besoins

Bon : Les demandes formulées dans les termes de référence ont reçu une réponse de manière adéquate. Les questions d'évaluation ont été traitées de manière satisfaisante.

Très bon : Le rapport d'évaluation inclue une vue d'ensemble claire de la manière dont les objectifs annoncés ont été atteints et clarifie la logique d'intervention. Le rapport d'évaluation a été au-delà des demandes des termes de référence et a abordé d'autres sujets d'intérêt.

Faible : Certaines questions des termes de référence ont été traitées de manière inadéquate ou ont été abordées partiellement.

Inacceptable : De trop nombreuses questions des termes de référence n'ont pas été abordées ou n'ont été que partiellement abordées.

Excellent : Les sujets abordées couvrent non seulement les questions des termes de référence mais placent l'évaluation dans un cadre beaucoup plus général en liaison avec les bases de la politique de développement, de coopération ou de la politique extérieure et de toute autre politique communautaire ou nationale.

Critère 2 : Pertinence du champ

Bon:Le rapport traite l'ensemble de l'intervention dans ses dimensions temporelle, géographique et réglementaire. Les principaux effets prévus et imprévus ont été identifiés.

Très bon: Au-delà des points précédents, l'évaluation s'est intéressée aux interactions avec les autres politiques communautaires, les interventions des autres bailleurs et les politiques de l'Etat(s) partenaire. Les effets imprévus ont été traités.

Faible: L'une des trois dimensions de l'intervention et/ou un effet important est insuffisamment ou mal traitée.

Inacceptable: Plusieurs dimensions de l'intervention et/ou plusieurs effets importants sont insuffisamment ou mal traitées.

Excellent: En plus des remarques sur le niveau " très bon ", le rapport a systématiquement étudié en détail les effets non attendus.

Critère 3 : Justification de la méthode

Bon: La méthode d'évaluation est clairement explicitée et a effectivement été appliquée au cours du processus. Les choix méthodologiques ont été adéquats pour répondre aux demandes des termes de référence.

Très bon: Les limites inhérentes à la méthode d'évaluation ont été clairement précisées et les choix ont été discutés et défendus par rapport à d'autres options.

Faible: A la lecture du rapport d'évaluation, il apparaît que des choix méthodologiques ont été faits sans avoir été ni explicités ni défendus.

Inacceptable: Il n'existe aucune méthode d'évaluation, ou bien les choix méthodologiques ne sont pas en adéquation avec les résultats recherchés.

Excellent: Au-delà du niveau " très bon ", l'évaluateur présente une critique de sa méthode et de ses choix méthodologiques. Il indique les risques qui auraient été encourus si d'autres options méthodologiques avaient été prises.

Critère 4 : Fiabilité des données

Ce critère ne juge pas de la validité intrinsèque des données disponibles mais de la manière dont l'équipe d'évaluation a trouvé les données et comment elle les a utilisées.

Bon: Les sources de données quantitatives et qualitatives sont identifiées. La fiabilité des données a été testée et discutée par l'équipe d'évaluation. Les outils de collecte ont été clairement explicitées et sont adaptées aux informations recherchées.

Très bon : Les données ont été systématiquement croisées à travers des sources ou des outils de collecte indépendants les uns des autres. Les limites de validité des données et des outils de collecte des données sont clairement exposées.

Faible: Les informations quantitatives et qualitatives fournies sont peu fiables au regard de la question posée. Les outils de collecte de données sont discutables (par exemple échantillon insuffisant ou études de cas mal ciblées).

Inacceptable: Certaines données sont manifestement fausses. Les outils de collecte ont été appliqués de façon incorrecte ou fournissent des renseignements biaisés ou inutilisables.

Excellent: Tous les biais découlant des informations fournies sont analysés et corrigés par des techniques reconnues. 

Critère 5 : Solidité de l'analyse

Bon: L'analyse des données quantitatives et/ou qualitatives est faites rigoureusement suivant des démarches reconnues et pertinentes par rapport aux types de données analysées. Les relations de cause à effet entre l'intervention et ses conséquences sont explicitées. Les comparaisons (par exemple : avant/après, bénéficiaires/non bénéficiaires, avec/sans) sont explicitées.

Très bon : Les démarches d'analyse sont explicitées et leur limite de validité précisée. Les hypothèses causales sous-jacentes sont explicitées. Les limites de validité des comparaisons effectuées sont indiquées.

Faible: Un des trois éléments (démarche d'analyse, relations causales, comparaisons) est mal traité ou 2 de ces éléments sont traités de manière insuffisante.

Inacceptable: 2 des 3 éléments sont mal traités.

Excellent: Tous les biais d'analyse (à travers les 3 éléments) ont été systématiquement examinés et présentés avec leur conséquence sur la limite de validité de l'analyse.

Critère 6 : Crédibilité des constats

Bon: Les constats produits par l'analyse apparaissent fiables et équilibrés, notamment au vu du contexte dans lequel l'intervention est évaluée. Les hypothèses interprétatives et les extrapolations faites sont acceptables. 

Les constats reflètent de façon acceptable la réalité décrite par les données et les éléments de preuve rassemblés, d'une part, et la réalité de l'intervention telle qu'elle est perçue par les acteurs et les bénéficiaires, d'autre part.

Très bon : Les limites des hypothèses interprétatives et des extrapolations faites sont explicitées et discutées. 
Les effets de l'intervention évaluée sont isolés des facteurs externes et des contraintes. du contexte. 
La validité interne (absence de biais d'analyse) et la validité externe (caractère généralisable des constats) sont satisfaisantes.

Faible: Les analyses apparaissent déséquilibrés. 
Le contexte n'est pas explicité. 
Les extrapolations faites et les généralisations de l'analyse ne sont pas pertinentes.

Inacceptable: Les analyses apparaissent très peu crédibles. 
Le texte contient des affirmations qui ne sont pas étayées. 
Les extrapolations faites et les généralisations de l'analyse ne sont pas pertinentes.

Excellent: Les déséquilibres entre la validité interne et la validité externe des constats sont systématiquement analysés et leurs conséquences sur l'évaluation explicitées. 
Les facteurs contextuels ont été isolés et leur influence a pu être démontrée. 
Les biais apportés dans le choix des hypothèses interprétatives et dans les extrapolations faites sont analysés et leurs conséquences explicitées.

Critère 7 : Validité des conclusions

Ce critère ne juge pas de la valeur intrinsèque des conclusions mais de la manière dont les conclusions ont été obtenues.

Bon: Les conclusions découlent de l'analyse. 
Les conclusions sont argumentées par des faits et des analyses facilement identifiables dans le reste du rapport. 
Les limites et le contexte de validité des conclusions sont indiqués.

Très bon : Les conclusions sont discutées au regard du contexte dans lequel l'analyse a été faite. 
Les limites de validité des conclusions sont explicites et argumentées.

Faible: Les conclusions proviennent d'une généralisation hâtive de certaines analyses faites. 
Les limites de validité des conclusions ne sont pas indiquées.

Inacceptable: Les conclusions ne s'appuient pas sur une analyse pertinente et rigoureuse. 
Les conclusions se basent sur des données non prouvées. 
Les conclusions sont partiales car elles reflètent plus les a priori de l'évaluateur que l'analyse des faits.

Excellent: Les conclusions sont hiérarchisées, elles sont en rapport avec la globalité de l'intervention évaluée et elles tiennent compte des relations de cette intervention avec le contexte dans lequel elle se situe, en particulier en tenant compte des autres programmes ou politiques publiques voisines.

Critère 8 : Utilité des recommandations

Ce critère ne juge pas la valeur intrinsèque des recommandations mais la manière dont elles sont formulées et le fait qu'elles découlent bien des conclusions.

Bon: Les recommandations découlent logiquement des conclusions. 
Elles sont impartiales.

Très bon : En plus des points précédents, les recommandations sont hiérarchisées et elles sont présentées sous forme d'options d'actions possibles.

Faible: Les recommandations sont peu claires ou sont des pures évidences sans valeur ajoutée, leur opérationnalité est discutable. La relation avec les conclusions n'est pas évidente.

Inacceptable: Les recommandations sont déconnectées des conclusions. 
Les recommandations sont partiales car elles reflètent de façon prépondérante les points de vue de certains acteurs ou de certains bénéficiaires ou elles reflètent les idées préconçues de l'équipe d'évaluation.

Excellent: Outre les points correspondant au niveau " très bon ", les recommandations sont testées et leurs limites de validité sont indiquées.

Critère 9 : Clarté du rapport

Bon: Le rapport est lisible facilement et sa structure est logique. 
Le résumé court reflète le rapport. 
Les concepts spécialisés et les démonstrations techniques sont présentés en annexe avec des références claires dans le corps du texte.

Très bon : Le corps du rapport est court, concis et de lecture fluide. 
La structure du rapport est mémorisable facilement. 
Le résumé est clair et présente de façon équilibrée et impartiale les conclusions et recommandations principales.

Faible: Le rapport est difficilement lisible et/ou sa structure est complexe. 
Les références croisées sont peu compréhensibles ou rendent la lecture difficile. 
Le résumé est trop long ou ne reflète pas le corps du rapport.

Inacceptable: Absence de résumé. 
Rapport illisible et/ou de structure désordonnée. 
Absence de chapitre de conclusions (et de recommandations).

Excellent: Le rapport se lit " comme un roman " et sa structuration est d'une logique inattaquable. 
Le résumé est opérationnel en lui-même.

Appréciation générale

La qualité générale du rapport découle de l'ensemble des niveaux accordés à chacun des 9 critères. A partir de 4 " inacceptables ", le rapport doit être considéré comme inacceptable.

.

Recommandations

.

  • Prendre en compte le contexte lors de l'utilisation des critères d'appréciation, plutôt que de les appliquer de façon absolue. Dans une situation donnée, il est possible et utile de préciser les critères de qualité pour tenir compte des demandes particulières et/ou des contraintes spécifiques.
  • Rédiger une synthèse qualitative des neuf critères de façon à apprécier la qualité d'ensemble du rapport. Un autre option, moins appropriée, est d'attribuer une note et un poids à chaque critère et de calculer une note moyenne pondérée.
  • Ne pas attendre le rapport final provisoire pour assurer la qualité. Le processus d'assurance qualité doit commencer dès le départ. En particulier, il y a lieu d'effectuer un contrôle qualité à deux autres étapes importantes : rapport de démarrage (inception) et rapport de première phase (desk).
  • Joindre les critères de qualité en annexe aux termes de référence.
  • Faire vérifier la qualité par le gestionnaire de l'évaluation, avec une double vérification par une seconde personne.
  • Appuyer les appréciations sur des exemples tirés du rapport et sur des références précises à telle ou telle partie du texte.
  • Lorsque l'évaluation est jugée " inacceptable " ou " excellente " pour un critère donné, l'appréciation devra être étayée par plusieurs exemples argumentés.

Attention à l'utilisation du terme critère !

Le terme " critère " est employé ici au sens de critère de qualité et ne doit pas être confondu avec les critères d'évaluation (efficacité, efficience etc.), ni avec les critères de jugement (également appelés " critères d'appréciation raisonnée ").

Author

FC
Former Capacity4dev Member
last update
7 December 2022

More actions