|
.
Chacun des neuf critères de la grille d'appréciation de qualité est noté suivant cinq niveaux : excellent, très bon, bon, faible et inacceptable.
Pour chaque rapport d'évaluation, la grille d'appréciation de qualité est remplie par deux personnes qui discutent les neuf critères afin d'envoyer ensuite une seule grille aux évaluateurs externes.
La grille d'appréciation de qualité des rapports d'évaluation est remplie et notée par différents membres de l'équipe d'évaluation. Il est important qu'en dépendant des personnes et du temps, l'appréciation de la qualité du rapport soit cohérente. Afin de s'assurer que la grille de qualité des différents rapport soit comparable, il est nécessaire d'élaborer un référentiel pour que les gestionnaires d'évaluation s'en servent au moment de l'appréciation de rapport d'évaluation. En outre, le chef d'unité vérifie chaque grille de qualité pour préserver la cohérence globale de l'assurance de qualité.
L'unité d'évaluation des relations externes à la Commission européenne a établi un référentiel complet pour noter les neuf critères.
Critère 1 : Satisfaction des besoins
Bon : Les demandes formulées dans les termes de référence ont reçu une réponse de manière adéquate. Les questions d'évaluation ont été traitées de manière satisfaisante.
Très bon : Le rapport d'évaluation inclue une vue d'ensemble claire de la manière dont les objectifs annoncés ont été atteints et clarifie la logique d'intervention. Le rapport d'évaluation a été au-delà des demandes des termes de référence et a abordé d'autres sujets d'intérêt.
Faible : Certaines questions des termes de référence ont été traitées de manière inadéquate ou ont été abordées partiellement.
Inacceptable : De trop nombreuses questions des termes de référence n'ont pas été abordées ou n'ont été que partiellement abordées.
Excellent : Les sujets abordées couvrent non seulement les questions des termes de référence mais placent l'évaluation dans un cadre beaucoup plus général en liaison avec les bases de la politique de développement, de coopération ou de la politique extérieure et de toute autre politique communautaire ou nationale.
Critère 2 : Pertinence du champ
Bon:Le rapport traite l'ensemble de l'intervention dans ses dimensions temporelle, géographique et réglementaire. Les principaux effets prévus et imprévus ont été identifiés.
Très bon: Au-delà des points précédents, l'évaluation s'est intéressée aux interactions avec les autres politiques communautaires, les interventions des autres bailleurs et les politiques de l'Etat(s) partenaire. Les effets imprévus ont été traités.
Faible: L'une des trois dimensions de l'intervention et/ou un effet important est insuffisamment ou mal traitée.
Inacceptable: Plusieurs dimensions de l'intervention et/ou plusieurs effets importants sont insuffisamment ou mal traitées.
Excellent: En plus des remarques sur le niveau " très bon ", le rapport a systématiquement étudié en détail les effets non attendus.
Critère 3 : Justification de la méthode
Bon: La méthode d'évaluation est clairement explicitée et a effectivement été appliquée au cours du processus. Les choix méthodologiques ont été adéquats pour répondre aux demandes des termes de référence.
Très bon: Les limites inhérentes à la méthode d'évaluation ont été clairement précisées et les choix ont été discutés et défendus par rapport à d'autres options.
Faible: A la lecture du rapport d'évaluation, il apparaît que des choix méthodologiques ont été faits sans avoir été ni explicités ni défendus.
Inacceptable: Il n'existe aucune méthode d'évaluation, ou bien les choix méthodologiques ne sont pas en adéquation avec les résultats recherchés.
Excellent: Au-delà du niveau " très bon ", l'évaluateur présente une critique de sa méthode et de ses choix méthodologiques. Il indique les risques qui auraient été encourus si d'autres options méthodologiques avaient été prises.
Critère 4 : Fiabilité des données
Ce critère ne juge pas de la validité intrinsèque des données disponibles mais de la manière dont l'équipe d'évaluation a trouvé les données et comment elle les a utilisées.
Bon: Les sources de données quantitatives et qualitatives sont identifiées. La fiabilité des données a été testée et discutée par l'équipe d'évaluation. Les outils de collecte ont été clairement explicitées et sont adaptées aux informations recherchées.
Très bon : Les données ont été systématiquement croisées à travers des sources ou des outils de collecte indépendants les uns des autres. Les limites de validité des données et des outils de collecte des données sont clairement exposées.
Faible: Les informations quantitatives et qualitatives fournies sont peu fiables au regard de la question posée. Les outils de collecte de données sont discutables (par exemple échantillon insuffisant ou études de cas mal ciblées).
Inacceptable: Certaines données sont manifestement fausses. Les outils de collecte ont été appliqués de façon incorrecte ou fournissent des renseignements biaisés ou inutilisables.
Excellent: Tous les biais découlant des informations fournies sont analysés et corrigés par des techniques reconnues.
Critère 5 : Solidité de l'analyse
Bon: L'analyse des données quantitatives et/ou qualitatives est faites rigoureusement suivant des démarches reconnues et pertinentes par rapport aux types de données analysées. Les relations de cause à effet entre l'intervention et ses conséquences sont explicitées. Les comparaisons (par exemple : avant/après, bénéficiaires/non bénéficiaires, avec/sans) sont explicitées.
Très bon : Les démarches d'analyse sont explicitées et leur limite de validité précisée. Les hypothèses causales sous-jacentes sont explicitées. Les limites de validité des comparaisons effectuées sont indiquées.
Faible: Un des trois éléments (démarche d'analyse, relations causales, comparaisons) est mal traité ou 2 de ces éléments sont traités de manière insuffisante.
Inacceptable: 2 des 3 éléments sont mal traités.
Excellent: Tous les biais d'analyse (à travers les 3 éléments) ont été systématiquement examinés et présentés avec leur conséquence sur la limite de validité de l'analyse.
Critère 6 : Crédibilité des constats
Bon: Les constats produits par l'analyse apparaissent fiables et équilibrés, notamment au vu du contexte dans lequel l'intervention est évaluée. Les hypothèses interprétatives et les extrapolations faites sont acceptables.
Les constats reflètent de façon acceptable la réalité décrite par les données et les éléments de preuve rassemblés, d'une part, et la réalité de l'intervention telle qu'elle est perçue par les acteurs et les bénéficiaires, d'autre part.
Très bon : Les limites des hypothèses interprétatives et des extrapolations faites sont explicitées et discutées.
Les effets de l'intervention évaluée sont isolés des facteurs externes et des contraintes. du contexte.
La validité interne (absence de biais d'analyse) et la validité externe (caractère généralisable des constats) sont satisfaisantes.
Faible: Les analyses apparaissent déséquilibrés.
Le contexte n'est pas explicité.
Les extrapolations faites et les généralisations de l'analyse ne sont pas pertinentes.
Inacceptable: Les analyses apparaissent très peu crédibles.
Le texte contient des affirmations qui ne sont pas étayées.
Les extrapolations faites et les généralisations de l'analyse ne sont pas pertinentes.
Excellent: Les déséquilibres entre la validité interne et la validité externe des constats sont systématiquement analysés et leurs conséquences sur l'évaluation explicitées.
Les facteurs contextuels ont été isolés et leur influence a pu être démontrée.
Les biais apportés dans le choix des hypothèses interprétatives et dans les extrapolations faites sont analysés et leurs conséquences explicitées.
Critère 7 : Validité des conclusions
Ce critère ne juge pas de la valeur intrinsèque des conclusions mais de la manière dont les conclusions ont été obtenues.
Bon: Les conclusions découlent de l'analyse.
Les conclusions sont argumentées par des faits et des analyses facilement identifiables dans le reste du rapport.
Les limites et le contexte de validité des conclusions sont indiqués.
Très bon : Les conclusions sont discutées au regard du contexte dans lequel l'analyse a été faite.
Les limites de validité des conclusions sont explicites et argumentées.
Faible: Les conclusions proviennent d'une généralisation hâtive de certaines analyses faites.
Les limites de validité des conclusions ne sont pas indiquées.
Inacceptable: Les conclusions ne s'appuient pas sur une analyse pertinente et rigoureuse.
Les conclusions se basent sur des données non prouvées.
Les conclusions sont partiales car elles reflètent plus les a priori de l'évaluateur que l'analyse des faits.
Excellent: Les conclusions sont hiérarchisées, elles sont en rapport avec la globalité de l'intervention évaluée et elles tiennent compte des relations de cette intervention avec le contexte dans lequel elle se situe, en particulier en tenant compte des autres programmes ou politiques publiques voisines.
Critère 8 : Utilité des recommandations
Ce critère ne juge pas la valeur intrinsèque des recommandations mais la manière dont elles sont formulées et le fait qu'elles découlent bien des conclusions.
Bon: Les recommandations découlent logiquement des conclusions.
Elles sont impartiales.
Très bon : En plus des points précédents, les recommandations sont hiérarchisées et elles sont présentées sous forme d'options d'actions possibles.
Faible: Les recommandations sont peu claires ou sont des pures évidences sans valeur ajoutée, leur opérationnalité est discutable. La relation avec les conclusions n'est pas évidente.
Inacceptable: Les recommandations sont déconnectées des conclusions.
Les recommandations sont partiales car elles reflètent de façon prépondérante les points de vue de certains acteurs ou de certains bénéficiaires ou elles reflètent les idées préconçues de l'équipe d'évaluation.
Excellent: Outre les points correspondant au niveau " très bon ", les recommandations sont testées et leurs limites de validité sont indiquées.
Critère 9 : Clarté du rapport
Bon: Le rapport est lisible facilement et sa structure est logique.
Le résumé court reflète le rapport.
Les concepts spécialisés et les démonstrations techniques sont présentés en annexe avec des références claires dans le corps du texte.
Très bon : Le corps du rapport est court, concis et de lecture fluide.
La structure du rapport est mémorisable facilement.
Le résumé est clair et présente de façon équilibrée et impartiale les conclusions et recommandations principales.
Faible: Le rapport est difficilement lisible et/ou sa structure est complexe.
Les références croisées sont peu compréhensibles ou rendent la lecture difficile.
Le résumé est trop long ou ne reflète pas le corps du rapport.
Inacceptable: Absence de résumé.
Rapport illisible et/ou de structure désordonnée.
Absence de chapitre de conclusions (et de recommandations).
Excellent: Le rapport se lit " comme un roman " et sa structuration est d'une logique inattaquable.
Le résumé est opérationnel en lui-même.
Appréciation générale
La qualité générale du rapport découle de l'ensemble des niveaux accordés à chacun des 9 critères. A partir de 4 " inacceptables ", le rapport doit être considéré comme inacceptable.
.
|
European Union