Exemples

EVALUATION AU NIVEAU DU PAYS

.

Pour une évaluation au niveau pays, les questions concernent par exemple :

• La stratégie (et éventuellement les stratégies précédentes), sa conception, sa mise en oeuvre et la pertinence de ses objectifs compte tenu de l'évolution du contexte
• Les secteurs de concentration
• La prise en compte des aspects transversaux
• La cohérence, la complémentarité et la coordination

Les questions ci-dessous sont présentées à titre indicatif. Beaucoup d'entre elles sont dérivées des derniers travaux d'évaluation pays conduits par l'Unité d'évaluation.

Questions de pertinence

• Dans quelle mesure la stratégie de la C.E est-elle adaptée au regard de l'objectif de réduction de la pauvreté ?
• Est-ce que les problèmes de développement que rencontre le pays et leurs causes ont été suffisamment analysées et explicitées pour justifier le choix des priorités stratégiques ?
• Est-ce que la stratégie était suffisamment concentrée et hiérarchisée ?
• Dans quelle mesure la stratégie a-t-elle intégrée les leçons de l'expérience de la C.E et des autres bailleurs quant aux facteurs qui facilitent ou qui freinent le succès de l'aide dans le pays partenaire ?

Questions d'efficacité

-Questions d'efficacité spécifiques à un secteur

Ce site propose une méthode pour choisir des questions spécifiques à tel ou tel secteur d'aide, à partir de l'analyse de la logique d'intervention. La méthode génère des questions ayant la forme standard suivante :

• Dans quelle mesure l'aide européenne dans le secteur a-t-elle contribué à [générer l'effet X(spécifique au secteur)]?

Il s'agit donc de questions d'efficacité (atteinte d'un objectif spécifique ou obtention d'un impact attendu). Chaque question de forme standard peut être déclinée en de multiples autres questions

… en précisant le champ par exemple :

• Dans quelle mesure l'aide européenne dans le secteur [et plus spécifiquement celle mise en œuvre depuis la déconcentration] a-t-elle contribué à générer l'effet X ?

… ou en précisant l'effet concerné, par exemple :

• Dans quelle mesure l'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [pour les catégories les plus pauvres de la population]?

… ou en changeant de critère d'évaluation, par exemple :

• L'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [de façon durable] ? (durabilité)
• L'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [avec un coût limité comparativement à …]? (efficience ou coût-efficacité)

-question d'efficacité génériques

• Dans quelle mesure les interventions de la Commission dans les différents secteurs ont-elles contribué à un dialogue politique focalisé sur la réponse aux besoins des segments les plus pauvres de la population ?
• Dans quelle mesure les interventions de la Commission dans les différents secteurs ont-elles contribué à une amélioration de la gestion des finances publiques ?
• Dans quelle mesure les interventions de la Commission dans les différents secteurs ont-elles contribué à l'atténuation (mitigation) des impacts négatifs des réformes économiques?
• Dans quelle mesure les interventions de la Commission dans les différents secteurs ont-elles contribué à un accès équitable à des services de base de bonne qualité ?
• Dans quelle mesure les modalités de mise en oeuvre de la stratégie ont-elles permis de répondre en priorité aux besoins des territoires les plus défavorisés?

Questions d'efficience

Les questions d'efficience (également appelées coût-efficacité) peuvent être spécifiques à un secteur d'aide et prendre une forme de type :

• L'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [avec un coût limité comparativement à …]?

Il est également intéressant des poser des questions d'efficience génériques :

• Dans quelle mesure les interventions de la Commission ont-elles permis de produire les effets attendus avec des coûts de transaction aussi limités que possible ?
• Les actions qui ont mobilisé le plus de ressources démontrent-elles une plus grande valeur ajoutée de l'aide communautaire ?
• Dans quelle proportion les ressources de la C.E. ont-elles été mises au service des différents objectifs stratégiques?

Questions de durabilité

Les questions de durabilité sont généralement spécifiques à un secteur d'aide et prennent une des formes suivantes :

• Dans quelle mesure l'intervention de la Commission a-t-elle contribué à générer [l'effet X] de façon telle qu'il subsistera après la fin de l'aide ?
• Dans quelle mesure l'intervention de la Commission a-t-elle contribué à générer [l'effet X] de façon telle qu'il subsistera en cas de limitation de l'aide [à l'investissement uniquement]?

Questions de cohérence/complémentarité

• Dans quelle mesure l'aide apportée dans le secteur X (ex : routes) contribue-t-elle directement ou indirectement aux objectifs poursuivis dans le secteur Y (ex : commerce) ?
• Dans quelle mesure la conception de la stratégie a-t-elle pris en compte les interactions et conflits potentiels avec les autres politiques de la C.E.?
• Dans quelle mesure la coordination avec les intérêts bilatéraux et multilatéraux a-t-elle permis d'identifier des objectifs que la C.E. peut atteindre mieux que d'autres ?
• Dans quelle mesure la Commission a-t-elle contribué à la coordination entre les différents partenaires du développement et jusqu'à quel point cela a-t-il permis des progrès sur les différentes voies conduisant à la réduction de la pauvreté ?

Questions sur les aspects transversaux (cross-cutting issues)

Les aspects transversaux les plus fréquemment évoqués dans les évaluations récentes sont :

• Genre
• Environnement
• Bonne gouvernance (décentralisation, administration efficace, rendant des comptes et orientée vers le service à la population)
• Droits de l'homme, état de droit, démocratie, développement du rôle de la société civile
• SIDA

Chacune des questions qui suivent peut concerner un ou plusieurs aspects transversaux :

• Dans quelle mesure la C.E a-t-elle intégré [l'aspect transversal X] dans la conception et la mise en œuvre de ses interventions ?
• Dans quelle mesure la C.E a-t-elle contribué directement ou indirectement au développement [de l'aspect transversal X] ?

Questions sur les instruments et la mise en oeuvre

• Dans quelle mesure le choix des différents instruments et leur combinaison était-ils appropriés pour générer les effets attendus dans le contexte du pays partenaire ?
• Dans quelle mesure les mécanismes de suivi ont-ils été focalisés sur les résultats et ont-ils contribué à les améliorer ?
• Dans quelle mesure les procédures administratives d'attribution des financements et de gestion des actions favorisent-elles ou freinent-elles l'adaptation des aides aux besoins des bénéficiaires ?
• Dans quelle mesure la mise en œuvre [du nouvel instrument " Y " (par exemple un appui budgétaire sectoriel)] améliore-t-elle significativement les chances d'obtenir les impacts attendus ?
• Dans quelle mesure la conception et la mise en œuvre des interventions a-t-elle permis une bonne appropriation par les partenaires locaux ?

Exemple d'une évaluation récente

L'exemple qui suit présente les neuf questions choisies dans le cas d'une évaluation récente au niveau pays (avec plusieurs simplifications importantes).

• Dans quelle mesure la stratégie sanitaire de la Commission répond-elle aux besoins fondamentaux de la population, en particulier des plus pauvres?
• La stratégie de la Commission dans le secteur privé est-elle adaptée aux besoins des entreprises?
• Dans quelle mesure les interventions de la Commission en matière de transport ont-elles contribué à renforcer le commerce national et régional ?
• Dans quelle mesure les interventions de la Commission ont-elles contribué à assurer la pérennité des investissements dans le secteur des transports ?
• Dans quelle mesure les interventions européennes contribuent-elles au renforcement du processus de coopération et d'intégration économique régionale et mondiale?
• Dans quelle mesure les interventions de la Commission ont- elles contribué au processus de décentralisation?
• Dans quelle mesure les appuis macroéconomiques ont-ils contribué à améliorer la gestion des finances publiques?
• Dans quelle mesure la CE assure-t-elle la coordination, la cohérence et la complémentarité des interventions avec les programmes des autres bailleurs, en particulier des Etats membres?
• Dans quelle mesure l'objectif transversal de bonne gouvernance est-il intégré dans l'ensemble des interventions?

.

EVALUATION AU NIVEAU REGION

.

Pour une évaluation au niveau région, les questions concernent par exemple :

• La stratégie (et éventuellement les stratégies précédentes), sa conception, sa mise en oeuvre et la pertinence de ses objectifs compte tenu de l'évolution du contexte
• Les instruments de coopération mis en place au niveau régional
• Le soutien à l'intégration régionale

Les questions ci-dessous sont présentées à titre indicatif. Beaucoup d'entre elles sont dérivées des derniers travaux d'évaluation pays conduits par l'Unité d'évaluation.

Questions de pertinence

• Dans quelle mesure la stratégie de la Commission est-elle adaptée aux priorités du processus d'intégration de la région?
• Dans quelle mesure la Commission a-t-elle identifié les besoins/problèmes qui justifient un appui au niveau régional plutôt que national?
• Dans quelle mesure la stratégie de la Commission est-elle concentrée sur les institutions / les partenaires les mieux placés pour traiter les problèmes d'intégration régionale ?
• Dans quelle mesure la stratégie régionale de la Commission tient-elle compte des besoins spécifiques des pays de la région?
• Jusqu'à quel point la stratégie de la Commission s'est-elle adaptée aux évolutions des besoins au niveau de la région et des pays qui la composent ?
• Dans quelle mesure la stratégie a-t-elle intégrée les leçons de l'expérience acquise dans des régions comparables?

Questions d'efficacité

Ce site propose une méthode pour choisir des questions spécifiques à tel ou tel secteur d'aide, à partir de l'analyse de la logique d'intervention. La méthode génère des questions ayant la forme standard suivante :

• Dans quelle mesure l'aide européenne dans le secteur a-t-elle contribué à [générer l'effet X (spécifique au secteur)]?

Il s'agit donc de questions d'efficacité (atteinte d'un objectif spécifique ou obtention d'un effet attendu). Chaque question de forme standard peut être déclinée en de multiples autres questions
… en précisant le champ par exemple :

• Dans quelle mesure l'aide européenne dans le secteur [programmée dans le cadre de la stratégie régionale en cours] a-t-elle contribué à générer l'effet X ?

… ou en précisant l'effet concerné, par exemple :

• Dans quelle mesure l'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [dans les pays les moins avancés]?

… ou en changeant de critère d'évaluation, par exemple :

• L'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [de façon durable] ? (durabilité)
• L'aide européenne dans le secteur a-t-elle contribué à générer l'effet X [avec un coût limité comparativement à …]? (efficience ou coût-efficacité)

Il est également intéressant des poser des questions d'efficacité génériques, c'est à dire recoupant de façon transversale toute la logique d'intervention, par exemple :

• Dans quelle mesure les interventions de la Commission ont-elles contribué au renforcement du processus d'intégration régional?
• Dans quelle mesure les interventions de la Commission ont-elles contribué au renforcement de la capacité des institutions de coopération régionale ?

Questions d'efficience

Les questions d'efficience (également appelées coût-efficacité) peuvent être spécifiques à un secteur d'aide et prendre une forme de type :

• L'aide européenne dans le secteur a-t-elle contribué à générer [l'effet X (spécifique au secteur) avec un coût limité comparativement à …] ?

Il est également intéressant des poser des questions d'efficience génériques, par exemple :

• Dans quelle mesure les interventions de la Commission ont-elles permis de produire les effets attendus avec des coûts de transaction aussi limités que possible ?
• Les actions qui ont mobilisé le plus de ressources démontrent-elles une plus grande valeur ajoutée de l'aide communautaire?
• Dans quelle proportion les ressources de la C.E. ont-elles été mises au service des différents objectifs de sa stratégie régionale?

Questions de durabilité

Les questions de durabilité sont généralement spécifiques à un secteur d'aide et prennent une des formes suivantes :

• Dans quelle mesure l'intervention de la Commission a-t-elle contribué à générer [l'effet X] de façon telle qu'il subsistera après la fin de l'aide?

Questions de cohérence/complémentarité

• Dans quelle mesure l'aide apportée dans le secteur X (ex : routes) contribue-t-elle directement ou indirectement aux objectifs poursuivis dans le secteur Y (ex : commerce)?
• Dans quelle mesure la conception de la stratégie a-t-elle pris en compte les interactions et conflits potentiels avec les autres politiques de la C.E.?
• Dans quelle mesure la stratégie de la Commission au niveau régional est-elle complémentaire avec les stratégies définies dans chacun des pays de la région ?

Questions sur les aspects transversaux (cross-cutting issues)

Les aspects transversaux les plus fréquemment évoqués dans les évaluations récentes sont :

• Genre.
• Environnement.
• Bonne gouvernance (décentralisation, administration efficace, rendant des comptes et orientée vers le service à la population).
• Droits de l'homme, état de droit, démocratie, développement du rôle de la société civile.
• VIH/SIDA.

Chacune des questions qui suivent peut concerner un ou plusieurs aspects transversaux :

• Dans quelle mesure la C.E a-t-elle intégré [l'aspect transversal X] dans la conception et la mise en œuvre de ses interventions ?
• Dans quelle mesure la C.E a-t-elle contribué directement ou indirectement au développement [de l'aspect transversal X]?

Questions sur les instruments et la mise en oeuvre

• Dans quelle mesure le choix des différents instruments et leur combinaison était-ils appropriés pour générer les effets attendus ?
• Dans quelle mesure les mécanismes de suivi ont-ils été focalisés sur les résultats et ont-ils contribué à les améliorer?
• Dans quelle mesure les procédures administratives d'attribution des financements et de gestion des actions ont-elles favorisé ou freiné les progrès vers les objectifs stratégiques ?
• Dans quelle mesure la conception et la mise en œuvre des interventions a-t-elle permis une bonne appropriation par les institutions de coopération régionale?

Exemple d'une évaluation récente

L'exemple qui suit présente les neuf questions choisies dans le cas d'une évaluation récente au niveau de la région MERCOSUR (avec plusieurs simplifications importantes) :

• Dans quelle mesure la stratégie de la Commission ou le soutien de la Commission sont-ils cohérents avec les priorités du processus d'intégration du MERCOSUR ?
• Dans quelle mesure la stratégie de la CE tient-elle compte des besoins spécifiques des Etats membres du MERCOSUR, et de leur évolution au cours de la période évaluée ?
• Dans quelle mesure le soutien de la Commission a-t-il contribué à renforcer la capacité du MERCOSUR à négocier un accord d'association interrégionale efficacement ?
• Comment les projets économiques et commerciaux ont-ils contribué au renforcement du processus d'intégration du MERCOSUR?
• Dans quelle mesure les procédures de coopération de la Commission (y compris les mécanismes d'implémentation et versement des fonds) ont-elles affecté les résultats potentiels?
• Dans quelle mesure la CE a-t-elle coordonné sa stratégie et assuré sa cohérence avec ses autres politiques qui ont une dimension internationale, en particulier l'environnement ?
• Dans quelle mesure la stratégie européenne a-t-elle contribué à la pérennité du MERCOSUR?

.

EVALUATION GLOBALE OU THEMATIQUE

.

Pour une évaluation globale sectorielle ou thématique, les questions concernent par exemple :

• Les effets spécifiques au secteur et leur durabilité
• La prise en compte des aspects transversaux
• L'efficacité ou l'efficience des instruments spécifiques au secteur

Les questions ci-dessous sont présentées à titre indicatif. Beaucoup d'entre elles sont dérivées des derniers travaux d'évaluation pays conduits par l'Unité d'évaluation.

Questions de pertinence

• Dans quelle mesure les interventions de la Commission sont-elles ajustées aux besoins spécifiques des pays (des régions) [de catégorie X] ?
• " Dans quelle mesure la conception des interventions de la Commission permet-elle d'obtenir une combinaison d'activités et d'instruments adaptée à l'atteinte de l'objectif [X] ?
• Jusqu'à quel point la Commission accorde-t-elle une priorité au secteur/thème évalué et dans quelle mesure ces choix sont-ils justifiés ?
• Dans quelle mesure la stratégie de la Commission en ce qui concerne le secteur/thème a-t-elle intégrée les leçons de l'expérience des autres bailleurs ?

Questions d'efficacité

Ce site propose une méthode pour choisir des questions à partir de l'analyse de la logique d'intervention. Cette méthode se fonde généralement sur l'analyse d'un ou plusieurs documents stratégiques qui établissent un ensemble cohérent d'objectifs. Il se peut que de tels documents n'existent pas dans le cas d'une évaluation thématique ou sectorielle à l'échelle globale, mais cela n'empêche pas de reconstituer la logique d'intervention de façon moins formelle. Il est alors possible de dériver des questions ayant la forme standard suivante :

• Dans quelle mesure l'aide européenne a-t-elle contribué à [générer l'effet X (spécifique au secteur/thème)]?

Il s'agit donc de questions d'efficacité (atteinte d'un objectif spécifique ou obtention d'un des effets attendus en particulier). Chaque question de forme standard peut être déclinée en de multiples autres questions
… en précisant le champ par exemple :

• Dans quelle mesure l'aide européenne [spécifiquement dédiée au secteur/thème soumis à l'évaluation] a-t-elle contribué à générer [l'effet X] ?
• Dans quelle mesure l'aide européenne [mise en œuvre selon telle procédure / utilisant tel instrument] a-t-elle contribué à générer [l'effet X] ?

… ou en précisant l'effet concerné, par exemple :

• Dans quelle mesure l'aide européenne a-t-elle contribué à générer [l'effet X pour les catégories les plus pauvres de la population] ?

… ou en changeant de critère d'évaluation, par exemple :

• Dans quelle mesure l'aide européenne a-t-elle contribué à générer l'effet X [de façon durable]? (durabilité)
• Dans quelle mesure l'aide européenne a-t-elle contribué à générer l'effet X [avec un coût limité comparativement à …] ? (efficience ou coût-efficacité)

Il est également intéressant des poser des questions d'efficacité génériques, c'est à dire recoupant de façon transversale toute la logique d'intervention, par exemple :

• Dans quels cas l'aide européenne a-t-elle le mieux contribué à développer des capacités institutionnelles et une gouvernance adaptée aux besoins du secteur ?
• Dans quelle mesure les interventions de la Commission rendu les pays capables d'identifier leurs besoins et de concevoir des actions adaptées à ces besoins ?
• Dans quelle mesure les interventions de la Commission ont-elles permis de répondre en priorité aux besoins de la population et en particulier des publics les plus défavorisés?

Questions d'efficience

Les questions d'efficience (ou coût-efficacité) peuvent être spécifiques au secteur/thème et prendre une forme de type :

• L'aide européenne a-t-elle contribué à générer [l'effet X] avec un coût comparable aux bonnes pratiques observées dans des pays similaires ?
• Dans quels pays (dans quelles circonstances) l'aide européenne a-t-elle contribué à générer [l'effet X] avec un rapport coût-efficacité particulièrement favorable ? et quelles sont les raisons de ces succès ?
• Dans quelle proportion les ressources de la C.E. ont-elles bénéficié aux différents publics /territoires concernés ?

Questions de durabilité

Les questions de durabilité prennent une généralement une des formes suivantes :

• Dans quelle mesure l'intervention de la Commission a-t-elle contribué à générer [l'effet X] de façon telle qu'il subsistera après la fin de l'aide ?
• Dans quelle mesure l'intervention de la Commission a-t-elle contribué à générer [l'effet X] de façon telle qu'il subsistera en cas de limitation de l'aide [à l'investissement uniquement] ?

Questions de cohérence/complémentarité

• Dans quelle mesure les interventions dans le secteur contribue-t-elle directement ou indirectement aux objectifs poursuivis dans un autre secteur ?
• Dans quelle mesure les interventions dans le secteur ont-elles des effets qui se renforcent mutuellement (ou qui se contrarient) avec les autres politiques de la C.E.?
• Dans quelle mesure les différentes politiques de la C.E se renforcent mutuellement (ou se contrarient) pour ce qui est de générer [l'effet X]?
• Dans quelle mesure l'aide européenne dans le secteur prend-elle en compte les interactions ou conflits potentiels avec les autres politiques européennes concernant le secteur ?
• Dans quelle mesure la coordination avec les intérêts bilatéraux et multilatéraux a-t-elle permis d'aboutir à un dialogue politique plus productif en vue de générer [l'effet X] ?
• Dans quelle mesure la Commission a-t-elle contribué à la coordination entre les différents partenaires du développement et jusqu'à quel point cela a-t-il permis des progrès sur les différentes voies conduisant à l'obtention de [l'effet X] ?

Questions sur les aspects transversaux (cross-cutting issues)

Les aspects transversaux les plus fréquemment évoqués dans les évaluations récentes sont :

• Genre.
• Environnement.
• Bonne gouvernance (décentralisation, administration efficace, rendant des comptes et orientée vers le service à la population).
• Droits de l'homme, état de droit, démocratie, développement du rôle de la société civile.
• VIH/SIDA.

Chacune des questions qui suivent peut concerner un ou plusieurs aspects transversaux:

• Dans quelle mesure la C.E a-t-elle intégré [l'aspect transversal X] dans la conception et la mise en œuvre de ses interventions ?
• Dans quelle mesure la C.E a-t-elle contribué directement ou indirectement au développement [de l'aspect transversal X]?
• Dans quels pays / circonstances les interventions de la C.E. ont-elles le mieux contribué au développement [de l'aspect transversal X] ?

Questions sur les instruments et la mise en oeuvre

• Dans quelle mesure les interventions dans le secteur ont-elles mis en œuvre [l'instrument X], et avec quels effets ?
• Dans quelle mesure les procédures administratives d'attribution des financements et de gestion des actions favorisent-elles ou freinent-elles l'obtention de [l'effet X] ?

Exemple d'une évaluation récente

L'exemple qui suit présente les neuf questions choisies dans le cas de l'évaluation globale du secteur 'Commerce' :

• Dans quelle mesure les programmes de la Commission sont-ils affectés par les besoins spécifiques du pays/ de la région pour la négociation des accords futurs ?
• Dans quelle mesure les programmes de la Commission sont-ils affectés par les besoins spécifiques du pays/ de la région pour la profitabilité du commerce international ?
• Dans quelle mesure les pratiques de diagnostic et d'analyse aux étapes d'identification et de programmation du cycle de projet rendent-elles plus probable une combinaison d'activités qui contribue à l'obtention équilibrée des objectifs ?
• Dans quelle mesure les modalités de mise en oeuvre (y compris les ressources et outils mis à disposition) déterminent l'obtention des objectifs ?
• Dans quelle mesure les interventions de la Commission ont permis aux pays de renforcer leur cadre institutionnel pour les accords commerciaux régionaux ?
• Dans quelle mesure les programmes de la Commission rendu les pays capables d'identifier et d'articuler leurs besoins et d'améliorer leur position dans les négociation commerciales internationales?
• Dans les pays et régions où la Commission a financé un plus grand nombre d'interventions pour le commerce, dans quelle mesure les agents du secteur productif ont-ils utilisé efficacement les réalisations de ces interventions?
• Dans les pays et régions où la Commission a financé un plus grand nombre de programmes pour le commerce, dans quelle mesure ces interventions on le plus affecté la volume, la valeur et la direction des flux commerciaux?
• Dans quelle mesure les initiatives de la CE ont aidé à contrebalancer les possibles conséquences négatives du commerce sur les droits de l'homme, les droits sociaux fondamentaux, et les questions environnementales?