RÉVISION À MI-PARCOURS DES PROGRAMMES STRUCTURELS OBJECTIFS 1 ET 6 (1994-1999)

COMMISSION EUROPÉENNE DIRECTION GÉNÉRALE XVI POLITIQUE RÉGIONALE ET COHÉSION Direction G : Coordination et Evaluation des interventions Coordination de l'évaluation RÉVISION À MI-PARCOURS DES PROGRAMMES STRUCTURELS OBJECTIFS 1 ET 6 (1994-1999) DÉVELOPPEMENT D’UNE CULTURE DE GESTION PAR L’ÉVALUATION : POUR UNE MEILLEURE PRATIQUE SYNTHESE INTRODUCTION ......................................................................................................................................... 3 I. Eléments clés de l'examen à mi-parcours.....................................................................................4 1.1. Contexte politique et évolution des besoins .............................................................................4 1.2. Orientations de la Commission ................................................................................................4 1.3. Evaluations à mi-parcours........................................................................................................5 1.4. Mise en œuvre financière .........................................................................................................5 II. Leçons des évaluations à mi-parcours .........................................................................................6 2.1. Mise en œuvre des évaluations à mi-parcours..........................................................................6 2.2. Principales constatations ........................................................................................................10 2.3. Utilisation des résultats de l'évaluation ..................................................................................20 III. Principaux résultats et adaptations ............................................................................................ 21 3.1. Lien entre évaluation et reprogrammation .............................................................................21 3.2.Réaffectations globales des Fonds structurels.........................................................................23 3.3. Inclusion des priorités européennes .......................................................................................24 IV. Implications politiques et enjeux futurs ......................................................................................27 4.1. Implications à court terme pour les systèmes de répartition actuels ......................................27 4.2. Premières réflexions pour les programmes futurs.................................................................28 4.3. L'enjeu de l'évaluation................................................................................................... .........28 -2- INTRODUCTION La révision à mi-parcours1 a pour but d'assurer une meilleure efficacité à la mise en œuvre des interventions de nature structurelle reprises dans les cadres communautaires d'appui (CCA) et les documents uniques de programmation (DOCUP). Cette opération est particulièrement importante étant donné les contraintes budgétaires publiques actuelles. Du fait de ces contraintes, il devient de plus en plus nécessaire que les ressources des Fonds structurels soient pleinement utilisées et que le contenu de leurs interventions soit de très bonne qualité. L'évaluation représente un moyen important permettant d'atteindre ces objectifs. La réglementation structurelle actuelle apporte une innovation très importante en demandant l'introduction de l'évaluation systématique dans tous les programmes communautaires. Dans le cadre de l'initiative SEM 2000 (Gestion saine et efficace), la Commission considère l'évaluation comme un élément clé pour améliorer la culture de bonne gestion dont s’inspire le fonctionnement des programmes communautaires2. Plus récemment, le document d'orientation de la Commission, Agenda 20003 concernant la période 2000-2006, a visé à assurer un meilleur rapport coût/efficacité aux futures interventions structurelles en renforçant le suivi, le contrôle financier et l'évaluation dans le cadre d’une gestion décentralisée. Le présent rapport récapitule les éléments principaux des révisions à mi-parcours effectuées dans les Etats membres et il analyse en particulier le rôle des évaluations à mi-parcours ainsi que la prise en compte des priorités communautaires dans tous les programmes des objectifs nos 1 et 6. Les évaluations à mi-parcours effectuées par les Etats membres constituent la principale source d'information du présent rapport. Celui-ci tente d’analyser le rôle de l'évaluation dans le déroulement de cette révision à miparcours et de déterminer les meilleures pratiques d'évaluation qui pourraient être retenues pour la période de programmation suivante. Ces pratiques sont caractéristiques d'une culture de gestion qui est en train de voir le jour à partir du développement de la pratique de l'évaluation. En identifiant les bonnes pratiques, ce rapport permet de mieux comprendre la façon dont les évaluations ont été mises en œuvre et utilisées pour les révisions à mi-parcours, particulièrement dans la perspective de leur future application dans le contexte des nouveaux règlements sur les Fonds structurels. À cet égard, il constitue une base expérimentale pour les actions à entreprendre après 1999. 1 Le présent rapport établit une distinction entre évaluation à mi-parcours et révision à mi-parcours. Bien que les deux termes soient parfois employés l’un pour l’autre, la révions à mi-parcours décrit plus précisément le processus complet, qui comprend l'évaluation et l'adaptation des priorités qui en résulte et les réallocations budgétaires du programme. L'évaluation à mi-parcours est simplement l'exercice d'évaluation proprement dit se lequel se fonde la révision à mi-parcours. SEM 2000 - Communication sur l'évaluation, 8 mai 1996. Agenda 2000, Pour une Union plus forte et plus large, 1997. 2 3 -3- Le rapport aborde les quatre domaines suivants : 1. 2. 3. 4. le processus global de la révision à mi-parcours ; les principales conclusions qui se dégagent des évaluations à mi-parcours ; les principaux résultats et les adaptations effectuées ; les implications pour l'exécution des programmes et les priorités ainsi que les enjeux futurs. I. ELEMENTS CLES DE LA REVISION A MI-PARCOURS La révision à mi-parcours se fonde sur quatre éléments principaux : le contexte politique, les orientations de la Commission, les évaluations à mi-parcours et l'état d'avancement de la mise en œuvre financière des programmes des objectifs nos 1 et 6. 1.1. Contexte politique et évolution des besoins L’objectif principal des cadres communautaires d’appui et des documents uniques de programmation est de réduire les disparités entre Etats membres en termes de revenu par habitant. Ces interventions cherchent à modifier de façon durable la structure et les performances des économies bénéficiaires. Elles sont motivées par des priorités et stratégies nationales spécifiques destinées à s'attaquer à des problèmes essentiels de structure, comme les différences d'infrastructure et de capital humain, facteurs importants de la compétitivité régionale, et donc des bons résultats en terme de croissance. Le niveau du revenu par habitant des quatre Etats membres les plus pauvres — les pays bénéficiant de l'intervention du Fonds de cohésion — a nettement progressé. Des disparités persistent cependant entre les régions européennes : en 1995, le revenu moyen par habitant des 25 régions les plus prospères était trois fois plus élevé que celui des régions les moins développées. Les disparités en matière de chômage sont encore plus graves, les groupes sociaux les plus désavantagés4 étant particulièrement touchés. L'évolution du contexte économique, social ou politique des Etats membres a de plus modifié leurs besoins et problèmes respectifs, et a donc influencé la façon dont ils ont adapté leurs programmes. Par exemple, la récente réussite économique de l'Irlande a modifié le besoin de certains types d'intervention, notamment des interventions en faveur du secteur productif. L'évaluation à mi-parcours effectuée dans cet Etat membre a montré la nécessité de réorienter les ressources vers l'infrastructure publique (par exemple, les routes non urbaines) afin de suivre le rythme de la croissance économique. De même, la reconnaissance de l'emploi comme première priorité communautaire a également conduit à un certain nombre d'adaptations, comme par exemple l'introduction concrète des pactes territoriaux pour l'emploi. Par ailleurs, la modification des politiques nationales de l'emploi, comme la réforme structurelle du marché de l'emploi, a contribué à redéfinir certaines actions de formation. Certains événements non prévus ont également été pris en charge dans le cadre des Fonds structurels. Par exemple, en Italie, les mesures d'urgence prises après le tremblement de terre en Ombrie et dans les Marches ont permis à ces régions de bénéficier des ressources du cadre communautaire d'appui et sont un exemple de soutien mutuel entre régions italiennes. 1.2. Orientations de la Commission L'évolution du contexte économique et social des différents Etats membres a amené la Commission à adopter des orientations générales5 pour renforcer la valeur ajoutée des interventions communautaires. L'objectif de ces 4 Voir le premier rapport sur la cohésion économique et sociale (1996), COM (96) 542 final du 6 novembre 1996. Priorités concernant l'adaptation des programmes des Fonds structurels jusqu'à la fin de l'année 1999* Orientations de la Commission, mai 1997. La formulation d'orientations a été approuvée par les États membres au cours de la réunion informelle des ministres chargés des politiques régionales et de 5 -4- orientations était de définir une politique générale et un cadre prioritaire à l'intérieur duquel les adaptations des programmes en cours (1994-1999) des objectifs nos 1 et 6 pourraient être effectuées dans le cadre de la procédure de révision à mi-parcours. Les orientations définissent un certain nombre de thèmes prioritaires à l'appui de l'objectif principal des interventions des Fonds structurels pour aider à mettre en place les conditions favorables au développement, à la croissance et à une compétitivité économique durable, et, par là, à des emplois durables. L'objectif global a été axé sur les priorités spécifiques suivantes : infrastructures de base, environnement productif (ensemble des mesures destinées à l'amélioration de la croissance et de la compétitivité économique et industrielle), recherche et développement technologique, environnement et développement durable, valorisation des ressources humaines et égalité des chances. 1.3. Evaluations à mi-parcours Conformément aux règlements des Fonds structurels et aux clauses générales des programmes, tous les Etats membres (à l'exception de l'Italie6) ont procédé à des évaluations à mi-parcours afin de fournir des informations pour l'examen de leurs interventions de nature structurelle. Ces évaluations ont été conçues pour contribuer à améliorer l'exécution et la gestion des programmes pour le reste de la période concernée. Le document d'orientation7 publié par la Commission précise que les évaluations à mi-parcours doivent comprendre une analyse critique de toutes les données collectées (en particulier des données de suivi), indiquer dans quelle mesure les objectifs ont été atteints, expliquer toute divergence entre les résultats réels et les résultats attendus de l'intervention et apprécier les motifs de l'intervention ainsi que la pertinence de ses objectifs. Les évaluations doivent en outre fournir les données permettant aux comités de suivi de se forger une opinion et de proposer aux autorités concernées des mesures correctives pour adapter les programmes. D'une manière générale, en ce qui concerne les programmes d'une durée supérieure à trois ans, une évaluation à mi-parcours est effectuée à la fin de la troisième année de mise en œuvre. Ces programmes sont aussi soumis à une évaluation ex post à la fin de la période de référence. L'organisation de l'évaluation doit tenir compte de ce calendrier. 1.4. Mise en œuvre financière Généralement, les évaluations portent sur l’appréciation des impacts et des progrès accomplis en matière d’atteinte des objectifs et des priorités. Elles se fondent sur des données financières relatives à la mise en œuvre des programmes fournies par les systèmes de suivi concernés. Par ailleurs, les données sur la mise en œuvre du budget au niveau européen donne un tableau des crédits d'engagements et des crédits de paiement. Le paragraphe ci-après donne un aperçu des progrès enregistrés pour les programmes des objectifs nos 1 et 6 (voir annexe 2). Entre 1994-1997, la mise en œuvre des programmes de l'objectif n° 1 a progressé de manière continue et régulière. Cette tendance s'est d’ailleurs maintenue pendant le premier semestre 1998. Fin 1997, 64 % des crédits étaient engagés (46 % fin 1996) et les paiements étaient effectués à hauteur de 48 % des crédits (33 % fin 1996). Cette accélération a été particulièrement prononcée en Espagne et au Portugal, avec respectivement, pour la période 1994-1997, 69 % et 70 % des crédits engagés et 53 % et 56 % des crédits payés. Dans les autres Etats membres, on constate d'importants retards dans la mise en œuvre des engagements, (notamment aux Pays-Bas, en France et en Belgique), alors qu'en Italie et en Autriche, les retards concernent essentiellement les paiements effectués. En ce qui concerne l'objectif n° 6, les deux Etats membres présentent des situations contrastées. La l'aménagement du territoire qui s'est tenue à Ballyconnell, en Irlande, les 14 et 15 novembre 1996. Les États membres ont formellement demandé à la Commission de "formuler des orientations politiques conformes au principe de subsidiarité, en vue d'adapter les programmes actuels des objectifs nos 1 et 6 dans le sens d'une intensification des mesures en faveur de l'emploi jusqu'à la fin de l'année 1999". 6 L'évaluation à mi-parcours a été entreprise à titre provisoire par les autorités italiennes (unité d'évaluation du ministère du budget) au cours du premier semestre 1997. Guide commun du suivi et des évaluations intermédiaires (1996). 7 -5- mise en œuvre est plus avancée en Finlande qu'en Suède : fin 1997, 59 % des fonds étaient engagés en Finlande contre 32 % seulement en Suède. II. LEÇONS DES EVALUATIONS A MI-PARCOURS Cette démarche d'évaluation à mi-parcours représente une innovation importante dans la bonne gestion des Fonds structurels. Elle constitue un cadre de réflexion particulièrement utile pour améliorer l'efficacité globale des interventions communautaires. Les principales leçons à en tirer concernent la procédure de mise en œuvre et l’intérêt des principaux résultats constatés. 2.1. Mise en œuvre des évaluations à mi-parcours a) Evaluation à mi-parcours : une responsabilité partagée L'une des innovations des règlements qui régissent actuellement les Fonds structurels concerne le renforcement des exigences en matière d'évaluation de l'efficacité et du bon fonctionnement des interventions. Ces exigences sont clairement définies dans ces règlements8. La Commission et les Etats membres ont travaillé conjointement à la définition des procédures opérationnelles à suivre. L'évaluation est devenue ainsi une responsabilité partagée. En 1995, les Etats membres et la Commission se sont efforcés activement de parvenir à un consensus sur leur contenu et sur les modalités à suivre dans chaque cas. Le cadre opérationnel proposé par la Commission a fait l'objet d'une discussion multilatérale, et la mise en œuvre de l'évaluation s'est généralement effectuée au niveau de chaque comité de suivi. D'une manière générale, malgré les problèmes qui accompagnent toute nouvelle procédure et les difficultés de certains Etats membres à définir et à mettre en place une procédure d'évaluation, aucun désaccord important n'a été relevé entre les Etats membres et la Commission9. b) Mise en place des évaluations à mi-parcours Au-delà des règlements — Améliorer la gestion La plupart des formes d'intervention (CCA, DOCUP, programmes opérationnels, subventions globales, etc.) programmées dans chaque Etat membre ont fait l'objet d'une évaluation spécifique. Certains Etats membres ont également mis en place, en complément de leurs évaluations à mi-parcours, d'autres évaluations, de nature thématique (portant, notamment, sur les actions relatives aux PME et à la recherche) ou opérationnelle (critères de sélection, procédures, etc.). Le nombre élevé d'évaluations à mi-parcours (plus de cent pour les programmes des objectifs nos 1 et 610) témoigne de l'importance qui leur est à présent accordée par les Etats membres. C'est ce que montre non seulement leur respect des dispositions réglementaires, mais aussi leur perception de l'évaluation en tant qu'instrument visant à améliorer la gestion des crédits et à optimiser les résultats. Le coût des évaluations 8 Selon l'art. 26, paragraphe 2, du règlement de coordination, “l'appréciation et l'évaluation sont effectuées, selon les cas, en confrontant, le cas échéant, les objectifs avec les résultats obtenus, par rapport aux objectifs et indicateurs macroéconomiques et sectoriels fondés sur des données statistiques régionales et nationales, aux données générées par des études analytiques et descriptives ainsi qu'à des analyses de type qualitatif”. Les clauses générales des CCA et des DOCUP, convenues avec les États membres, indiquent que “le suivi […] s'appuie sur des évaluations intermédiaires de façon à pouvoir procéder à tout ajustement nécessaire des cadres CCA et des opérations en cours”. La réunion informelle des ministres chargés des politiques régionales et de l'aménagement du territoire qui s'est tenue à Madrid le 30 novembre et le 1er décembre 1995 a montré une sensibilisation accrue de la part des États membres à l'égard de l'importance de l'évaluation à mi-parcours et de ses objectifs opérationnels. Voir liste à l'annexe 3. 9 10 -6- Le document SEM 2000 Communication sur l'évaluation (1996) recommande que le budget global consacré aux activités d'évaluation ne dépasse pas 0,5 % du budget du programme. Les coûts de l'évaluation sont généralement supportés par le budget “Assistance technique” de chaque programme. Le pourcentage des crédits affectés à cette activité a généralement été bien inférieur à 0,1 % du coût total des programmes. De toute façon, il aurait été inapproprié d'appliquer des pourcentages fixes, le coût d'une évaluation n'étant pas obligatoirement proportionnel au coût du programme concerné. La procédure d'évaluation Le point de départ de l'évaluation à mi-parcours consiste à analyser dans quelle mesure le programme concerné se prête à l'évaluation (possibilité de procéder à une évaluation ou "évaluabilité") et à élaborer une méthodologie à appliquer pendant la phase suivante. Il est nécessaire d’examiner dans un premier temps si un programme donné peut facilement être évalué afin de corriger des lacunes ou des incohérences relevées dans les informations contenues dans les documents de programmation, comme la quantification insuffisante des objectifs relatifs à certaines actions. Il est important de comprendre, lors de cette phase, que, avant de pouvoir entreprendre avec succès une évaluation, il faut veiller à ce que les dispositions nécessaires aient été prises pour que le programme en question puisse être évalué. En particulier, l'évaluation d'un programme nécessite généralement que les indicateurs et objectifs quantifiés correspondants aient été fixés à l’avance et soient suivis tout au long de la durée du programme (encadré 1). Encadré 1 : Apprécier la faisabilité de l'évaluation - Programme opérationnel du FEDER en Andalousie (Obj .n° 1) Cette évaluation avait pour but de décrire les raisons d’être des actions et des objectifs programmés, leur degré de synergie et l'adéquation de la gestion du programme. Elle s'articulait autour de trois éléments principaux : qualité de la planification, systèmes d'information et capacité de gestion. La démarche adoptée comprenait l'analyse des documents de programmation (à l'aide d'un cadre logique) et des entretiens avec les principaux gestionnaires de programme. L'application de cette méthode a permis de tirer des conclusions pratiques. En ce qui concerne la qualité du programme, l'évaluateur a relevé des lacunes dans l'analyse SWOT (atouts, faiblesses, ouvertures, menaces) et des problèmes concernant certains objectifs mal ciblés (par exemple le tourisme). Il a été jugé en outre que la base d'information s’appuyait trop sur les réalisations et pas assez sur les indicateurs d'impact. Le système de gestion a également fait l'objet d'une appréciation afin de dégager les améliorations possibles, en accordant une attention particulière à la répartition des tâches et des responsabilités au sein de l'administration régionale. Bien qu'il n'ait pas été tenu compte de toutes les recommandations, cette première évaluation a permis aux gestionnaires de programme de mieux prendre conscience de la nécessité de promouvoir une culture de l'évaluation et d'avoir une meilleure compréhension de leur propre programme. En règle générale, l'évaluation est effectuée à mi-parcours de la mise en œuvre d'un programme. Elle a pour but d'apprécier dans quelle mesure le programme a atteint ses objectifs, de déterminer l'incidence initiale des interventions et, le cas échéant, de proposer des recommandations en vue d'améliorer la gestion du programme et d'optimiser ses résultats. Les évaluations à mi-parcours doivent également prendre comme point de référence les résultats des appréciations ex ante effectuées sur la base des projets soumis par les Etats membres. Indépendance des évaluateurs Les Etats membres ont convenu qu'il est particulièrement important de veiller à ce que les rapports d'évaluation soient établis indépendamment des autorités chargées de la gestion des Fonds structurels et des organes exécutifs chargés des actions cofinancées. Des mécanismes ont donc été mis en place pour désigner des évaluateurs externes (consultants, équipes universitaires de spécialistes, etc.). Dans les Etats membres où l'évaluation fait partie intégrante des programmes de dépenses publiques, les évaluateurs externes bénéficient souvent des commentaires et du soutien continus des autorités compétentes. Les évaluations internes peuvent présenter certains avantages (en favorisant par exemple “l'apprentissage par l'action”) car les autorités de gestion sont concernées par les questions sur le "pourquoi" et le "comment" de leurs activités. Cependant, dans le cas des évaluations à mi-parcours et des évaluations ex post, les évaluations internes ne sont en général pas réalisables ni rentables, voire pas souhaitables. Il convient de noter l'exception de l'Italie, où l'évaluation à mi-parcours, effectuée par l'unité d'évaluation du ministère du budget, a quand même -7- relevé un certain nombre d'insuffisances, notamment au sujet de la qualité des documents de programmation et l’absence d’objectifs et d'indicateurs appropriés. c) Mise en valeur du potentiel d'évaluation dans les Etats membres Mise en place de structures de gestion La mise en œuvre des évaluations à mi-parcours incombe généralement aux comités de suivi. Ils définissent le contenu des rapports d'évaluation et établissent le programme de travail des évaluateurs. Surtout, ils analysent et discutent les rapports d'évaluation qui leur sont soumis, et, le cas échéant, formulent des propositions ou des avis sur les possibilités d'adaptation des programmes afin d'augmenter l'efficacité des fonds structurels alloués. Dans un nombre non négligeable de cas, les comités de suivi ont constitué des groupes ou des sous-comités techniques (encadré 2) chargés d'assurer la liaison permanente entre les comités et les évaluateurs. Ces groupes ont rédigé des rapports et des propositions (fondés sur les résultats des évaluations), destinés à être soumis aux discussions et à l'approbation du comité dans son ensemble. Encadré 2 : Gestion des évaluations — création de structures ad hoc. En Irlande, le CCA dans son ensemble et les trois principaux programmes opérationnels qui le composent ont bénéficié chacun des avis et de l'expertise d'une unité d'évaluation particulière. Des évaluateurs externes ont fourni le même type de service à la demande à cinq autres programmes opérationnels. Les comités de suivi ont discuté les rapports d'évaluation à mi-parcours au cours de deux réunions distinctes. Leurs conclusions et recommandations ainsi que le contenu des évaluations de chaque programme opérationnel ont servi à l'évaluation à mi-parcours du CCA. Celle-ci s'est également fondée sur un rapport d'évaluation régional et sur les orientations de la Commission. Au Portugal, des groupes d'évaluation techniques ont été constitués pour orienter et contrôler le processus d'évaluation. Ils étaient notamment chargés de valider les mandats, de participer à la sélection d'évaluateurs et de discuter les rapports définitifs avant leur soumission aux comités de suivi. Ces groupes étaient composés de représentants de la Commission et de représentants des administrations nationales et régionales concernées. Ils se sont réunis généralement au moins deux fois par an avant les réunions du comité de suivi. La nature constructive des relations entre les différents partenaires de ces groupes a contribué à améliorer la qualité du travail d'évaluation. Rôle du partenariat Dans l'ensemble, les partenaires de programme ont manifesté une attitude positive à l'égard des évaluations à miparcours et ils ont accepté la responsabilité de les mener à bien. Toutefois, les autorités régionales n'ont pas eu toutes le même degré d'engagement par rapport à l'exécution de l'évaluation à mi-parcours. Ces différences découlent des caractéristiques propres des systèmes politiques et institutionnels (c'est-à-dire le degré de décentralisation), des différentes formes d'intervention des Fonds structurels (programmes nationaux, sectoriels, régionaux et subrégionaux) et des différences de pratiques et d'expériences entre les différents Etats membres. Dans certains cas, les autorités régionales ont été chargées de la mise en place et de la gestion du processus d'évaluation. Elles ont participé à la sélection des évaluateurs et à la définition de leurs tâches, ont contribué à faciliter leur travail et ont veillé à ce que les comités de suivi discutent et analysent le résultat des évaluations. De plus, elles ont veillé à ce que les recommandations de l'évaluation soient appliquées au niveau des programmes. Dans d'autres cas, les responsabilités et le travail ont été assurés par les autorités nationales et régionales. Lorsqu'il existait des cadres communautaires d'appui (comme dans le cas de certaines zones de l'objectif n° 1), ce sont les autorités nationales qui ont été responsables de l'évaluation. Il convient également de noter le cas des Etats membres dans lesquels les autorités régionales n'ont pas de responsabilité exécutive pour la programmation et la gestion des Fonds structurels. Leur participation au processus consiste à faciliter la mise à disposition des données et de l'information nécessaires à l'élaboration des rapports d'évaluation, à coopérer à l'analyse de l'incidence des mesures politiques au niveau local, et, dans une certaine mesure, à participer à la redéfinition des orientations stratégiques et opérationnelles à partir des recommandations des rapports d'évaluation. Les partenaires sociaux ont également été associés à ce processus dans la mesure de leur participation aux comités de suivi. -8- En règle générale, ces différents partenariats ont été mis en place de manière souple et pragmatique. Création de qualifications professionnelles dans le domaine de l'évaluation Au cours des quatre dernières années, les activités en matière d'évaluation se sont sensiblement développées dans tous les Etats membres. Les exigences des règlements sur les Fonds structurels ont constitué un facteur essentiel de cette évolution. Dans une large mesure, la prestation en matière d'évaluation reste extérieure aux différentes administrations, à l’exception de l’Irlande et de l’Italie, qui ont créé leurs propres équipes spécialisées. Le développement de l’évaluation en tant qu’activité spécialisée a fait avancer le professionnalisme et l’expertise. Bien que les équipes d’évaluation désignées pour les différents programmes tendent à posséder des connaissances pluridisciplinaires en incluant à la fois des cabinets de conseil et des centres de recherche universitaires, leurs principales compétences concernent généralement l’économie et la gestion. d) Amélioration de la qualité des évaluations La qualité moyenne des évaluations à mi-parcours effectuées pendant la période de programmation 1994-1999 s'est sans aucun doute améliorée par rapport à la période précédente (1989-1993) bien que des facteurs tels que le retard de démarrage de certains programmes ou l'adoption de méthodologies inappropriées font que certains travaux n’ont pas atteint les standards adéquats. La qualité des rapports d'évaluation a été jugée selon les huit critères définis dans le cadre du programme MEANS11. D'après ces appréciations, il semble que la plupart des rapports aient été d'assez bonne qualité (encadré 3). Les évaluations ont souvent fourni des informations actualisées et une analyse des programmes par rapport à leurs objectifs et à leurs cibles ; certaines évaluations (p. ex. Irlande du Nord) ont appliqué leur propre appréciation de qualité en matière de points forts et d'insuffisances. L'expérience des évaluateurs, une meilleure connaissance et la recherche sur les aspects pratiques de l'évaluation ont également contribué à améliorer la qualité des rapports. Encadré 3 : Apprécier la qualité d'une évaluation : l'évaluation du CCA irlandais Le rapport d'évaluation remplis les critères suivants : • • • • • • • • 11 il répond d'une manière adaptée aux besoins d'information ; la justification du programme et de ses objectifs a fait l'objet d'un examen détaillé ; un cadre méthodologique spécifique a été conçu pour apprécier l'efficacité des actions ; une quantité adéquate de données fiables ont été collectées (malgré la persistance de lacunes et d'insuffisances) ; la performance du CCA a fait l'objet d'une analyse sérieuse ; des constatations crédibles ont été formulées et ont eu des effets concrets sur la structure du programme ; des conclusions objectives et suffisamment détaillées pour une utilisation opérationnelle ont été proposées ; la présentation aux parties prenantes est rédigée d'une manière claire et accessible. Appréciation de la qualité des rapports d'évaluation: un cadre d'évaluation. MEANS (Méthodes d'Évaluation des Actions de Nature Structurelle) est un programme de la Commission européenne qui a pour but d'améliorer les outils méthodologiques disponibles pour l'évaluation des actions structurelles. La qualité des rapports d'évaluation a été appréciée selon les huit critères suivants: répondre aux besoins: les évaluations répondent-elles correctement aux besoins d'information du comité de suivi et remplissentelles leur mandat?; pertinence du champ d’application: la justification, les réalisations et l'impact du programme sont-ils pleinement évalués, y compris les résultats inattendus?; méthode justifiable: l'évaluation est-elle conçue de manière à répondre aux questions posées?; données: les données utilisées/collectées sont-elles appropriées et leur fiabilité dûment prise en considération?; solidité de l'analyse: les informations disponibles sont-elles soumises à une analyse appropriée?; crédibilité des constatations: les constatations découlent-elles logiquement de l'analyse, et sont-elles justifiées par celleci?; impartialité des conclusions: les conclusions sont-elles justes, non biaisées par le point de vue des participants, et opérationnelles?; et clarté: le rapport est-il rédigé dans une forme compréhensible? -9- L'estimation globale de la qualité est donc très élevée, grâce à un cadre d'évaluation bien conçu. Le rapport a été publié et mis à la disposition du public. En ce qui concerne les programmes de développement rural, le jugement est assez différent suivant les évaluations intermédiaires. Dans certains cas, elles sont considérées comme acceptables (Espagne), dans d’autres cas comme satisfaisantes (Allemagne : différents Länder) ayant atteint leur but de montrer des résultats probants. Dans d’autres cas, elles sont considérées comme de très haut niveau, compte tenu de l’expérience et de la qualité des évaluateurs indépendants et d’une définition plus précise des objectifs et des cahiers des charges (Irlande). Parfois, les évaluations ont une portée plus limitée à cause de leur caractère académique ou trop global ou parce qu’elles n’ont abordé que la mise en œuvre et la gestion plutôt que les résultats et l’impact (France, Belgique). Certaines évaluations ont été également critiquées pour leur manque d’indépendance par rapport aux services de l’administration commanditaire. Dans d’autres cas, des facteurs limitatifs sont intervenus lorsque le travail de l’évaluateur a été rendu plus difficile par manque de collaboration des administrations. La nature et la qualité des méthodologies employées par les évaluateurs varient d'un programme à l'autre. Bien que la Commission ait préconisé un certain nombre de méthodes et d'outils dans le cadre du programme MEANS, leur application en est encore à ses débuts. Par exemple, l’impact sur l'emploi apparaît souvent difficile à mesurer, en particulier lorsque l'on tient compte des effets d'inertie et de déplacement12. Malgré un certain nombre d'améliorations qualitatives, il reste nécessaire de renforcer, par des orientations appropriées, l'utilisation de méthodes d'évaluation fiables au cours des prochaines étapes d'évaluation. 2.2. Principales constatations Entre autres buts, les évaluations à mi-parcours se sont efforcées d'apprécier les progrès réalisés pour atteindre les différents objectifs des programmes, ainsi que leur incidence probable, sur, par exemple, la création d'emplois. Elles ont également tenté d'examiner la façon dont les programmes ont été gérés et dont les projets qui les composent ont été sélectionnés et suivis. Le présent chapitre a pour objet d'examiner, sur la base d'une sélection représentative d'évaluations, les résultats significatifs relatifs aux principaux sujets de préoccupation et d'indiquer les domaines dans lesquels une amélioration est nécessaire. Il souligne quelques aspects essentiels des analyses effectuées relativement à trois grands thèmes : impacts macro-économiques des grands programmes, notamment en matière de croissance et d'emploi ; appréciation micro-économique, centrée sur les questions d'efficacité ; qualité des systèmes de répartition, en particulier des systèmes de suivi et d'indicateurs et des critères de sélection des projets. On peut tirer de cette analyse des conclusions générales sur la façon dont ces résultats peuvent être utilisés et intégrés dans le processus de révision à mi-parcours. a) Impacts macro-économiques : effets sur la croissance et sur l'emploi La plupart des évaluations des grands CCA de l'objectif n° 1 comprennent une appréciation macro-économique apportant une contribution utile au processus global de révision à mi-parcours. Elles démontrent l'importance de la prise en compte de l'impact en matière de demande comme en matière d'offre et elles fournissent une première quantification de l'échelle probable de ces impacts. En ce qui concerne les interventions de grande envergure, telles que les grands CCA de l'objectif n° 1, les effets macro-économiques sur la croissance économique et sur l'emploi seront probablement mesurables. Il est toutefois difficile de chiffrer précisément ces impacts car il faudrait pouvoir connaître la situation 12 Voir les documents de la Commission européenne, Le décompte des emplois (1997) et Concours européen pour l'emploi (1998). -10- contrefactuelle, c'est-à-dire la situation sans Fonds structurels. L'une des possibilités consiste à recourir à des techniques de simulation fondées sur des modèles tenant compte de l'interdépendance macro-économique des variables. S'il existe plusieurs modèles pour calculer les effets à court terme sur la demande (par exemple, les modèles "entrées-sorties"), seul un petit nombre d'entre eux prend en considération les effets à long terme sur l'offre, dont l'amélioration constitue pourtant l'objectif principal des Fonds structurels13. Dans le cadre des évaluations à mi-parcours, les impacts qu'entraîne sur l'offre, l’apport à une économie, d'infrastructures, de capital humain et d'investissements productifs sont estimés de différentes façons, avec un degré de sophistication variable. En Irlande et en Espagne, des modèles de type HERMIN14 ont été utilisés. En Grèce, au Portugal et en Italie, ce sont par contre des modèles économiques plus généraux. Un grand nombre de variables sont endogènes, mais certaines sont “ externes ”, tels les taux d'intérêt, les taux de change et la croissance économique des partenaires commerciaux. Du fait de l'absence de modèle macro-économique pour les nouveaux Länders allemands, l'évaluation allemande a adopté une démarche ad hoc en appliquant, pas à pas, des estimations aux différents paramètres influençant le PIB et l'emploi ; les auteurs notent eux-mêmes dans leur rapport que les résultats présentent un degré d'incertitude élevé. Deux études n'ont pas fourni de données intégrées sur l'offre dans leur modèle et se sont contentées d'effectuer des calculs supplémentaires sur les effets en matière d'offre à partir de valeurs moyennes disponibles dans la littérature. Ainsi, selon le calcul des évaluateurs portugais, l'effet additionnel sur la productivité se situe entre 1,17 % et 2,35 %. L'étude relative aux nouveaux Länders allemands estime que les effets à long terme de l'offre sur le PIB représentent 20 % de l'effet à court terme sur la demande. C'est la raison pour laquelle les résultats présentés ci-après pour ces deux pays (et, à ce stade, pour la Grèce) concernent uniquement les effets en matière de demande. Les pays dont le territoire n'est pas entièrement éligible à l'objectif n° 1 (D, E, I) posent un problème particulier pour la modélisation à l'échelle macro-économique. Chaque évaluation a abordé ce problème d'une manière différente : l'évaluation allemande analyse l'impact sur les nouveaux Länders uniquement, tandis que l'évaluation espagnole ne considère que l'impact sur l'ensemble de l'Espagne. La structure double du modèle macroéconomique de l'Italie a permis d'évaluer l'impact à la fois sur l'Italie du Sud et sur l'ensemble de l'Italie. En ce qui concerne leur comparabilité, les résultats des différentes évaluations à mi-parcours (voir graphique 1) doivent être traités avec précaution, les méthodes utilisées différant d'un pays à l'autre. Néanmoins, les impacts positifs des grands programmes de l'objectif n° 1 sur la croissance et sur l'emploi sont réels. En raison essentiellement de l'incidence de la productivité, on estime généralement que les effets sur l'emploi sont très inférieurs aux effets sur la croissance. Le graphique 1 montre par exemple qu'en Espagne, d'ici 1999, le CCA va probablement faire progresser le PIB de 5,1 %, soit une croissance annuelle supplémentaire de l'ordre de 0,8 % en moyenne, et l'emploi de 2,4 % par rapport à la situation de référence (c'est-à-dire la situation sans CCA). Le défi qu'auront à relever les prochaines évaluations de l'impact macro-économique des Fonds structurels serait d'utiliser davantage des méthodologies plus élaborées. Les modèles macro-économiques devront comprendre un volet demande et un volet offre, et permettre de distinguer, pour ce dernier, les principales catégories d'intervention, telles que les infrastructures, le capital humain et les investissements productifs. Les principales variables dont les résultats doivent apparaître sont le PIB, les investissements, l'emploi, les prix à la consommation, le déficit budgétaire, les importations et les exportations. Les scénarios additionnels les plus intéressants concernent les financements de l’Union européenne seule et les cofinancements par l’Etat membre et l’UE, à l’exclusion, dans les deux cas, des cofinancements d’origine privée. Il convient également de prendre en considération les coûts d'opportunité liés aux dépenses publiques, c'est-à-dire les effets d'une utilisation à d'autres fins des crédits de l'UE et des crédits nationaux. Enfin, une prise en compte de la sensibilité des résultats aux 13 Les tentatives les plus récentes visant à quantifier les effets combinés des Fonds structurels sur l'offre et la demande ont été effectuées à l'aide du modèle QUEST II, dont les résultats ont été présentés dans le premier rapport du Fonds de cohésion (1996), et du modèle HERMIN utilisé pour l'examen du marché unique (1996). Hermin est un modèle macroéconomique spécialement conçu pour quantifier l'impact à moyen ou long terme des CCA. Il fournit un cadre commun centré sur les caractéristiques structurelles des pays bénéficiant des interventions du Fonds de cohésion et il explique les mécanismes qui vont permettre aux CCA d'influencer leurs économies sur le plan de l'offre. 14 -11- modifications des dépenses du CCA et de la politique économique peut fournir des résultats plus concrets sur le plan des conclusions politiques. Graphique 1 : Résultats de l'évaluation à mi-parcours - écarts en 1999 par rapport à la situation de référence (en pourcentage) % 6 5 4 3 . 4 . 5 . 1 3 . 2 . 9 1 . 5 3 . 2 . 2 . 1 . 4 . 3 . P IB e m p lo i 3 2 1 0 A l le m a g n e ( O b j. 1 ) G rè c e E spagne I r la n d e I t a l ie ( O b j. 1 ) P o rtu g a l Le chiffre de l'emploi au Portugal est égal à la réduction du taux de chômage en points de pourcentage. Sources: Ifo Institut (D), KEPE (EL), Quasar (E), ESRI (IRL), Ministero del Tesoro-Nucleo di Valutazione (I), CISEP (P). Evaluation de l'impact macro-économique dans les petites régions Dans le cas des petites régions, des modèles spécifiques ont été conçus pour évaluer l'impact à long terme sur la croissance, sur l'investissement et sur l'emploi. Une méthodologie intéressante a été mise au point dans la région belge du Hainaut (objectif n° 1), malgré les difficultés rencontrées pour collecter les données régionales à un niveau très désagrégé (encadré 4). Encadré 4 : Hainaut (Obj.n° 1) : le modèle HELM HELM (Hainaut Lead-in Model) est un modèle économique qui suppose une relation centrale entre la croissance de la production et la croissance de la productivité. Ce modèle est généralisé pour intégrer différentes composantes de la croissance de la productivité (recherche et développement, capital physique, qualifications). Les résultats présentés concernent trois situations : la situation de départ (A), le DOCUP sans contrainte (B) (mesure de l'impact supplémentaire du DOCUP), le DOCUP avec contraintes (C) (mesure de l'impact supplémentaire mais en intégrant, pour les régimes d'aide, le taux d'intervention et les critères de sélection retenus). La comparaison de ces situations permet d'estimer l'impact additionnel du DOCUP par rapport à la situation de référence. Les résultats des simulations effectuées pour l'évaluation à mi-parcours du DOCUP concernent trois grandes variables (investissement, valeur ajoutée, emploi) dans le secteur de la production et des services aux entreprises. Selon ce modèle, le DOCUP va engendrer une croissance additionnelle des investissements de 0,7 % par an pour la période 1994-2005 et une croissance supplémentaire de l'emploi de 0,3 % par an, soit 5 100 emplois nets en 1999 et 15 800 emplois nets en 2005. L'absorption massive de crédits à la fin de la période réduirait l'efficacité de la mise en œuvre du DOCUP. Les retards d'exécution pourraient aussi avoir pour effet une visibilité accrue des impacts à la fin de la période et au-delà. Le modèle montre que toute augmentation du taux d'intervention n'aura qu'un effet modéré sur les investissements, mais que ceux-ci produiront des effets bénéfiques (indirects) dans ce secteur. C'est pourquoi le risque d'un retour à une croissance plus lente que la moyenne européenne après l'achèvement du DOCUP est important. b) Appréciation micro-économique Apprécier l'efficacité Note : -12- Les évaluateurs devaient fournir une analyse de l'efficacité des interventions. La plupart des évaluations ont cherché à savoir dans quelle mesure les programmes atteignaient les objectifs fixés15. Dans le cadre de leur travail, les évaluateurs ont dû examiner les indicateurs existants, et dans certains cas, ils ont proposé d'introduire ou de réintroduire un certain nombre d'indicateurs essentiels, en accord avec les autorités régionales. Cette appréciation a souvent nécessité une révision substantielle des systèmes d'indicateurs, en ce qui concerne tant les résultats financiers que le suivi des indicateurs physiques et d'impact convenus. L'évaluation du CCA irlandais a adopté une démarche systématique orientée vers la mesure de l'efficacité, en utilisant un modèle micro-économique pour savoir si les actions avaient été bien conçues et si elles étaient capables d'atteindre leurs objectifs. Cette démarche implique que l'on ne doit pas juger les Fonds structurels uniquement sur les dépenses encourues mais plutôt sur les avantages sociaux qu'ils apportent à l'économie. La méthodologie adoptée par l'évaluateur vise à comparer l'efficacité des différentes actions afin d’obtenir que les crédits reçoivent la meilleure affectation possible (c'est-à-dire une efficacité financière comparable entre programmes) et de d’identifier les bonnes pratiques. Une description plus détaillée est présentée dans l'encadré 11. À un niveau plus opérationnel, les évaluations doivent chercher à définir dans quelle mesure les grands objectifs du programme sont atteints. Dans le cas du Merseyside, par exemple, l'évaluation présente certains indicateurs essentiels (PME, terrains viabilisés, surface bâtie), y compris les données relatives aux réalisations et les résultats correspondants en matière de création d'emplois et d'effet d'entraînement du secteur privé. On dispose ainsi d'objectifs chiffrés pour l'année 1999 et l'évaluation à mi-parcours permet de mesurer les progrès accomplis jusqu'à cette date. Ces indicateurs sont présentés sous une forme agrégée au niveau des priorités (cf. encadré 5). Suite à cette l'évaluation à mi-parcours, les données relatives à la situation de référence, aux objectifs et aux réalisations du Merseyside ont fait l’objet d’ajustements. 15 La question de l'efficience est par contre rarement abordée, car il s'agit d'un des aspects les plus délicats de l'évaluation. L'analyse de l'efficience consiste à comparer les moyens financiers du programme (ressources financières) avec les réalisations (les biens et services qu'il fournit) et les résultats (les premiers effets) pour évaluer si l'on aurait obtenu les mêmes effets avec moins de ressources, ou bien si les mêmes ressources auraient pu produire de meilleurs effets. Pour discuter de l’efficience, il faut obligatoirement établir des comparaisons avec diverses situations contrefactuelles. Dans ce domaine, la principale difficulté réside donc dans le choix de références appropriées. -13- Encadré 5 : Appréciation de l'efficacité à l'aide d'indicateurs de programme -le cas de l'objectif n° 1 pour le Merseyside (1994-1999) - réalisations/résultats réels des interventions du FEDER Moteur Dépenses FEDER Total emplois bruts (direct & indirect) Surface totale bâtie Total terrains viabilisés (ha) % de l’objectif du DOCUP 52 12 n/a 300 Total investissements privés £m % de l’objectif du DOCUP 67 76 0 8 23 40 90 28 n.d. £m % du milliers % de milliers % de DOCUP l’objectif de m² l’objectif du du DOCUP DOCUP 21 54 42 16 26 5,4 9,2 0,8 0,7 3,0 15 142 16 64 454 114 116 1 9 20 70 0 15 n.d. 1 2 3 4 5 Total Note: 28,8 44,4 15,4 4,8 22,1 255 17 32 210 115,5 31 19,2 39 240 24 513 73 176 77 Les priorités (ou moteurs du changement) pour le DOCUP du Merseyside sont les suivants : 1) investissements étrangers ; 2) entreprises locales ; 3) industrie de la matière grise, 4) culture, médias et loisirs, 5) actions pour Merseyside. Source: Rapport d'évaluation à mi-parcours (nov.1996). Les indicateurs définis au niveau des programmes opérationnels (PO) ou des DOCUP fournissent la base à partir de laquelle il est possible de suivre et d'apprécier l'efficacité des interventions. Ils ne permettent cependant pas de tirer des conclusions définitives, notamment sur l'impact, à cause de la difficulté d’établir la relation de cause à effet dans certains secteurs (les indicateurs peuvent être affectés par des facteurs externes). Ils doivent souvent être complétés par une analyse qualitative et par un travail d'évaluation approprié. Vue d'ensemble des réalisations et résultats principaux Il n'est pas facile de présenter sous une forme agrégée les données micro-économiques relatives aux réalisations et aux résultats figurant dans les rapports d'évaluation, du fait de leur spécificité et de l'absence de comparabilité entre les programmes. Il est également reconnu que la possibilité de quantifier ces données à mi-parcours varie selon les domaines d'intervention (infrastructure, PME, ressources humaines, etc.) et les régions concernées. La qualité et la couverture des rapports d'évaluation varient inévitablement, de même que la possibilité de chiffrer des éléments aussi importants que les réalisations, les résultats et les changements des principales disparités. L'encadré 6 présente quelques réalisations des programmes des objectifs nos 1 et 6. Infrastructures de base — réduire les disparités Les infrastructures de base sont le domaine où l'impact de l'action communautaire est le plus visible et le plus facilement mesurable. Ces grands investissements ont parfois une incidence élevée sur le plan structurel. En Espagne, par exemple, les ressources du CCA soutenant les réseaux de transport, de communications et d'énergie représentent en moyenne plus de 25 % des infrastructures nationales. La réduction des disparités par rapport au reste de l'Union a nettement progressé dans la plupart des secteurs (voir encadré 6). -14- Encadré 6 : Réalisations importantes dans le domaine des infrastructures de base. • Un effort financier important continue à être accordé au développement des réseaux routiers stratégiques dans les pays bénéficiant de l'intervention du Fonds de cohésion, par exemple, en améliorant quatre couloirs de circulation essentiels en Irlande (en atteignant 49 % en 1996 pour un objectif fixé à 53 % pour 1999) et en achevant l'autoroute Athènes-Thessalonique (400 km déjà construits). Au Portugal, la construction des autoroutes et des routes principales atteint actuellement 74 % de l’objectif 1999. En Espagne, le stock d’infrastructures physiques concernant les autoroutes a augmenté de 13 % entre 1993 et 1995 (dernières données disponibles), profitant notamment aux régions moins développées comme l'Andalousie. Dans toutes les régions de l'objectif n° 1, des investissements importants ont été consacrés au secteur des télécommunications, avec l'installation de systèmes modernes tels que des centraux numériques et des liaisons à fibre optique. Cela a permis de réduire notablement les disparités par rapport au reste de l'Union. Au Portugal, la densité moyenne des lignes téléphoniques (pour 100 habitants) rattrape le niveau communautaire ; cet objectif était fixé pour 1999. De même, en Italie, le taux de numérisation des régions méridionales a atteint le même niveau (85 %) que celui du Centre Nord. En Espagne, les réseaux numériques ont progressé de 36 % en termes absolus entre 1993 et 1995. Des progrès ont également été réalisés dans le domaine de la diversification de l'énergie, notamment par la réduction de la dépendance par rapport au pétrole. La livraison de gaz naturel par le nouveau système de distribution devrait commencer en Grèce. Le gazoduc à haute pression (513 km) est déjà achevé et un autre grand projet (réseau de 1 000 km de gaz naturel à faible pression) est en voie d'achèvement (84 %). Au Portugal, plus de la moitié du réseau de gazoducs (600 km) était posée en 1996 ; ce réseau représentera en 1999 7,5 % de la consommation totale d'énergie. Ces dernières années, la Grèce, l'Espagne et le Portugal ont tous vu diminuer de manière significative leur consommation d'énergie par rapport au PIB. Dans le secteur de l'environnement, une aide est apportée à l'amélioration des systèmes d'approvisionnement en eau et à l'augmentation de la capacité des installations de traitement des eaux usées. En Grèce, les systèmes d'approvisionnement en eau, d'assainissement et de traitement des eaux usées, qui desservent environ 5 millions d'habitants (la moitié de la population) sont déjà terminés. Des investissements ont également été consacrés à des régions plus petites de l'objectif n° 1, comme le sousprogramme de l'Irlande du Nord, où la construction d'installations d'approvisionnement en eau et de traitement des eaux usées, a créé quelque 2 270 emplois dans la région. Toute une série d'interventions spécifiques ont permis de produire des effets bénéfiques pour l'environnement, au nombre desquelles on peut citer la réhabilitation de grands sites industriels contaminés, des audits écologiques effectués dans des PME, l'assistance au développement d'écoproduits et la réduction des émissions grâce à la diversification des sources d'énergie. • • • Environnement productif — le soutien de l'emploi En ce qui concerne le secteur productif, les interventions structurelles se sont attachées à améliorer les conditions des entreprises existantes et à encourager par là de nouvelles activités. Il est largement admis que l'aide, en particulier celle accordée aux PME, est un puissant moteur de création d'emplois qui contribue à combler les fossés structurels entre niveaux de productivité et de revenus. Quelques exemples peuvent mettre en lumière les tendances récentes des impacts des Fonds structurels dans ce secteur (voir encadré 7). -15- Encadré 7 : Quelques réalisations dans le secteur de l'environnement productif • De grands régimes d'aide ont encouragé la création d'emplois, ce qui a permis de compenser en partie les conséquences négatives de la restructuration industrielle. Dans le Hainaut, presque tous les crédits disponibles pour les programmes d'aide, notamment pour les programmes concernant les PME, ont été utilisés avant la fin de la période ; on estime que les objectifs de création d'emplois de ces actions sont déjà dépassés (avec plus de 2 200 emplois créés contre 1 800 attendus). En Allemagne (Obj. n° 1), l'intervention des Fonds structurels a contribué activement à soutenir l'emploi, par exemple dans le Land de Saxe-Anhalt, où 18 500 emplois ont été subventionnés dans l'industrie chimique et 20 000 emplois dans les PME. En Italie, on estime que le programme Industrie a créé ou sauvé plus de 75 000 emplois au cours de la période 1994-1996. Dans le secteur du tourisme, des avantages accrus vont découler des nouvelles capacités mises à disposition comme en Saxe (capacité supplémentaire de 11 500 lits dans l'hôtellerie) et en Irlande, où 18 grands projets déjà terminés fournissent des équipements permettant d'améliorer la qualité et le niveau d’attractions des zones touristiques. Les améliorations apportées par les Fonds structurels permettront de créer de nouvelles possibilités d'emploi. La reconversion physique des sites industriels va également contribuer à améliorer l'environnement économique et à attirer de nouvelles entreprises. C'était une priorité de premier plan dans certains Länder allemands, à Berlin Est, par exemple, où 51 000 m² ont été rénovés, entraînant la création de 600 emplois potentiels, ou en Saxe, où 620 ha de terres ont été transformés en zones d'activités. Dans le Nord-Pas-deCalais, environ 40-45 % des zones industrielles situées dans la zone de l'objectif n° 1 ont été améliorées. - • • Ressources humaines : quantifier les impacts Le plan de travail des évaluations spécifiques menées dans le domaine des ressources humaines comprenait l'analyse de l'impact des actions de formation sur les bénéficiaires. Les principaux résultats de ces études sont présentés ci-après dans l'encadré 8. Encadré 8 : Impact des actions de formation sur les bénéficiaires En Espagne l'évaluateur a effectué une analyse comparative du placement des stagiaires, par groupe cible, en utilisant la base de données de l'INEM (Institut national de l'emploi) comme groupe “ quasi témoin ”. Pour cette analyse, seules les actions de formation professionnelle ont été prises en compte. Les conclusions principales correspondent aux résultats de l'évaluation ex post de 1989-1993: en ce qui concerne l'impact brut, le taux de placement des stagiaires est en moyenne plus élevé de 20 % que celui du groupe témoin; le placement est plus élevé chez les jeunes, les hommes et les titulaires d'un diplôme de l'enseignement secondaire. Cependant, si l'on estime l'impact net en tenant compte des caractéristiques des stagiaires, les différences varient sensiblement. Par exemple, par rapport à l'âge, les stagiaires de plus de 45 ans ont un taux de placement supérieur de 32 % à celui du groupe témoin. La formation semble également augmenter les chances des femmes de trouver un emploi: l'impact net est de 27,1 %, contre 14,9 % pour les hommes. Si l'on prend les niveaux de qualification en considération, l'effet de la formation sur les titulaires d'un diplôme de l'enseignement primaire est frappant: la participation à une formation fait passer leurs chances de trouver un emploi à 48,8 %. Allemagne: impact de la GIOst (Gemeinschafsinitiative — Ost) En Allemagne, on a estimé que le programme fédéral d'aide aux GIOst (écoles d'apprentissage pour les jeunes) a fait reculer le chômage des jeunes de 3 points de pourcentage en 1995. Au niveau des Länder, on a collecté jusqu'ici très peu d'indicateurs de placement. La combinaison des actions de formation et des subventions permet d'obtenir de meilleurs résultats, mais c'est l'exception plutôt que la règle. On peut citer quelques résultats régionaux. Pour Berlin-Est, l'évaluateur a conclu que, pour la formation continue et la formation pour les chômeurs réunies, 60 % des stagiaires ont trouvé ou conservé un emploi au bout de six mois. Les programmes de formation dans le Mecklembourg-Poméranie occidentale ont permis d'atteindre des taux de placement de 4045 % (21-32 % sur le marché du premier emploi). Un programme en faveur de la création d'entreprise, qui a pour but principal d'aider les gens à s'assurer de la viabilité de l'entreprise qu'ils veulent créer, a permis d'obtenir près de 50 % de démarrages véritablement “réussis”. Différents programmes de formation continue et d'éducation pour les salariés (actions relevant de l'objectif n° 4) en Mecklembourg-Poméranie occidentale, -16- Thuringe et Saxe-Anhalt ont fait progresser de 35 à 77 % la perception de la sécurité de l'emploi chez les participants. Portugal: incidence sur le système éducatif On a constaté que l'incidence sur le renforcement du système éducatif portugais (par l'intermédiaire du PRODEP) est liée à la diversification des filières et à l'attention apportée aux questions de quantité et de qualité. La formation des enseignants et des autres agents semble être une des principales contributions du programme, dans le premier et le deuxième cycle (soit 49,3 % du personnel enseignant) et au niveau universitaire (bourses de maîtrise et de doctorat). En ce qui concerne le développement et la diversification des filières d'éducation / formation, des modifications importantes ont été apportées, telles que l'extension de l'enseignement secondaire, son rapprochement du monde du travail et le renforcement de l'orientation et des services de conseil dans les écoles. En fait, l'aide à la formation de techniciens qualifiés a créé un sous-système qui fournit des qualifications techniques directement liées au marché de l'emploi et constitue une filière différente de l'enseignement général. Agriculture et développement rural L’agriculture et le développement rural, formant des programmes séparés au niveau national, ont fait l’objet d’évaluations spécifiques. Pour les DOCUP et les parties agricoles des programmes régionaux, l’évaluation a été intégrée dans une évaluation plus globale. Certains Etats membres tels que l’Irlande ont lancé des évaluations détaillées des différents axes principaux des programmes (agro-industrie, installations jeunes agriculteurs, indemnités compensatoires, égalité des chances, formation agricole, etc.). Dans ces cas, l’évaluation s’est montrée un outil utile pour mieux connaître la situation, analyser les problèmes et trouver les mesures les plus adéquates pour les résoudre. Encadré 9 : Evaluation des interventions agricoles — le cas du PAMAF (modernisation des structures agricoles au Portugal) Le rapport d’évaluation constate un démarrage assez lent de l’exécution financière et physique, dû essentiellement à des retards dans l’élaboration de la législation en la matière, ainsi qu’à des modifications au niveau de la gestion. Néanmoins, le retard constaté au départ a pu être maîtrisé et l’évaluateur est optimiste quant à la possibilité de rattrapage de l’exécution du programme permettant d’atteindre les objectifs prévus, moyennant quelques réajustements au niveau de la gestion, ainsi que de la répartition financière entre mesures. Les mesures de cette intervention opérationnelle se concentrent sur l’appui aux investissements dans les exploitations agricoles dont le taux d'exécution est élevé, les infrastructures telles que l’irrigation, les chemins ruraux, le drainage et la conservation des sols, les forêts, la transformation et la commercialisation des produits agricoles et sylvicoles, les indemnités compensatoires pour les zones défavorisées, la formation et la recherche. Ces types de mesures ont pour objectif le renforcement de la compétitivité des exploitations agricoles. Elles constituent pour la plupart une continuation du programme antérieur dont l’application s’est avérée bénéfique. Elles font d’ailleurs partie de la politique structurelle au niveau de l’UE. L’évaluateur souligne, en particulier, une certaine dispersion des mesures ayant des conséquences sur l’impact réel et sur la gestion et l’exécution. Il préconise une réaffectation des montants disponibles en faveur de mesures considérées prioritaires, notamment l’aide aux exploitations agricoles et à l’irrigation et insiste sur la nécessité de renforcer la formation professionnelle. Il note, par ailleurs, un effort de concentration des appuis sur le secteur privé et une répartition régionale hétérogène des projets. Le rapport met en évidence quelques résultats du programme “Agriculture” pendant la période 1994-1996, notamment le financement d’environ 20.000 projets, l’appui à 11.500 exploitations agricoles et à l’installation de 2.800 jeunes agriculteurs. Pêche L’IFOP apporte un soutien à 5 domaines principaux d’intervention : l’ajustement des efforts de pêche (26 % du budget), le renouvellement et la modernisation de la flotte (24 %), la transformation et la commercialisation des produits (23 %), le développement de l’aquaculture (11 %) et l’équipement des ports de pêche (7 %). L’IFOP représente actuellement 31 programmes dont 17 dans l’objectif n° 1, 12 dans l’objectif n° 5a et 2 dans l’objectif n° 6. En termes budgétaires, 65 % du budget concerne l’objectif n° 1. Les évaluations à mi-parcours de ces programmes ont apporté des informations intéressantes en termes d’efficacité des interventions et de reprogrammation (réallocation des fonds entre domaines d’intervention ou -17- entre mesures). Elles ont relevé certaines insuffisances du monitoring, en particulier dans la fourniture de données socio-économiques. Dans certains cas, des propositions d’amélioration des indicateurs ont été effectuées et de premières analyses d’impact sur l’emploi ont été réalisées. Encadré 10 : Un exemple : le Programme Espagne objectif n° 1 Ce programme opérationnel “ pêche ”, doté d’une enveloppe d’environ 1 milliard d’écus constitue l’un des axes prioritaires du CCA. Les mesures de ce programme se concentrent essentiellement sur l’ajustement de l’effort de pêche, la modernisation de la flotte, la transformation des produits, l’aquaculture et l’équipement des ports de pêche. Le rapport d’évaluation constate que le taux moyen de réalisation est satisfaisant (57 %) mais très variable selon les domaines d’intervention : il est faible pour la modernisation de la flotte et l’aquaculture (10 à 20 %) et élevé pour les équipements portuaires et la transformation des produits (60 à 100 %). Le taux d’efficacité le plus faible est celui de l’aquaculture (2 %) : cette mesure est affectée par la longueur des circuits administratifs nécessaires à la matérialisation des projets, par une faible rentabilité qui décourage les investisseurs potentiels ainsi que par les contraintes environnementales imposées lors de la sélection des projets. Le taux d’efficacité le plus élevé est celui de la transformation (65 %) : dans ce domaine, les bénéficiaires affichent le plus souvent une forte croissance et donc une bonne capacité à investir. L’évaluateur propose une réallocation des fonds aux dépens de l’ajustement de l’effort de pêche et de l’aquaculture et au profit de la modernisation des navires et de la transformation des produits. Une enquête auprès des bénéficiaires a montré que 35 % des projets subventionnés par le programme ont généré ou maintenu de l’emploi (en première analyse : 780 emplois au total), en particulier dans le domaine de la transformation des produits. Des propositions sont, en outre, effectuées pour améliorer les indicateurs de réalisation et de résultats, pour diminuer le nombre d’indicateurs spécifiques à l’aquaculture, pour établir des indicateurs d’impact en ce qui concerne la flotte ainsi que des indicateurs d’emploi pour tous les domaines d’intervention. Enfin, constatant l’application stricte du principe de protection de l’environnement dans le domaine de l’aquaculture, l’évaluateur recommande une meilleure prise en compte de ce principe dans d’autres domaines (transformation des produits et équipements des ports). c) Qualité des mécanismes de répartition Les évaluations à mi-parcours ont également eu à apprécier la façon dont les Fonds sont gérés, en particulier en ce qui concerne les systèmes de suivi et les critères de sélection des projets. -18- Systèmes de suivi et d'indicateurs Par rapport à la période de programmation précédente, on observe dans les programmes actuels une progression importante de l'emploi d'indicateurs quantitatifs comme moyen de surveiller la mise en œuvre des programmes, d'évaluer leur impact et de déterminer les progrès accomplis dans la réalisation des objectifs. La Commission a préparé un Guide commun du suivi et des évaluations dans le but d'assurer une cohérence d'approche et une terminologie uniforme16. Ce guide a donné l'élan initial pour ces améliorations. Mais l'expérience est cependant variable d'un programme à l'autre. Dans un certain nombre de programmes, l'information disponible au moyen des indicateurs est souvent inadaptée pour ce qui est de mesurer les performances ou de vérifier si des progrès satisfaisants ont été réalisés. Les autres insuffisances majeures concernent la détermination de cibles appropriées et pratiques directement liées aux actions en question ainsi que l'absence d'un système cohérent et régulier de collecte de données relatives aux réalisations physiques, aux résultats ou aux impacts. Malgré les nombreuses améliorations, la définition et la quantification d'indicateurs appropriés reste un domaine insatisfaisant de la gestion des programmes. S'il est nécessaire de perfectionner les systèmes d'indicateurs afin d'améliorer le suivi et d'assister le travail d'évaluation, il peut cependant commencer par relever des exemples de bonne pratique dans ce domaine. Un certain nombre de programmes présentent ainsi des tentatives intéressantes d'élaboration de systèmes informatiques de gestion. L'encadré 11 en offre quelques exemples. Encadré 11 : Améliorer les systèmes de suivi Un système d'information bien géré est une condition nécessaire (mais non suffisante) au soutien du processus d'évaluation. Le cas du Nord-Pas-de-Calais (objectif n° 1) est un exemple de système de suivi intégré, qui associe les indicateurs financiers et physiques au niveau du projet. En Irlande du Nord, l'évaluation à miparcours a consacré une part importante de son travail à l'examen approfondi de NIQUID (la base de données de tous les indicateurs définis pour le DOCUP) pour en faire un système informatique de gestion efficace pour le DOCUP. L'évaluateur a proposé de suivre régulièrement l'évolution de 52 indicateurs, au lieu des 330 définis dans le DOCUP. De plus, pour chaque sous-programme, un ensemble d'indicateurs a été élaboré pour déterminer son impact spécifique. Des travaux importants ont également été réalisés en Italie, où un système normalisé d'indicateurs a été mis en place pour les interventions du FSE. Au Portugal, les indicateurs se sont améliorés dans presque tous les domaines d'intervention, même s'il reste à améliorer encore la qualité des données. 16 Le guide commun de la Commission établit une distinction entre les indicateurs de réalisation, de résultat et d'impact. Les indicateurs de réalisation concernent la mise en œuvre financière et physique (par exemple, le nombre de kilomètres de route construite et le coût, le nombre de cours de formation fournis). Les indicateurs de résultat concernent les effets immédiats d'une intervention (par exemple, les économies de temps grâce à un projet routier; le nombre de personnes ayant suivi avec succès un cours de formation). Les indicateurs d'impact concernent les conséquences des interventions. On peut établir une distinction entre l'impact spécifique ou immédiat d'une intervention (par exemple, le nombre de personnes ayant trouvé un emploi) et l'impact général ou final, c'est-à-dire l'effet socio-économique général (par exemple, l'augmentation de l'emploi ou du PIB). -19- Critères de sélection des projets Les deux ou trois premières années de mise en œuvre des programmes ont vu dans certains cas se développer des systèmes de cotation relativement sophistiqués pour la sélection des projets cofinancés. Les systèmes mis en place (par exemple dans le Merseyside) prennent simultanément en considération un large éventail de facteurs et, outre l'appréciation de l'éligibilité, examinent les critères de sélection à la fois au niveau des priorités et des mesures. Par exemple, les critères de priorité communs à tous les projets comprennent les réalisations du projet, l'optimisation des ressources, l'effet de levier du secteur privé et, plus récemment, l'incidence sur l'environnement. Bon nombre d'évaluations à mi-parcours se sont interrogées sur l'efficacité de ces systèmes. La présence de critères transparents et objectifs, qui constitue en elle-même une bonne pratique, peut ne pas être une condition suffisante pour garantir que les meilleurs projets sont sélectionnés. Il faut procéder à de nouvelles vérifications, portant par exemple sur le degré de crédibilité de l'information et sur les prévisions de résultats fournies par les candidats. Encadré 12 : Merseyside — systèmes de notation des projets FSE / FEDER Dans le DOCUP du Merseyside, le système mis en place pour sélectionner les projets comporte trois aspects : l'éligibilité ou “critère central”, le critère prioritaire de sélection commun à tous les projets et le critère de mesure (qui peut être différent du critère prioritaire). Le but était de définir des séries de critères compréhensibles, transparents et pouvant être appliqués à un grand nombre de projets hétérogènes. Les grands critères prioritaires comprennent les résultats attendus des projets, l'optimisation des ressources, la nature des bénéficiaires (pour le FSE), l'emploi, la réalité des partenariats et des liaisons, l'effet de levier du secteur privé et l'incidence sur l'environnement. 2.3. Utilisation des résultats de l'évaluation Comme indiqué dans le chapitre précédent, les évaluations à mi-parcours représentent une source importante d'information pour les gestionnaires de programme et les décideurs, qui sont ainsi informés sur des points aussi essentiels que la pertinence des buts et des objectifs de leurs interventions ou l'efficacité des principaux effets économiques dans les régions concernées. Pour faire autorité, une évaluation doit se fonder sur une analyse rigoureuse et être suffisamment opérationnelle pour pouvoir être pleinement utilisable à des fins politiques. Toutefois, la qualité des résultats de l'évaluation ne garantit pas obligatoirement leur emploi. En d'autres termes, les évaluations ne peuvent pas être considérées comme les seules données pour procéder à une révision à miparcours. Il existe un système d'échange d'informations permanentes entre les institutions et les décideurs. D'autres facteurs relatifs au contexte politique du cadre macro-économique peuvent aussi influencer directement les décisions finales de reprogrammation. Dans ce cadre, il convient de distinguer trois niveaux d'utilisation différents dans le processus d'évaluation à mi-parcours. Le premier niveau d'utilisation fait appel à l'évaluation en tant que mécanisme de rétroaction concernant l'efficacité des mesures prises. Dans un grand nombre de cas, les résultats et les recommandations de l'évaluation ont été largement suivis et incorporés aux modifications apportées aux programmes. Le meilleur exemple est l'évaluation à mi-parcours du CCA irlandais, qui a dégagé des conclusions crédibles et utiles ayant entraîné la réaffectation des crédits entre mesures ou sous-programmes (voir l'encadré 12). Ensuite, l'évaluation joue un rôle important dans la fourniture de nouvelles sources d'information ou de conseil aux gestionnaires de programme et aux décideurs. Par exemple, l'évaluation du programme du Hainaut (objectif n° 1), qui comprend un modèle macro-économique spécifique (voir l'encadré 3), s'est également avérée utile pour fournir des informations en vue des actions de reprogrammation. Les conclusions ont ouvert ici des perspectives plus larges sur la tendance à la convergence de l'économie régionale. D'autres évaluations, plus centrées, ont mis en évidence certains aspects spécifiques de la gestion des programmes, plutôt que d'adopter une démarche exhaustive visant l'ensemble du cycle de mise en œuvre. Enfin, l'expérience a aussi montré que la clé de la réussite et de l'efficacité du processus d'évaluation réside dans la mobilisation des partenariats du programme. Il ressort de cette expérience que les décideurs ont participé à la discussion des questions d'évaluation et qu'ils ont tiré un certain nombre de leçons leur permettant d'améliorer -20- leurs interventions. Bien que ce processus d'apprentissage n'ait pas toujours été formellement structuré, il a eu un effet notable sur le résultat final des révisions à mi-parcours. III. PRINCIPAUX RESULTATS ET ADAPTATIONS Les évaluations ont servi d'information pour la révision à mi-parcours en fournissant une appréciation globale des actions menées à terme au cours de la première moitié de la période de programmation. Partant de ces éléments, la présente partie du rapport tente d’apprécier ces principaux résultats des modifications apportées aux programmes. Elle expose également la mesure dans laquelle les priorités définies par la Commission ont été incorporées aux programmes. 3.1. Lien entre évaluation et reprogrammation Les évaluations ont été fournies selon les échéances fixées de telle sorte que leurs résultats ont pu être pris en considération dans les révisions à mi-parcours effectuées entre 1997 et 199817. Les trois nouveaux Etats membres méritent ici une mention spéciale. Bien que leurs programmes aient commencé un an plus tard que ceux des autres Etats membres, tous trois ont pris les dispositions nécessaires pour mettre en route des évaluations à mi-parcours. La Commission a préconisé l'échange d'expérience entre évaluateurs, ce qui a apporté de nouvelles idées dans la conduite des évaluations. Ainsi pour ces pays aucune adaptation importante n'a été effectuée avant les évaluations et l'examen formel des programmes. D'une manière générale, les évaluations se sont avérées utiles pour mettre en évidence les points essentiels ou illustrer les types de décisions à prendre. Leur capacité dans ce domaine dépend de la qualité intrinsèque de l'analyse ainsi que de l'aspect opérationnel de leurs recommandations. Dans le domaine du développement rural, les évaluations intermédiaires ont produit des recommandations et des propositions concrètes notamment en matière de réallocations de ressources à la demande à la fois de la Commission et des autorités gestionnaires. En Espagne et en Allemagne, les propositions des autorités responsables ont coïncidé avec celles des évaluateurs car les éléments justificatifs (progrès des mesures à partir des données du suivi) étaient les mêmes. Dans d’autres cas, une partie seulement de leurs conclusions a été prise en considération (Portugal). Parfois, certaines évaluations ont été réalisées après les modifications des programmes mais il s’est révélé a posteriori qu’il n’y a pas eu de contradictions (France). En Italie, l’évaluateur a surtout analysé les problèmes et les difficultés de réalisation, les responsables des programmes proposant les réallocations de ressources. Pour l’Irlande, il a déjà été mentionné que les recommandations de l’évaluateur concernant le renforcement de certaines mesures n’ont pas été suivies faute de financement. L’exemple de l’Irlande et du Merseyside Deux exemples permettent de mettre en lumière la totalité du processus de révision à mi-parcours, depuis l'évaluation jusqu'à la mise en œuvre des décisions de réaffectation financière. Ils concernent deux niveaux d'intervention : un grand CCA (Irlande) et un DOCUP (Merseyside) (voir encadrés 13 et 14). Encadré 13 : Révision à mi-parcours (I) : le cas du CCA irlandais Selon le rapport, le CCA irlandais représente en soi une belle réussite et les crédits ont été mobilisés de façon efficace pour financer et accélérer ce qui apparaît être un rétablissement économique remarquable. Dans le CCA, la planification à moyen terme des dépenses publiques a permis une programmation plus systématique et plus efficace dans bien des secteurs. L'évaluation du CCA s’est interrogée sur l'intérêt qu'il y a à affecter des fonds publics à un certain nombre d'actions spécifiques, notamment sur la prestation gratuite ou subventionnée de services pour lesquels des entreprises ou des personnes seraient prêtes à payer. Leur hypothèse centrale est que les marchés constituent le moyen le plus efficace et effectif d'atteindre les objectifs économiques et sociaux, de sorte que l'intervention 17 Les négociations relatives à l'examen à mi-parcours ont été quelque peu retardées en France-Obj.n° 1 (en particulier la Réunion) et en Grèce (reprogrammation des interventions du FEDER; modifications du FSE prévues pour le deuxième semestre 1998). En Italie, un certain nombre d'actions de reprogrammation ont été décidées en avril 98 et l'examen à mi-parcours sera terminé en octobre, sur la base des progrès réels de certains programmes à capacité lente de dépenses. -21- publique ne se justifie que lorsque le marché ne fonctionne pas correctement et que l'intervention en question ne crée pas de distorsion économique. À la lumière de ces considérations, les évaluateurs ont retenu quatre situations pouvant justifier l'intervention publique dans une économie de marché : la fourniture de biens et services publics (dont les infrastructures de transport) lorsque celle-ci n'est pas possible sans intervention publique ; l'introduction de subventions correctives visant à modifier le prix des biens et services lorsque le prix du marché ne reflète pas correctement leurs avantages sociaux plus larges (par exemple, le coût des prêts aux PME) ; la gestion des régimes ciblés en vue de faire évoluer les comportements en remédiant au manque de connaissances, de sensibilisation ou de compréhension (par exemple en informant les propriétaires ou les salariés des entreprises sur les nouvelles technologies) ; la redistribution des richesses par voie de subventions ou de prestations sociales afin d'atteindre des objectifs sociaux plus larges. - - Les évaluateurs du CCA ont classé les 166 actions de celui-ci à l'aide des critères précités. Pour chaque catégorie, une ou deux “mesures d'ancrage” — mesures de grande envergure ou qui visent des éléments de politique publique établis et bien connus — ont été sélectionnées et utilisées comme points de comparaison pour les autres mesures de la même catégorie. Ces comparaisons ont permis de décider quelles étaient les mesures réussies et celles qui ne l'étaient pas. Quelque 150 recommandations ont ensuite été formulées sur les moyens de déployer plus efficacement les ressources du CCA, en accordant une attention particulière aux mesures mal ciblées ou ayant des effets indésirables. L'évaluation a fait ressortir clairement la nécessité de consacrer une plus grande part de dépenses publiques aux infrastructures physiques, en particulier aux routes non urbaines. Dans le cas de certaines actions liées à la demande, il a été suggéré de réviser les objectifs de dépense suivant l'évolution réelle, par exemple la réduction de la subvention au sous-programme de l'industrie alimentaire. Il est également ressorti des discussions au sein des comités de suivi qu'il faut faire porter davantage l'accent sur les jeunes et le chômage de longue durée et augmenter les crédits destinés aux mesures spécifiques en faveur de l'éducation et des personnes défavorisées. L'évaluation du CCA contient également un certain nombre de recommandations détaillées relatives à la gestion et à la mise en œuvre d'actions spécifiques. Elle note, par exemple, qu'il n'y a pas assez de concurrence pour la prestation de services subventionnés du fait de la position prédominante des organismes publics et de l'absence de concurrence. En ce qui concerne le suivi, le rapport propose de nouvelles améliorations en matière d'indicateurs de performance, tout en admettant que le CCA actuel représente l'expérience la plus avancée en matière de suivi et de systèmes d'indicateurs. Les résultats de la révision à mi-parcours ont largement suivi ces recommandations. Ainsi, l'intérêt s'est déplacé du secteur productif vers la valorisation des ressources humaines et l'infrastructure économique. Le montant des réaffectations financières s'élève à 163 millions d'écus, l'effort portant essentiellement sur la RDT (37 millions d'écus), l'infrastructure de transport (36 millions d'écus) et un train de mesures destinées aux jeunes quittant prématurément l'école et à d'autres groupes marginalisés (46 millions d'écus). Encadré 14 : Révision à mi-parcours (II) : le cas de Merseyside (Obj.n° 1) L'aide à la région de Merseyside au titre des Fonds structurels comprend 816 millions d'écus octroyés dans le cadre des cinq “moteurs de changement” du programme unique du Merseyside : investissements étrangers et secteur des entreprises ; entreprises locales ; industrie de matière grise et technologie de pointe ; culture, médias et industrie des loisirs ; action en faveur de la population de Merseyside. Ce dernier volet a reçu la part la plus importante des fonds du programme (plus des deux cinquièmes). Les promoteurs "investissements étrangers" et "entreprise locale" ont reçu, respectivement, un quart et un cinquième des fonds du programme. La mise en place du programme unique a coïncidé avec un retournement de la conjoncture économique du Royaume Uni, caractérisé par le recul du chômage et la reprise de la croissance économique, dans les deux cas à des taux supérieurs à la moyenne européenne. Le Merseyside a profité de cette reprise avec pour résultat que les recettes des Fonds structurels ont été déployées dans une situation plus favorable que prévu au moment de l'élaboration du programme unique. Bien que les améliorations en matière de chômage aient été faibles par -22- rapport au Royaume-Uni dans son ensemble, il faut les replacer dans le contexte d'un tableau récent caractérisé par le recul des principaux indicateurs sociaux et économiques. L'évaluation à mi-parcours a déterminé l'incidence actuelle et potentielle du programme unique sur la qualité de vie des personnes et le cycle de vie des entreprises de Merseyside, émis des critiques sur les modalités de suivi existantes et formulé des recommandations sur la façon dont le programme devait se dérouler pendant le reste de la période de programmation. La recherche documentaire a été complétée par l'examen de cent projets distincts ainsi que par une enquête approfondie et des entretiens menés auprès des bénéficiaires du programme. Le volume et la qualité des recherches de l'évaluation ont été importants. Cela a nettement compensé les contraintes financières qui ont empêché d'effectuer un plus grand nombre d'analyses approfondies. L'évaluateur a formulé une série de recommandations détaillées et circonstanciées, et proposé notamment qu'à l'avenir, le suivi et l'évaluation portent essentiellement sur les projets importants susceptibles d'avoir la plus grande incidence ainsi que sur les questions de déplacement et de durabilité. Il a également été recommandé d'élargir l'ensemble existant d'indicateurs afin d'améliorer l'appréciation de l'impact du programme. Parmi les indicateurs proposés, on peut citer le taux de survie des PME et leur utilisation des nouvelles technologies. Il a en outre été souligné que les synergies existant entre les cinq moteurs du programme et les thèmes transversaux communs à plusieurs actions ne recevaient pas une attention suffisante. Les ajustements de reprogrammation au stade de la révision à mi-parcours suivent largement les propositions de l'évaluateur et respectent les priorités de la Commission en matière de politique régionale jusqu'à la fin de l'année 1999. Un total de 97 millions d'écus a été réaffecté aux mesures les plus susceptibles d'entraîner des créations d'emploi (PME, technologie et insertion sociale). De nouvelles mesures ont été mises en place pour la transformation des produits de la pêche et pour le développement et l'application des technologies des communications. La Commission a également fixé une date limite pour la révision complète des données de base et des objectifs chiffrés, en particulier en ce qui concerne l'impact net sur l'emploi. 3.2. Réallocations globales des Fonds structurels Tous les CCA, DOCUP et autres formes d’intervention relevant des objectifs nos 1 et 6 ont fait l’objet d’un examen à mi-parcours. La seule exception concerne les nouveaux Länder allemands, où les adaptations apportées aux programmes sont effectuées de manière continue. Tous ces examens ont entraîné des réallocations financières d'importance variable visant à améliorer l'efficacité globale des interventions. Du fait des sommes concernées, la portée de ces changements est plus étendue dans les CCA, plus complexes et de plus grandes dimensions que les DOCUP. Toutefois, elle n'est pas directement proportionnelle à la réussite ou à l'échec des programmes concernés. Même en cas de grande réussite (par exemple le CCA irlandais), un programme peut toujours être amélioré et il est possible d'effectuer les corrections nécessaires sans pour autant modifier les grandes priorités et objectifs. La portée des réallocations a varié fortement d'un programme à l'autre. Ces actions se sont généralement concentrées sur l'état d'avancement financier, en particulier pour les programmes n'ayant pas utilisé leurs crédits disponibles. De plus, ces réallocations reflètent aussi le degré de prise en compte des priorités européennes (voir point 4.3). En général, des adaptations limitées (réglages de précision) ont été apportées aux programmes sans affecter les priorités stratégiques. Dans certains cas (Italie-Obj.n° 1, CCA du Portugal), ces modifications se sont accompagnées d'un transfert de ressources des programmes ou sous-programmes plus lents à dépenser les crédits au profit des programmes à dépenses plus rapides, tout en tenant compte des autres critères de qualité. Néanmoins, dans la plupart des cas, les modifications ont été apportées à l'intérieur des programmes et entre actions. Les ressources supplémentaires du déflateur ont également servi à recentrer certaines actions, en particulier en faveur de la création d'emplois. Le graphique 4 indique l'ampleur des transferts de ressources effectués dans chaque Etat membre. Les modifications les plus importantes ont porté sur le CCA de l'objectif n° 1 en Italie (environ 700 millions d'écus, y compris des ressources non programmées et l'indexation du CCA pour 1998), suivi par l'Espagne (plus de 600 millions d'écus) et la Grèce (400 millions d'écus seulement pour les programmes nationaux). Malgré l'importance des sommes concernées, celles-ci ne représentent que 2 % (Espagne) à 5 % des allocations totales des Fonds structurels. En Irlande, les transferts financiers s'élèvent à 160 millions d'écus des Fonds structurels, soit 3 % des Fonds structurels de l'Union européenne pour la période 1994-1999. En Irlande du Nord, aucun transfert de crédits n'a été effectué entre sous-programmes, à l'exception de l'allocation des ressources issues du déflateur. En Finlande et en Suède, les principaux changements ont consisté à regrouper un certain nombre de mesures afin de simplifier la structure du programme. -23- À l'inverse, dans certains programmes de taille relativement modeste, des modifications importantes ont été apportées en termes relatifs, c'est-à-dire par rapport au total des allocations structurelles. Dans la région belge du Hainaut, près de 19 % des ressources disponibles ont été réorientées notamment au profit des régimes d'aide aux PME. Dans le cas de Flevoland, les transferts, bien que relativement élevés (13 %), n'ont entraîné que quelques légères adaptations des actions du DOCUP, sans affecter ses buts et objectifs généraux. Il est assez difficile de présenter une vue complète de la nature de ces adaptations. C'est pourquoi le chapitre suivant présente un aperçu plus qualitatif centré sur quelques priorités communautaires essentielles. Graphique 4 : Réallocation des Fonds structurels par État membre dans le cadre de la révision à mi-parcours (en millions d'écus) 800 19% 698 610 20% 18% 16% 14% 700 600 Mio ecus 500 400 13% 364 12% 10% 8% 7% 400 300 200 100 9,7 140 95,4 0 6% 4% 3% 163 3% 19 5% 2% 6% 166,8 3% 21 5% 4% 2% 0 0 Au tri ch e Be (o bj lg .1 iq ) ue Fr (o an bj .1 ce Al ) le (o m bj ag .1 )1 ne (o bj G .1 rè )2 ce (o bj Irl .1 an )3 de (o bj Ita .1 ) lie Pa (o ys bj .1 Ba ) s Es (o bj pa .1 gn ) e (o Po R bj rt oy .1 ) a u uga l( m ob e U j. 1 ni ) (o Fi bj nl .1 an )4 de (o Su bj .6 èd ) e (o bj .6 ) 0% Montant en Mio Ecu % de la dotation des F.S. 1 2 3 4 dont Nord-Pas-de-Calais (19,6 millions d'écus), Corse (10,1 millions d'écus), Guyane (36,1 millions d'écus) et Martinique (22,4 millions d'écus). pas de révision à mi-parcours. réallocation du FEDER uniquement. dont Irlande du Nord (69,8 millions d'écus), Merseyside (97,0) et Highlands and Islands (21 millions d'écus). 3.3. Inclusion des priorités communautaires Il n'est pas toujours facile d'évaluer dans quelle mesure les priorités communautaires fixées dans les orientations de la Commission en matière de révision à mi-parcours ont été respectées. Cependant l’examen d’un certain nombre de nouvelles mesures ou des mesures existantes recevant un financement complémentaire peut donner une indication sur l'étendue des adaptations effectuées. Infrastructures de base — renforcement des réseaux transeuropéens La réduction des disparités en matière d'investissements d'infrastructure dans les secteurs des transports, de l'énergie, des télécommunications et de l'environnement est reconnue comme un engagement à long terme des Fonds structurels. Cela se reflète tout particulièrement dans la part des crédits totaux (plus de 30 %) attribuée à ce secteur dans les documents de programmation de l'objectif n° 1 pour la période 1994-1999. Bien que cela reste une priorité de premier plan pour la plupart des régions, aucun volume significatif de ressources n'a été consacré au financement de nouvelles infrastructures. Généralement, l'accent a été placé sur -24- des projets spécifiques de réseaux transeuropéens dans le but de mettre en place des systèmes et des connexions efficaces, en particulier dans le domaine des transports (encadré 15). Encadré 15 : programme "Aéroport"— Italie objectif n° 1 Le programme "Aéroport", d'un montant de 10 millions d'écus, récemment approuvé par la Commission a pour but d'améliorer ou de moderniser les aéroports existants dans le sud de l'Italie. À la suite de l'examen à miparcours, il a été convenu d'accorder un concours supplémentaire de 50 millions d'écus à ce programme, exclusivement pour les projets RTE, afin d'augmenter la dotation régionale dans ce domaine. Environnement productif — effort accru en faveur de l'emploi Les résultats des examens à mi-parcours montrent qu'il y avait lieu de se concentrer davantage sur les mesures en faveur de l'emploi par toute une série d'actions (renforcement des régimes d'aide, pactes territoriaux pour l'emploi, initiatives locales de développement, etc.). Un certain nombre de décisions déjà prises (par exemple pour inclure les pactes territoriaux pour l'emploi dans les programmes principaux, encadré 16) démontrent l'existence d'une aspiration et d'un engagement politiques générales en matière de lutte plus efficace contre le chômage. L'accent accru porté sur le rôle des projets en matière de création d'emploi, en particulier des projets relatifs aux PME, va dans le même sens que les orientations politiques de la plupart des Etats membres. C'est ce que reflètent les CCA et les DOCUP. Dans ce contexte, l'examen à mi-parcours s'est interrogé sur l'efficacité des moyens d'action en ce qui concerne le soutien de la création d'emplois ainsi que la réponse au besoin de politiques de l'emploi plus actives appliquant des mesures en faveur des ressources humaines et de l'éducation. Au niveau plus opérationnel, l'examen à miparcours s'est préoccupé de mesurer l'incidence sur l'emploi (par exemple : régions du Royaume-Uni, Nord-Pasde-Calais) et de mieux prendre en compte dans les critères de sélection des projets les questions liées à l'emploi (par exemple : Italie). Encadré 16 : Pactes territoriaux pour l'emploi Dans trois Etats membres (Espagne, Grèce, Italie), les comités de suivi ont alloué des ressources du CCA à un programme ou à une mesure spécifique en vue de financer des plans d'action en faveur des pactes territoriaux pour l'emploi. En Espagne (objectif n° 1), la priorité a été accordée à cinq pactes qui devraient recevoir un concours de 55 millions d'écus de la part de l'Union européenne (issus du déflateur du CCA), à intégrer dans un nouveau programme multirégional. En Grèce, il est envisagé d'affecter les ressources issues du déflateur des exercices 1997 et 1998 à des sous-programmes spécifiques au sein des programmes régionaux en cours d'examen. En Italie, les autorités nationales ont proposé dans le cadre de l'examen à mi-parcours un programme multirégional et à financement multiple de 280 millions d'écus, dont 140 millions d'écus des Fonds structurels qui apporteront un concours à 9 pactes. Les régimes d'aide nationaux, qui sont cofinancés par les Fonds structurels, ont également été révisés afin d'augmenter leur action en faveur de la création d'emplois ainsi que des PME (voir encadré 17). Encadré 17 : PME: le cas du CCA grec Les autorités grecques ont concentré leur programme opérationnel "Industrie" sur les PME, avec un concours supplémentaire de 136 millions d'écus. Le régime d'aide national a été modifié conformément aux orientations de la Commission en augmentant l'appui aux services aux entreprises et en fournissant une assistance indirecte plutôt que des subventions directes. Des instances intermédiaires ont été créées pour gérer les actions en faveur des PME et les projets seront sélectionnés par voie de concours. Une évaluation préalable des projets de PME à financer (près de 1 450 projets sur 4 200 demandes) a également été entreprise. Environnement et développement durable L’environnement, en tant qu'élément d'un développement durable, est l'une des grandes priorités de l'Union européenne les plus fréquemment abordées dans le cadre de l'examen à mi-parcours. La poursuite de cet objectif est envisagée à la fois au moyen de l'introduction de mesures spécifiques et, plus encore, par l'intégration horizontale dans d'autres priorités du programme. En raison de difficultés objectives (manque d'indicateurs, aspects méthodologiques), les résultats de l'examen à mi-parcours n'ont pas abouti dans tous les cas à la formulation de conclusions directement utilisables pour l'adaptation des programmes. Une attention particulière a été accordée à l'absence d'appréciation systématique de l'incidence des projets sur l'environnement et aux gains -25- de qualité que pourrait apporter aux projets la systématisation de ces appréciations. Le terrain a été préparé pour améliorer la protection de l'environnement et les procédures générales de sélection des projets pour la nouvelle période de programmation (encadré 18). Encadré 18 : Intégration de l'environnement L'environnement est une préoccupation de longue date pour la plupart des Etats membres. Pour contribuer convenablement à la protection de l'environnement, les Fonds structurels doivent tenir compte de cette question dans toute décision de projet, de façon à minimiser les dégâts sur l'environnement et à maximiser les effets positifs, par exemple en accordant la préférence aux projets ayant une incidence positive sur l'environnement (action préventive, écoproduits, …). Les services de la Commission travaillent actuellement à des actions concernant l'évaluation de l'impact sur l'environnement (une étude thématique spécifique a d'ores et déjà été lancée, un Guide d’évaluation environnementale des plans de développement régional et des programmes des Fonds structurels de l’UE a été préparé, etc.) en vue d'améliorer le volet intégration. Des progrès ont été réalisés pour que l'environnement devienne véritablement un “critère central” de sélection des projets, en particulier en Finlande et en Suède. Ce critère a également été introduit récemment en Italie dans le programme Industrie pour la sélection de nouveaux projets industriels. Recherche et développement technologique S'il existe généralement déjà une infrastructure de recherche et développement, il est nécessaire d'optimiser l'utilisation des disponibilités existantes. Certaines améliorations ont été apportées, en particulier grâce à l'augmentation des investissements de RDT destinés aux entreprises et à l'industrie locales (voir encadré 19). Encadré 19 : Recherche et développement technologique : le cas de l'Irlande L'importance de la RDT a été soulignée dans le CCA original et cette position a été élargie dans le cadre de l'examen à mi-parcours. Près de 37 millions d'écus ont été consacrés à des mesures complémentaires de RDT dans le programme opérationnel "Industrie". Des appels d'offres et des taux d'aide réduits vont être introduits. Le comité de suivi a également convenu que certains services destinés au secteur industriel pourraient être fournis sur la base du recouvrement des coûts. Société de l'information En ce qui concerne la société de l'information, de nouveaux moyens ont été affectés à cette priorité, compte tenu de l'importance qu'elle revêt dans le cadre de la réduction des effets de la périphéralité, et donc du renforcement de l'investissement et de la productivité (encadré 20). Encadré 20 : Société de l'information (Portugal, Espagne) En Espagne, un nouvel axe secondaire (6.6.) sur la société de l'information a été créé au sein du CCA, à la suite d'une recommandation émise par l'évaluateur. Un concours initial de 46 millions d'écus a été retenu pour soutenir cette priorité. Les actions du FEDER seront consacrées à la fourniture de services professionnels et interactifs aux universités, au tourisme et aux entreprises. Les mesures du FSE se concentreront sur des actions spécifiques de formation à l'intention des citoyens et des autorités locales. En ce qui concerne le CCA portugais, une innovation importante a été la décision d'introduire dans le sousprogramme Télécommunications une nouvelle mesure en faveur de la société de l'information. Cette mesure a reçu 7 millions d'écus du FEDER. De plus, des efforts importants ont également été déployés dans d'autres interventions du CCA, en particulier dans le programme de développement local (PDDR) avec la connexion de toutes les agences locales de développement, ou dans le programme Education avec l'introduction de l'accès à Internet dans les écoles secondaires. Valorisation des ressources humaines En ce qui concerne les interventions en matière de valorisation des ressources humaines, un recentrage sur les chômeurs a été jugé nécessaire après trois années pendant lesquelles l'accent avait porté principalement sur les jeunes. Cet effort en faveur des chômeurs, en accord avec l'approche préventive adoptée dans les orientations sur l'emploi, a revêtu des formes différentes : renforcement des interventions intégrées (orientation et conseils, formation, aide à l'emploi), subventions pour encourager la création de microentreprises, création de nouvelles -26- formes de formation et de services d'emploi locaux. Les interventions en faveur des jeunes se sont concentrées plus particulièrement en faveur des jeunes menacés d'exclusion ou quittant l'école prématurément à la place des programmes plus classiques en matière d’éducation et de formation. À cet égard, l'aide a porté sur une meilleure intégration des systèmes de formation et d'emploi dans le système éducatif principal, en particulier en ce qui concerne la formation professionnelle du deuxième cycle de l'enseignement secondaire (encadré 21). Encadré 21 : Valorisation des ressources humaines — Irlande objectif n° 1 L'examen à mi-parcours du programme opérationnel "Valorisation des ressources humaines" (HRDOP) en Irlande a reçu l'approbation du comité de suivi en octobre 1997. L'examen à mi-parcours a tiré ses informations non seulement des rapports du HRDOP, du CCA et de l'unité d'évaluation de programme du FSE mais aussi des orientations politiques nationales et communautaires, dont les livres blancs du gouvernement et la stratégie européenne pour l'emploi. Les propositions de la révision à mi-parcours adoptées par le comité de suivi sont les suivantes : un cadre de politique générale, des réaffectations financières assorties d'un plan financier révisé (40 millions d'écus environ de changements au sein du programme, avec une augmentation nette de 14 millions d'écus du PO) et l’identification des recommandations qualitatives des évaluations des PO et des CCA nécessitant une action. L'action en faveur des jeunes quittant prématurément l'école (renforcée avec 26 millions d'écus) a constitué la réallocation principale du PO. Cette réallocation avait pour but de fournir un minimum de 1 000 places supplémentaires (avec la capacité dans l'enveloppe financière de fournir 1 400 places supplémentaires, si nécessaire). Afin de disposer de plus de flexibilité, les mesures d'accompagnement ont été renforcées. La réallocation et l'attribution de places supplémentaires d'avancement dans d'autres mesures pour les jeunes quittant prématurément l'école a également été prévue. Le comité de suivi a adopté des recommandations qualitatives en vue de recentrer l'aide en faveur des chômeurs de longue durée, d'augmenter la capacité de la formation en entreprise à répondre aux besoins des employeurs, et d'augmenter les investissements dans les structures d'accueil pour les enfants. Egalité des chances Le thème de l'égalité des chances a fait également l’objet d’actions de renforcement dans un grand nombre de programmes, bien que cette priorité apparaisse souvent comme un objectif horizontal et non pas systématiquement au niveau de l'action. Toutefois, des efforts importants ont été déployés pour redéfinir certaines actions autour de cette priorité, en particulier dans le cadre des interventions relatives aux ressources humaines. Dans le cadre des interventions du FEDER, des mesures spéciales ont été introduites en faveur de l'entreprenariat féminin, en particulier en Italie et en Grèce, au sein des programmes industriels respectifs de ces Etats membres (voir encadré 22). Encadré 22 : Égalité des chances : renforcer l'entreprenariat féminin L'accès des femmes aux programmes de création d'entreprise a été encouragé dans un certain nombre de programmes. En Italie et en Grèce, une mesure spécifique en faveur de l'entreprenariat féminin (appuyée par la législation nationale) a été introduite dans les programmes opérationnels industriels. En Finlande, il est envisagé de garantir l'accès à un régime de ‘prêts à taux réduit’, actuellement à l'étude. IV. IMPLICATIONS POLITIQUES ET ENJEUX FUTURS Les éléments de la démarche de révision à mi-parcours présentés plus haut dans le présent rapport ont eu des implications diverses pour les politiques. Ils ont attiré l'attention sur certaines questions de mise en œuvre et de gestion, qui pourront être solutionnées au cours du reste de la période de programmation. De plus, ils ont fourni non seulement des indications sur les futurs enjeux soulevés par le processus actuel d'évaluation, mais aussi une base de réflexion sur les priorités stratégiques des programmes futurs. 4.1. Implications à court terme pour l’adaptation des systèmes de mise en œuvre actuels Au cours des discussions relatives aux révisions à mi-parcours, il a souvent été mentionné que les procédures de suivi ont tendance à se focaliser davantage sur l'exécution financière que sur les réalisations matérielles. La majorité des évaluations à mi-parcours a souligné la nécessité d'établir de nouvelles séries d'indicateurs afin de mieux mesurer les résultats et l'impact des programmes. La définition de ces indicateurs — tout en assurant leur -27- fiabilité et une quantification correcte — permettra d'améliorer la qualité et la portée de la prochaine série d'évaluations à mi-parcours. Certains Etats membres ont déjà pris des mesures en vue d'améliorer un certain nombre d'éléments dans leurs systèmes de mise en œuvre actuels, notamment : fixation d’objectifs et d’indicateurs clairs et quantifiés pour le suivi et l'évaluation (Autriche, Portugal, Italie, Royaume-Uni) ; définition de critères de sélection plus appropriés pour les projets (dont des critères relatifs à l'emploi et à l'environnement (Italie) ; simplification des procédures de gestion, en particulier pour les petits programmes (Finlande, Suède) ; recherche de synergie entre les différentes interventions des Fonds structurels (Portugal, Espagne). - - 4.2. Premières réflexions pour les programmes futurs L'exercice de révision à mi-parcours s'est attaché à apporter les modifications nécessaires aux programmes afin de tenir compte de l'évolution des circonstances et des besoins qui apparaissent pendant la phase de mise en œuvre. Parallèlement aux évaluations à mi-parcours, la Commission et les Etats membres ont effectué un certain nombre d'analyses stratégiques pour des périodes allant au-delà des interventions actuelles. Ces analyses stratégiques ont pour but de préparer les interventions futures des Fonds structurels en examinant les problèmes à plus long terme qui ne pourront pas être traités dans le cadre de l’actuelle période de programmation. Par exemple, la Commission a complété la source d'informations limitées que constituait l'évaluation intermédiaire de l'Italie par une série d'études thématiques relatives aux priorités importantes du CCA : régimes d'aide à l'industrie, RDT, environnement, infrastructures de transport et valorisation des ressources humaines. Ces études se proposent de répondre à certaines questions politiques majeures et de formuler des recommandations en vue de préparer les prochains CCA. Bien qu'abordant des perspectives plus larges, ces opérations ont néanmoins fourni des informations utiles pour la révision à mi-parcours notamment dans le domaine de la future réorientation des priorités en matière de dépenses. Certains Etats membres ont déjà commencé à passer en revue les priorités de financement dans le cadre de la révision à mi-parcours. Des discussions et des séminaires informels ont également eu lieu avec les autorités nationales pour aborder certains problèmes essentiels dans l'avenir. La Commission a également lancé quatre études thématiques (RDT, PME, environnement et principe du partenariat) afin de définir les grandes orientations politiques et de faciliter l'introduction de nouvelles dispositions pour la période postérieure à 1999. 4.3. L'enjeu de l'évaluation Ce rapport a démontré que des progrès sensibles ont été réalisés en matière d'évaluation des différents programmes des objectifs nos 1 et 6. D'importants éléments de bonnes pratiques ont été soulignés tout au long du rapport, et notamment : la qualité de l'évaluation (méthodologie et critères de qualité) ; l'engagement des différents partenaires de programme dans le processus d'évaluation ; l'organisation et le calendrier de la révision à mi-parcours ; le rôle de rétroaction que joue l'évaluation tant dans les décisions de reprogrammation que dans l’anticipation des futurs problèmes importants. Les leçons découlant de cette expérience peuvent constituer une base d'orientation pour les prochains programmes sur les meilleures pratiques afin d'améliorer encore la gestion des fonds. La question centrale sera donc de savoir comment prendre les résultats en considération pour promouvoir une diffusion plus systématique des bonnes pratiques aussi bien à l'intérieur des régions qu'entre régions. À la lumière de l'expérience acquise à -28- ce jour, l’exercice de révision à mi-parcours montre qu'il reste nécessaire d'améliorer en permanence la qualité de l'opération dans la perspective des défis à relever dans le contexte des futurs programmes. Consolider l'évaluation en tant qu'instrument de décision L'évaluation apparaît de plus en plus comme un outil de gestion, qui doit assister dans leur tâche les décideurs et les gestionnaires de programme en leur fournissant des informations importantes sur l'efficacité des actions et des programmes. Cette fonction doit être organisée de façon à établir un lien plus étroit entre la production de résultats fiables et opérationnels et leur intégration dans le processus de prise de décision. Il faut pour cela créer, lorsqu'elles n'existent pas, des structures appropriées pour gérer les activités d'évaluation dans le contexte du partenariat. Améliorer les systèmes de suivi et les indicateurs Les autorités nationales et régionales ont déjà pris un certain nombre de mesures pour remédier aux principales lacunes ou aux insuffisances de leurs systèmes de suivi pour le reste de la période de programmation. Il sera nécessaire d'améliorer la définition des indicateurs et la collecte des données afin de leur permettre d'exercer une gestion plus efficace. Mieux intégrer les indicateurs financiers et physiques est aussi un grand sujet de préoccupation pour les gestionnaires de programme. Pour les programmes futurs, il est nécessaire de fournir une quantification appropriée des indicateurs de base et des indicateurs d'objectifs et de fournir des données de référence pour permettre une meilleure comparaison à l'intérieur d'un même programme et entre programmes. À cet égard, la Commission produira le moment venu un document d'orientation sur les questions de méthodologie, dont une liste indicative des indicateurs pertinents dans les principaux domaines d'intervention des Fonds structurels. Soutien des méthodologies d'évaluation Des progrès importants ont été réalisés dans le domaine de la méthodologie d'évaluation. Le programme MEANS, lancé par la Commission en 1994, a contribué au développement de l'expertise au sein de ses services, à partir de l'expérience directe des Fonds structurels. Il n'existe pas de méthode d'évaluation unique et normalisée mais une gamme étendue de méthodes qui doivent être adaptées de manière à répondre aux besoins particuliers et à la situation de chaque programme. Les efforts seront néanmoins déployés pour assurer une meilleure connaissance des techniques d'évaluation, non seulement chez les évaluateurs mais aussi chez les gestionnaires de programme, qui auront à apprécier la qualité des résultats des évaluations. Encourager les échanges multilatéraux d'expérience Comme l'évaluation a été reconnue comme un instrument important pour la prise de décisions, les autorités nationales et régionales sont généralement désireuses de tenir des réunions informelles pour échanger leurs opinions et leurs expériences dans le domaine. Le groupe technique d'évaluation au niveau européen est composé de représentants des Etats membres et de la Commission chargés de la gestion des Fonds structurels et pourrait être considéré comme un bon forum pour discuter les problèmes d'évaluation et diffuser les meilleures pratiques. Les grandes questions d'intérêt commun concernent le type et la pertinence des méthodes d'évaluation (par exemple, pour mesurer les effets sur l'emploi) et l'utilisation des résultats d'évaluation pour des objectifs politiques. L'efficacité globale des interventions des Fonds structurels dépendra aussi de la mesure dans laquelle les autorités nationales et régionales prendront les mesures nécessaires pour améliorer leurs systèmes de suivi et de leur capacité à adopter des principes de bonne pratique pour mener le prochain examen à mi-parcours. -29-