Rapport sur la Rserve de Performance et l valuation mi parcours dans les rgions Objectifs et juillet

COMMISSION EUROPÉENNE DIRECTION GÉNÉRALE POLITIQUE RÉGIONALE Rapport sur la réserve de performance et l'évaluation à mi-parcours dans les régions de l’Objectif 1 et de l’Objectif 2 27 juillet 2004 1 Sommaire 1. La réserve de performance et l'évaluation à mi-parcours – première analyse de leur mise en oeuvre 1.1. Fonctionnement pratique de la réserve de performance 1.2. L'évaluation à mi-parcours: processus et résultats 1.3. Conclusion 2. Rapport technique 2.1. Introduction 2.1.1. Réglementation applicable 2.1.2. Approche adoptée par la Commission 2.1.3. Portée des travaux 2.1.4. Objectifs du présent rapport 2.2. La réserve de performance 2.2.1. Modalités pratiques de la réserve de performance 2.2.2. Accord obtenu entre les États membres 2.2.3. Le résultat – l'allocation 2.3. L'évaluation à mi-parcours 2.3.1. Modalités 2.3.2. Bref résumé des conclusions de l'évaluation à mi-parcours Annexe: La réserve de performance – Taux des allocations, Objectifs 1 et 2 2 Première partie Première analyse de la mise en oeuvre de la réserve de performance et de l'évaluation à mi-parcours Dans le cadre de la réforme des Fonds structurels intervenue en 1999, un plus grand accent a été mis, au moyen du développement d'une série de nouveaux instruments mutuellement renforçables, sur la qualité et la performance. Deux de ces nouveaux instruments ont été l'introduction de délais impératifs ainsi que l'octroi d'aides additionnelles en cas de respect de ces délais et de performance suffisante. La règle n+2 constitue un incitant à veiller à ce que les programmes soient exécutés dans les délais, et elle a été complétée par des mesures visant à maximiser autant que possible l'efficacité de l'utilisation des ressources disponibles. Le présent rapport traite de ces mesures, plus spécifiquement de la réserve de performance et de l'évaluation à mi-parcours. La réserve de performance et l'attention accrue apportée, de manière générale, à l'évaluation reflètent la tendance internationale favorisant la gestion centrée sur les résultats. Cette évolution vise à l'utilisation des enseignements du passé et au renforcement de l'attention apportée à la qualité et à la performance, dans le cadre de la gestion et de la mise en oeuvre futures des Fonds structurels. Il convient donc, au stade actuel, d'examiner la manière dont chacun de ces instruments a fonctionné et de tirer des leçons pour l'avenir. La première partie du rapport aboutit à des conclusions concernant la réserve de performance et l'évaluation à mi-parcours, en se fondant sur l'analyse technique figurant à la deuxième partie. Le rapport est basé sur l’analyse de l’expérience dans les régions de l’Objectif 1 et de l’Objectif 2. 1.1. Fonctionnement pratique de la réserve de performance La réserve de performance est mise en œuvre dans le cadre d'un partenariat associant les États membres et la Commission. Cette dernière a pu observer l'attitude positive des États membres face à cette nouvelle approche liant pour la première fois le montant des allocations financières à la performance, et elle s'en félicite. En travaillant en commun pour identifier les programmes performants et en convenant des allocations financières reflétant la performance, la Commission estime que le partenariat entre elle et les États membres a été renforcé. La principale raison d'être de la réserve de performance est d'inciter au renforcement des capacités dans le cadre des bonnes pratiques de gestion. Le fait que des Objectifs et des délais ont été fixés signifie que les régions et les États membres ont agi pour assurer que : • • • • • les ressources soient dépensées; les évaluations soient produites dans les délais; les systèmes de suivi soient mis en place; les systèmes de contrôle financier soient institués, et la sélection des projets devienne plus transparente. 3 Trois types de critères permettent d'évaluer la performance : des critères financiers, des critères de gestion et des critères d'efficacité. S'agissant de l'absorption financière, la règle n+2 a joué le rôle le plus important dans l'accroissement des dépenses ainsi que dans le renforcement de l'effet bénéfique de l'évaluation à mi-parcours et de la réserve de performance. En ce qui concerne les critères de gestion, la réserve de performance a stimulé l’établissement plus rapide de systèmes de gestion de bonne qualité dans les domaines de la sélection de projets, du contrôle financier, du suivi et de l'évaluation. Dans certains cas, ces mécanismes préexistaient et la réserve de performance a assuré leur application rapide. Pour d'autres programmes et d'autres régions - particulièrement au regard de l'Objectif 1 -, la réserve de performance a encouragé un recours systématique à ces pratiques. Il s'agit d'une conclusion particulièrement importante dans le contexte de l'élargissement de l'Union et de la nécessité de renforcer les capacités de gestion et d'administration dans les nouveaux États membres. S'agissant des indicateurs d'efficacité liant les ressources financières à la réalisation d'objectifs de produits et de résultats, l'attention des autorités de gestion a été attirée sur la nécessité de développer leurs capacités à identifier correctement des indicateurs et à fixer des objectifs. Toutefois, les mécanismes futurs liant la performance et les allocations financières devront prendre en compte de manière plus réaliste la capacité de fixation d'objectifs dans les États membres actuels et futurs, la Commission étant éventuellement amenée à suggérer davantage d'orientations et de points de repères appropriés. Un deuxième conclusion est qu'il y a une grande diversité dans les modalités d'application des méthodes utilisées pour apprécier la performance et octroyer des allocations. Bien que cette situation soit normale lors du lancement d'un instrument innovateur, il conviendrait à l'avenir, pour tout instrument innovateur futur, de le définir plus clairement dès le départ. Concernant les principes proposés par la Commission pour l'allocation de la réserve, les conclusions suivantes peuvent être tirées : • Le niveau de transparence a été amélioré lorsque les indicateurs à utiliser, les objectifs et la manière d'évaluer la performance ont été fixés clairement dès le départ. De même, une fixation claire des principes d'octroi des ressources favorise la transparence. Pour les futures allocations liées à la performance, il conviendra de veiller à ce que les indicateurs et les mécanismes fassent l'objet d'un accord dès le début du processus de programmation, avec si possible une plus grande uniformité au sein des États membres. • Des jugements ont été formulés sur une base équitable à travers les programmes et les objectifs, les mêmes normes étant appliquées à l’ensemble des États membres. Étant donné que la législation communautaire n'imposait pas un système unique, les systèmes utilisés ont varié d'un État membre à l'autre, tant au regard de leur contenu que du calendrier. • Les décisions concernant les montants d'allocation de la réserve aux programmes étaient conformes avec la performance et ont tenu compte de manière appropriée de la capacité d'absorption. Certains programmes ont reçu des montants plus importants en raison de la priorité accordée à leur thème. Les programmes jugés 4 performants ont tous bénéficiés de sommes au titre de la réserve plus élevées que le taux de base de 4 %. • Une performance objectivement évaluée a entraîné l'octroi d'allocations au pro rata dans plusieurs pays. Lorsque tous les programmes satisfaisaient aux objectifs fixés, la Commission a admis qu'une allocation globale provenant de la réserve soit octroyée. Dans de tels cas, il pourrait être nécessaire à l'avenir de fournir des critères au regard des objectifs en vue d'assurer qu'ils soient fixés à un niveau approprié, en conformité avec la pratique internationale. Une attention accrue sera accordée à ces conclusions dans le cadre de l'élaboration de la politique de cohésion pour la période 2007-2013. Un tel mécanisme est en mesure de servir d'incitant et d'apporter une valeur ajoutée au développement de la capacité de gestion et d'administration lors de la mise en oeuvre des Fonds structurels. 1.2. L'évaluation à mi-parcours : processus et résultats Une évaluation à mi-parcours a été systématiquement effectuée et deux tiers des rapports étaient de bonne ou d'excellente qualité. Cela reflète une amélioration significative par rapport aux performances antérieures, résultat des capacités d'évaluation croissantes dans les États membres. Cela reflète également l'intérêt de ces derniers pour la réserve de performance, qui incite financièrement à effectuer les évaluations dans les délais et conformément à des normes qualitatives minimales. Il ressort du retour reçu de la part des États membres que les autorités de gestion et les comités de suivi ont jugé l'exercice utile, bien que quelquefois difficile à mettre en oeuvre. Les délais fixés et le lien avec la réserve de performance ont permis d'assurer que les évaluations soient effectuées et qu'elles le soient suffisamment tôt pour influencer les décisions sur les allocations pour le reste de la période de programmation. Toutefois, dans certains cas, lorsque des programmes ont été adoptés tardivement ou que leur lancement a été lent, les activités d'évaluation ont été peu importantes. Cela été particulièrement le cas dans le cadre d'INTERREG III et d'URBAN II ainsi pour certains des programmes Objectif 2 (par exemple, Luxembourg Objectif 2, Italie Objectif 2). La Commission a déjà commencé à examiner la manière de traiter ces questions à l'avenir. Le Troisième Rapport sur la Cohésion Economique et Sociale suggère que l'évaluation à mi-parcours soit remplacée par un processus d'évaluation in itinere. Il suggère que plus d’attention soit apportée à la conception des programmes d’évaluation en fonction des besoins régionaux et nationaux. Ceci devrait être effectué d'une manière permettant que le développement de la capacité d'évaluation et l'utilisation systématique des évaluations soient encore renforcés. 1.2.1. Prochaines étapes – mise à jour de l'examen à mi-parcours et de l'évaluation à mi-parcours La finalité première de l'évaluation à mi-parcours était de fournir une appréciation critique de l'évaluation des programmes, ainsi que des suggestions sur la manière de les améliorer et de maximiser leur impact. La prise en considération des conclusions d'évaluation relève de l'examen à mi-parcours opéré dans tous les États membres. Tout au long de l'examen à mi-parcours, les recommandations d'évaluation sont prises en compte et des décisions sont adoptées sur des changements à apporter aux programmes. La décision de l’examen à mi-parcours allouera également les montants de la réserve de performance par programme entre les axes prioritaires pertinents. 5 L'article 42, paragraphe 4 du Règlement (CE) n° 1260/1999, prévoit que l'évaluation à mi-parcours soit mise à jour avant la fin 2005 en vue de préparer de nouvelles interventions. La Commission a soumis un projet de document de travail concernant la mise à jour de l'évaluation à mi-parcours, qui a été finalisé suite à une discussion au sein du groupe technique sur l'évaluation. 1.3. Conclusion La réserve de performance et l'évaluation à mi-parcours ont contribué à la mise en place d'une gestion des Fonds structurels centrée sur les résultats. La gestion par résultats constitue une approche plus complète que l'accent exclusivement mis sur les dépenses et elle offre des perspectives à plus long terme. Les premières étapes ont été franchies à cet égard. L'effet à long terme de cet accent davantage mis sur les résultats devrait apparaître clairement à l'avenir grâce à l'impact accru des programmes des Fonds structurels. 6 Seconde partie Rapport technique 2.1. Introduction La seconde partie du présent rapport a pour objet une analyse technique de la mise en oeuvre de la réserve de performance et de l'évaluation à mi-parcours dans les régions de l’Objectif 1 et de l’Objectif 2. Ultérieurement, la Commission élaborera un rapport plus détaillé sur les procédures, les méthodologies utilisées et le contenu des évaluations à mi-parcours. Ce rapport fera l'objet d'un séminaire avec les États membres dont la finalité sera de tirer des enseignements pour l'avenir. 2.1.1. Réglementation applicable La réserve de performance est régie par l'Article 44 du Règlement 1260/1999 (voir cidessous), en vertu duquel 4 % des ressources doivent être retenues, au stade de la programmation initiale, en vue d'être allouées à mi-parcours aux programmes performants. La réserve de performance ne s'applique pas aux initiatives communautaires. Au total, plus de 8 milliards d'euros ont été alloués en mars 2004 aux programmes relevant des Fonds structurels au titre du mécanisme de la réserve de performance, 6 milliards dans le cadre de l'Objectif 1, 1 milliard pour l'Objectif 2, 1 milliard pour l'Objectif 3 et 50 millions d'euros au titre de l'instrument financier d'orientation de la pêche (IFOP) hors Objectif 1. Article 44 du Règlement 1260/1999 du Conseil - La réserve de performance 1. Chaque État membre, en concertation étroite avec la Commission, apprécie au titre de chaque Objectif et au plus tard le 31 décembre 2003, la performance de chacun de ses programmes opérationnels ou de ses documents uniques de programmation à partir d'un nombre réduit d'indicateurs de suivi reflétant l'efficacité, la gestion et l'exécution financière et mesurant les résultats à mi-parcours par rapport à leurs Objectifs spécifiques initiaux. Ces indicateurs sont définis par l'État membre, en concertation étroite avec la Commission, sur la base de tout ou partie d'une liste indicative d'indicateurs proposés par la Commission, et sont quantifiés dans les différents rapports annuels d'exécution existants, ainsi que dans le rapport d'évaluation à miparcours. Les États membres sont chargés de l'application de ces indicateurs. 2. La Commission, en concertation étroite avec les États membres concernés, sur la base de propositions de chaque État membre, en tenant compte de ses spécificités institutionnelles et de sa programmation correspondante, alloue à mi-parcours et au plus tard le 31 mars 2004, au titre de chaque Objectif, les crédits d'engagement visés à l'article 7, paragraphe 5, aux programmes opérationnels et aux documents uniques de programmation ou à leurs actions prioritaires qui sont considérés comme étant performants. Les programmes opérationnels ou les documents uniques de programmation sont adaptés conformément aux articles 14 et 15. On observera que les «spécificités institutionnelles» visées à l'article 44, paragraphe 2, se réfèrent aux régions fédérales d'Allemagne, d'Autriche et de Belgique ainsi qu'aux régions administratives autonomes du Royaume-Uni. Il n'a pas été proposé d'allouer des ressources à ces régions dans les États membres énumérés. L'évaluation à mi-parcours est prévue par l'Article 42 du Règlement. Le lien mis entre la réserve de performance et l'évaluation à mi-parcours découle du fait que l'évaluation doit 7 présenter les résultats obtenus au regard des indicateurs de réserve de performance et, en outre, que la Commission joue un rôle dans l'évaluation de la qualité et de la pertinence de l'évaluation à mi-parcours lors de sa prise de décision sur l'allocation de la réserve. Le plus souvent, la qualité de l'évaluation à mi-parcours est un des critères de l'allocation de la réserve. Article 42 du Règlement 1260/1999 du Conseil – L'évaluation à mi-parcours 1. L'évaluation à mi-parcours examine, en tenant compte de l'évaluation ex ante, les premiers résultats des interventions, leur pertinence et la réalisation des Objectifs. Elle apprécie également l'utilisation des crédits, ainsi que le déroulement du suivi et de la mise en oeuvre. 2. L'évaluation à mi-parcours est effectuée sous la responsabilité de l'autorité de gestion, en collaboration avec la Commission et l'État membre. Elle porte sur chaque cadre communautaire d'appui et sur chaque intervention. Elle est réalisée par un évaluateur indépendant, soumise au comité de suivi du cadre communautaire d'appui ou de l'intervention conformément à l'article 35, paragraphe 3, puis transmise à la Commission en règle générale trois ans après l'approbation du cadre communautaire d'appui ou de l'intervention et au plus tard le 31 décembre 2003, en vue de la révision visée à l'article 14, paragraphe 2. 3. La Commission examine la pertinence et la qualité de l'évaluation sur la base de critères préalablement définis d'un commun accord par la Commission et l'État membre, en vue de la révision de l'intervention et de l'allocation de la réserve visée à l'article 44. 4. Dans le prolongement de l'évaluation à mi-parcours, une mise à jour de celle-ci est effectuée pour chaque cadre communautaire d'appui et chaque intervention. Elle est achevée au plus tard le 31 décembre 2005 afin de préparer les interventions ultérieures. 2.1.2. Approche adoptée par la Commission S'agissant de la réserve de performance, la Commission a rédigé, en 1999, un document de travail qui décrivait plus en détails les instruments et proposait des indicateurs de gestion et des indicateurs financiers à utiliser1. En octobre 2003, elle a décrit, dans une note au comité pour le développement et la reconversion des régions, certains principes d'orientation concernant l'allocation de la réserve. Dans cette note, la Commission énumérait une série de principes devant servir de fondements à l'allocation de la réserve, à savoir: • la transparence au regard des décisions de l'allocation; • l'équité au niveau du traitement des programmes et des Objectifs; • un alignement entre la performance objectivement évaluée et le montant des allocations; • le non-recours aux allocations au pro rata, en dehors des cas dûment justifiés; • la récompense des programmes les plus performants; et • la prise en compte de la capacité d'absorption lors de l'octroi des allocations. 1 Document de travail n° 4 relatif à la mise en oeuvre de la réserve de performance 8 L'approche de la Commission en ce qui concerne l'évaluation à mi-parcours a été décrite dans un document de travail2 qui fournissait des orientations sur l'évaluation, et il a fait l'objet d'une discussion avec les États membres en 2000 pour être finalement adopté dans sa forme définitive à la fin de cette même année. 2.1.3. Portée des travaux Les évaluations à mi-parcours ont été soumises à la Commission avant la fin du mois de décembre 2003. Au total, ont été effectuées 120 évaluations de programmes Objectif 1, près de 100 pour des programmes Objectif 2, et 120 pour les initiatives communautaires, INTERREG III et URBAN II. Comme indiqué ci-dessus, la réserve de performance ne s'appliquait pas aux initiatives communautaires. Au total, 59 propositions d'allocation de la réserve de performance pour les régions Objectifs 1 et 2 ont été reçues fin 2003 et début 2004. Toutes les évaluations ont fait l'objet d'un examen et les propositions concernant la réserve de performance ont été analysées et soumises à une discussion avec les États membres, en vue de permettre l'adoption d'une décision concernant l'allocation de la réserve au plus tard le 31 mars 2004. En raison du calendrier strict prévu, la Commission a décidé d'adopter une décision globale sur l'allocation de la réserve de performance, couvrant tous les fonds et tous les objectifs. Cette décision alloue les ressources à des programmes ou à des axes prioritaires. La ventilation des allocations par années et par axes prioritaires (où les décisions globales d’allocation ont été faites au niveau des programmes) et l'inclusion du cofinancement national ont été effectués dans le contexte de décisions spécifiques de modifications de programmes qui rendent également applicables les décisions concernant l'examen à mi-parcours. 2.2. La réserve de performance L'analyse suivante se fonde sur les enseignements concernant la réserve de performance au regard des Objectifs 1 et 2. 2.2.1. Modalités pratiques de la réserve de performance La réserve de performance est mise en œuvre en deux étapes, à savoir : • Appréciation par chaque État membre pour le 31 décembre 2003, en concertation étroite avec la Commission, de la performance de chaque programme, à partir d'un nombre réduit d'indicateurs et d'objectifs reflétant l'efficacité, la gestion et l'exécution financière (Article 44, paragraphe 1). • Au 31 mars 2004 au plus tard, la Commission alloue, en concertation étroite avec les États membres et sur la base d'une proposition de chaque État membre, la réserve de performance aux programmes ou axes prioritaires considérés comme performants (Article 44, paragraphe 2). Bien que ces deux étapes aient été concentrées durant la période fin 2003-début 2004, un élément important du mécanisme a été le travail préparatoire d'identification des indicateurs, de fixation des objectifs et de développement d'une méthode d'évaluation des programmes performants, ainsi que la décision sur le montant que chaque programme 2 Document de travail n° 8 relatif à l'évaluation à mi-parcours des interventions structurelles 9 doit recevoir. Ce travail a commencé par l'élaboration de programmes opérationnels et de documents uniques de programmation en 2000 et 2001. Les programmes incluent des indicateurs financiers et de gestion, ainsi que des objectifs et des indicateurs d'efficacité, qui ont ensuite été quantifiés dans le complément de programmation. Le travail de développement du mécanisme et de sa définition dans chaque contexte nationale ou régional s'est poursuivi tout au long de la période, jusqu'à la présentation de propositions formelles par les États membres. La Commission a travaillé en concertation étroite avec les États membres tout au long de l'exercice. L'identification des indicateurs de performance Trois types d'indicateurs ont été proposés dans le Règlement (CE) n° 1260/1999 en vue de permettre l'évaluation de la performance des programmes. Les indicateurs financiers et de gestion étaient relativement clairs et ils ont été utilisés dans presque tous les États membres avec des objectifs similaires. Les indicateurs d'efficacité étaient plus complexes. Dans la plupart des cas, les États membres ont utilisé la liste d'indicateurs de gestion recommandés par la Commission dans le document de travail n° 4, à savoir la qualité du système de suivi, du contrôle financier, de la sélection des projets et de l'évaluation. Ces indicateurs s'appliquaient généralement à l'ensemble du programme, de sorte qu'ils étaient plus adaptés aux cas où les décisions sur les allocations étaient prises par programmes. La situation varie, du Danemark - qui a utilisé un seul indicateur de gestion, le contrôle financier des projets - au Portugal qui en a utilisé six, l'indicateur de suivi étant ventilé entre le suivi matériel et financier (pour lequel l'objectif fixé était de 80 %, alors qu'il était de 100 % pour la plupart des États membres) et l'indicateur de contrôle financier, ventilé entre un système de contrôle financier et le contrôle financier des projets. Une autre particularité concerne l'Italie, où la plupart des indicateurs étaient obligatoires, alors que la sélection de projets ne l'était pas. La Commission a proposé deux indicateurs financiers, l'absorption financière et l'effet de levier, l'objectif d'absorption financière dépendant de l'année, 2000 ou 2001, où le programme a été adopté. L'objectif cible concernant les paiements, exprimé sous la forme d'un pourcentage des engagements pour les deux premières années, a été fixé à 100 dans presque tous les pays. Le seuil de performance a été de 75 % dans la plupart des pays, mais de 100 % en Autriche, en Belgique, en Italie et au Royaume-Uni – Angleterre. L'effet de levier a été défini de manière non uniforme au sein des États membres (par exemple : la part du financement privé par rapport au plan de financement total; le financement privé total investi; ou la part du financement privé prévu dépensée par rapport au montant programmé). Les objectifs exprimés sous forme de pourcentages ne sont donc pas comparables entre les différents pays. L'effet de levier n'a pas été utilisé comme indicateur en Belgique, en Allemagne-transport, en Finlande, en Italie, en Espagne et en Suède. Comme il a été indiqué ci-dessus, les indicateurs d'efficacité étaient plus complexes. La proposition de la Commission était qu'ils consistent en un sous-ensemble d'indicateurs de produits et de résultats du programme, représentant au moins 50 % des dépenses. Les éléments suivants résument les enseignements tirés de l'analyse des indicateurs d'efficacité utilisés dans les États membres : 10 • Tous les pays ont eu recours tant à des indicateurs de produits que de résultats, à l'exception de la Grèce, de l'Italie Objectif 2 et du Danemark - qui ont utilisé uniquement des indicateurs de produits - et de la Suède, qui a utilisé uniquement des indicateurs de résultats. • La plupart des États membres ont estimé qu'un objectif est atteint si 75 % du montant-cible à mi-parcours identifié dans le complément de programmation est obtenu. 100 % ont été obtenu au Danemark, dans certaines régions allemandes, en Italie et au Royaume-Uni–Angleterre; 80 % ont été proposés pour l'Espagne, et 60 % au Portugal. • On observe une variation significative du nombre d'indicateurs utilisés pour évaluer l'efficacité, la gamme allant de deux indicateurs de produits au Danemark à 28 indicateurs (14 de produits et 14 de résultats) au Royaume-Uni, Écosse orientale Objectif 2. À l'origine il y avait plus d'indicateurs dans certains États membres (jusqu'à 100 pour un programme) et des objectifs irréalistes ont quelquefois été fixés. Dans le cadre de l'exercice de simplification3, la Commission européenne a proposé en 2002 que les indicateurs d'efficacité concernant la réserve de performance soit rationalisés et simplifiés. Ce processus s'est terminé en 2002 pour le Royaume-Uni, alors qu'il s'est poursuivi en 2003 pour la Grèce, le Portugal et l'Espagne. En général, les indicateurs d'efficacité étaient moins fiables, pour une série de motifs, que les indicateurs financiers et de gestion. Certains objectifs ont été fixés à un niveau très bas à mi-parcours (parfois seulement à quelques pourcents de l'objectif total), alors que d'autres ont été fixés à un niveau très élevé. La fiabilité des indicateurs d'efficacité était clairement supérieure dans le domaine des décisions sur les allocations pour les programmes, alors que les critères financiers et de gestion étaient moins pertinents. Bien que des faiblesses soient apparues au niveau des indicateurs d'efficacité dans certains États membres, de nombreux enseignements utiles ont été tirés aux niveaux de l'identification d'indicateurs et de la fixation d'objectifs appropriés. Cet élément doit être développé davantage à l'avenir, dans le cadre d'une nouvelle amélioration du système de suivi. La définition de méthodes d'identification de la performance transparentes Il ressort de l'exposé ci-dessus que les méthodes d'identification de la performance ont fortement divergé entre les États membres. Deux approches principales peuvent être constatées : • Six États membres ont décrit leurs méthodes d'identification de la performance et d'allocation de la réserve dans leurs documents de programmation (la Belgique, le Danemark, la Finlande, l'Italie, le Luxembourg et la Suède) ou au début du processus de programmation (Italie). La méthode a donc été définie dès le lancement du processus. 3 Propositions de la Commission soumises à la réunion ministérielle du 7 octobre 2002 consacrée à la simplification, à la clarification, à la coordination et à la flexibilité de la gestion de la politique structurelle durant la période 2000-2006 11 • Les autres États membres ont mis en place des méthodes aux moyens de propositions et de discussions bilatérales avec la Commission en 2002 et 2003. L'Irlande et les Pays-Bas ont développé leurs méthodes plus tôt - en 2002 - alors que l'Autriche, la France, l'Allemagne, la Grèce, le Portugal, l'Espagne et le Royaume-Uni ont mis en œuvre cet exercice en 2003. Bien que la méthode utilisable en France n'ait pas été convenue à l'avance, elle a été discutée en 2003. Le Royaume-Uni a incorporé sa méthode dans sa proposition, qui a fait l'objet d'une discussion à l'état de projet avec la Commission. Cette dernière a exprimé des préoccupations concernant le manque de transparence dans les cas où les méthodes utilisées ont été examinées très tard en 2003, très peu de temps avant l'évaluation de la performance. Même lorsque les méthodes ont été identifiées à un stade précoce, le processus réel d'identification des programmes hautement performants a parfois soulevé des questions requérant des éléments de clarification après la réception des propositions. La Commission a sollicité des explications sur les méthodes utilisées avant d'approuver les propositions de paiement des États membres. Un exemple de bonne pratique est démontré par l'Italie, qui a suivi le conseil de la Commission, figurant dans le document de travail n° 4, de désigner un groupe d'experts consultatifs chargés d'assister l'évaluation de la performance. Le groupe de travail pour l'Italie Objectif 1 était présidé par l'unité d'évaluation italienne et a inclus des représentants de l'unité évaluation, des unités régionales d'évaluation ainsi que deux experts indépendants désignés par la Commission. Le groupe de travail a élaboré un rapport approfondi sur le degré de performances de chaque programme au regard des critères convenus. Un groupe de travail a également été institué pour l'Objectif 2. Méthodes d'allocation des ressources Après l'identification des programmes performants, l'étape suivante a été l'allocation de la réserve de performance dans une mesure reflétant la performance établie. Les méthodes proposées divergeaient entre les États membres, certains ne fixant pas de méthode préalablement à la formulation de leurs propositions. Lorsque les États membres ont préalablement proposé et convenu de méthodes avec la Commission, cellesci variaient en clarté et en degré de précision. Certaines méthodes proposées à l'avance ne correspondaient pas intégralement aux propositions finalement formulées. L'analyse a fait apparaître les variations suivantes au niveau du mécanisme d'allocation : • Lorsque tous les programmes étaient clairement performants, ils ont reçu une allocation globale au titre de la réserve de performance. Il n'y avait donc pas lieu d'adopter une méthode d'allocation des ressources additionnelles. • Une autre méthode était d'éliminer premièrement les programmes non performant et de distribuer ensuite les ressources disponibles aux programmes les plus performants. Cette méthode a été utilisée en Grèce et dans les régions autrichiennes pour identifier les axes prioritaires en matière de performance. En Espagne, l'allocation a été effectuée au pro rata pour tous les programmes, à 12 l'exclusion de trois. Au Portugal, après avoir exclus trois programmes, les autres ont été divisés en deux groupes, en fonction de leur degré de performance4. • Certains États membres ont proposé une allocation à tous les programmes, à concurrence de montants inférieurs à 4 % pour les programmes n'ayant que partiellement réalisé leurs objectifs, les allocations les plus élevées étant réservées aux programmes les plus performants. Cette méthode a été utilisée en ItalieObjectif 1, au Royaume Uni-Angleterre et en France5. • La méthode utilisée au Royaume Uni-Angleterre prévoyait un renchérissement de 5 % en raison de préoccupations liées à l'absorption. • Une pondération a été utilisée dans certaines régions allemandes (par exemple le Brandenbourg) et le Royaume-Uni – Écosse Objectif 2. La proposition écossaise est un bon exemple d'un système rigoureux transparent. Elle utilisait une pondération au regard des indicateurs d'efficacité et a fait passer le ratio de performance réel à 200 % de l'objectif. • Enfin, en Irlande et au Portugal, des montants supérieurs ont été alloués aux programmes performants considérés comme absolument prioritaires. 2.2.2. Accord obtenu entre les États membres Toutes les propositions ont été reçues avant janvier 2004. La Commission a ouvert des discussions rapides avec les États membres en vue d'obtenir des clarifications sur les méthodes utilisées pour évaluer la performance, et de fixer sur cette base les allocations proposées. Les délais réglementaires ont réduit le temps disponible pour un examen et une discussion détaillée sur les propositions. La plupart des propositions ont été reçues début janvier 2004 et les décisions de principe sur les montants à allouer devaient être adoptées pour début février. Deux groupes de pays ou de régions peuvent être identifiés : • Dans la majorité des cas, les propositions formulées par les États membres ont pu être immédiatement acceptées par la Commission. Ces propositions identifiaient avec transparence les performances et les propositions d'allocations en découlaient logiquement. Telle a été la situation pour l'Autriche, le Danemark, certaines régions allemandes, la Grèce, la Finlande, l'Irlande, l'Italie Objectif 2 et Objectif 1 en transition, le Luxembourg, les Pays-Bas, l'Espagne, la Suède et le Royaume Uni-Irlande du Nord, Écosse et Pays de Galle Objectif 2. Un cas particulier était la France, qui a communiqué un projet de proposition ayant fait l'objet d'une discussion avec la Commission, avant que certains changements ne soient incorporés dans une proposition définitive finalement acceptée par la Commission. • Dans d'autres cas, la proposition de l'État membre a été acceptée après que des explications sur la méthodologie utilisée aient été fournies ou que certains 4 En France, en Grèce, au Portugal et en Espagne, les programmes d’assistance technique étaient exclus de l’exercice de la réserve de performance. La France a adopté une approche légèrement différente: elle a exclu les deux programmes d'assistance technique de la réserve de performance. 13 5 changements aient été apportés à la proposition initiale. Les propositions concernant la Belgique (à l'exception des régions flamandes Objectif 2), plusieurs régions allemandes et le Royaume Uni-Pays de Galle Objectif 1 n'ont pu être acceptées avant que la méthodologie utilisée ne soit clairement expliquée. Pour l'Italie Objectif 1, le Portugal et le Royaume Uni-Angleterre, des éclaircissements ont été demandés et les discussions avec les États membres ont entraîné des modifications au niveau des allocations. 2.2.3. Le résultat – l'allocation Les chiffres figurant ci-dessous résument les taux des allocations Objectifs 1 et 2 versées au titre de la réserve de performance, fondés sur les tableaux mentionnés à l'annexe 1 comparant les allocations au titre de la réserve de performance aux allocations financières convenues dans les documents de programmation. On observera que pour l'Allemagne, l'Autriche, le Royaume-Uni et la Belgique, eu égard à leurs structures institutionnelles, l'allocation des ressources n'est pas effectuée au bénéfice de régions fédérales ou autonomes. Lorsqu'il n'y a qu'un seul programme par Objectif au sein d'une de ces régions, l'allocation a été octroyée à des axes prioritaires au sein du programme. De même, lorsqu'il n'y a qu'un seul programme au titre d'un Objectif dans un État membre, les allocations ont été fixées par axe prioritaire (Danemark, Luxembourg). Les allocations dans les États membres par programme sont représentées par un point unique dans les tableaux ci-dessous. Un point unique apparaît également lorsqu'une allocation au pro rata a été octroyée à des programmes au sein d'un pays (Finlande, Pays-Bas, Suède). Taux des allocations en %, Obj.1 100 10 Taux des allocations (%) 8 6 4 2 0 AU BE DE ES FIN FR GR IRL IT NL PT SW UK Eng UK N.Irl UK Scot UK Wal 14 Taux des allocations en %, Obj.2 8 7 Taux des allocations (%) 6 5 4 3 2 1 0 AU BE Fl BE Wal DE DK ES FIN FR IT LUX NL SW UK Eng UK Scot UK Wal Une série d'observations peuvent être faites sur les allocations au titre de la réserve de performance: • Près de 80 % des programmes Objectif 1 (93 au total) ont bénéficié d'allocations au titre de la réserve de performance; tous les autres programmes Objectif 2, à l'exception du programme d'assistance technique pour la France, ont bénéficié d'allocations. • Pour l'Objectif 1, le taux des allocations était plus élevé que pour l’Objectif 2. Pour les programmes bénéficiant d'une allocation, le taux le plus élevé était en Grèce, où les montants représentaient de 4 % à 9,33 % des engagements totaux pour les 11 programmes ne bénéficiant d'aucune allocation (y compris le programme opérationnel d'assistance technique, préalablement exclu). En Italie, le taux des allocations allait de 2,3 % à 7,2 %, alors qu'en Irlande l'allocation entière allait à un seul programme (dans le domaine de l'infrastructure). Des taux similaires sont relevés en France (3,2 % à 5,12 %) et au Portugal (3,71 % à 5,01 %), deux programmes d'assistance technique en France ne bénéficiant d'aucune allocation alors que trois programmes ont été exclus au Portugal. Des allocations au prorata ont été octroyées en Finlande et en Suède, où tous les programmes ont été performants, alors que pour l'Espagne une allocation au prorata a été accordée aux 20 programmes bénéficiaires (deux ne recevant aucune allocation). • En excluant les programmes d'assistance technique de l'analyse, on observe qu'en Grèce, au Portugal, en Espagne et en Irlande certains programmes n'ont bénéficié d'aucune allocation au titre de la réserve de performance, principalement en Grèce (10 programmes). Alors que la méthodologie italienne proposait l'exclusion des programmes ne satisfaisant pas aux critères impératifs, la proposition des autorités italiennes était d'octroyer une allocation à tous les programmes. Cette requête a été acceptée par la Commission, au motif que la méthode italienne était plus rigoureuse que celle utilisée dans les autres États membres. La Commission a admis l'argument que la réserve de performance a davantage une fonction d'incitant 15 que de sanction, de sorte qu'une performance partielle a été reconnue et récompensée. • S'agissant de l'Objectif 2, les allocations étaient plus uniformes et se caractérisaient par une variation de taux moins large, notamment en raison d'un niveau de performance plus élevé. La gamme la plus étendue apparaît en France, où les allocations se chiffraient entre 2 et 6,50 %, et dans une moindre mesure en Angleterre (entre 4,02 % et 5,96 %). • Dans le cas des allocations entre axes prioritaires, la gamme de variation des taux était plus étendue. Dans de nombreux cas, les allocations ont été concentrées sur un nombre limité d'axes prioritaires. Allocations sectorielles Lorsque les allocations ont été octroyées à des programmes, la ventilation par secteur n'est pas disponible pour les programmes régionaux. Le tableau suivant fournit cependant un instrument d'analyse fondé sur les informations disponibles. Il est clair que ce tableau ne donne qu'une image partielle, puisque 51 % des ressources Objectif 1 et 79 % des ressources Objectif 2 ont été allouées à des programmes régionaux. La situation ne sera intégralement connue que lorsque l'examen à mi-parcours aura été clôturé et que les allocations par axe prioritaire au sein des programmes auront été fixées. Allocations au titre de la réserve de performance, par secteur Secteur Objectif 1 Montant % (millions d'euros) Objectif 2 Montant % (millions d'euros) Programmes régionaux Infrastructure Environnement productif Ressources humaines Assistance technique Total 3.091 866 1.249 874 19 6.099 50,7 14,2 20,5 14,3 0,3 100 804 75 131 2 1 1.013 79,3 7,4 13,0 0,2 0,1 100 Réserves nationales Un élément final important à signaler est celui des réserves nationales, qui ont dépassé les exigences de la Commission. Ces réserves ont été appliquées en Italie, au Portugal et en Grèce. Dans ces deux derniers pays, elles se chiffraient respectivement à 2,6 % et à 2 % et elles ont été octroyées à des axes prioritaires nationaux stratégiques, dans le cadre de l'examen à mi-parcours. En Italie, le montant de la réserve nationale était de 6 % de l'engagement initial et des critères additionnels, principalement liés à la gestion et à la capacité administrative, ont été identifiés, ce qui a fourni des imitations à la performance. 16 2.3. L'évaluation à mi-parcours La présente partie du rapport porte sur les appréciations qualitatives des évaluations à mi-parcours et sur une analyse préliminaire du contenu des évaluations. Cette analyse sera poursuivie durant les prochains mois en vue d'élaborer un rapport tirant des enseignements et identifiant les meilleures pratiques utilisées dans le cadre du processus d'évaluation à mi-parcours. Ce rapport servira de base à un séminaire à organiser avec les États membres à la fin 2004. 2.3.1. Modalités La Commission a rédigé ses orientations concernant l'évaluation à mi-parcours en 2000 et elle s'est concertée avec les États membres sur son contenu avant la finalisation du document de travail n° 8 à la fin de la même année6. Dans ce document de travail, la Commission a exposé sa conception du rôle qu'elle tient dans le processus d'évaluation à mi-parcours. Elle a demandé à être consultée sur le budget de l'évaluation, les conditions de référence, le rapport de lancement et le projet de rapport. Dans la plupart des cas la Commission a été représentée dans les groupes de pilotage et elle a participé activement à l'ensemble du processus d'évaluation. L'Article 42, paragraphe 3, du Règlement (CE) n° 1260/1999 prévoit que la Commission examine la pertinence et la qualité des évaluations à mi-parcours sur la base de critères préétablis définis préalablement de commun accord par la Commission et l'État membre concerné. Les critères utilisés ont été ceux développés dans le cadre du programme MEANS7 visant à l'amélioration des méthodes d'évaluation des politiques structurelles. En vue de contribuer à une amélioration de la qualité des évaluations, la Commission a décidé d'effectuer des appréciations qualitatives des rapports Objectif 1 et Objectif 2 au stade de projet, lorsqu'ils sont disponibles, et de formuler des commentaires à l'adresse des autorités de gestion à un stade suffisamment précoce pour que les évaluateurs puissent améliorer la qualité des rapports finaux. Fonctionnement du partenariat Le partenariat a fonctionné à plusieurs niveaux différents durant le processus d'évaluation à mi-parcours, et de différentes manières en fonction des pratiques nationales et régionales, des budgets disponibles et de la portée des programmes. Dans la plupart des cas, des groupes de pilotage ont été institués, auxquels participaient des membres du comité de suivi. Le rôle des groupes de pilotage divergeait selon les programmes et les pays et ils n'ont pas toujours été impliqués dès le début du processus. D'une manière générale, le travail des groupes de pilotage a amélioré le fonctionnement du partenariat et la participation de ce dernier au processus d'évaluation, bien que dans certains cas il semble qu'il y ait eu des tentatives inappropriées d'orienter l'évaluation vers certaines conclusions et recommandations. La présentation du rapport au comité de 6 Les Orientations pour les systèmes et le suivi des interventions du FSE durant la période 2000-2006 (1999) ont fourni des lignes directrices spécifiques concernant les aides au titre du FSE. Commission européenne (1999), Évaluation des programmes socioéconomiques, volumes 1-6, Luxembourg, Office des publications officielles des Communautés européennes (la série MEANS a été mise à jour et un nouveau guide pour l'évaluation du développement socioéconomique peut à présent être consulté sur le site web de la Direction générale de la politique régionale ou, directement, sur le site www.evalsed.info ). 17 7 suivi a étendu la participation du partenariat au processus. Dans certains cas, les conclusions de l'évaluation ont éveillé un intérêt important auprès des médias et du monde politique. Le processus d'évaluation se caractérisait également par le partenariat avec la Commission européenne. Cette dernière a fourni, en concertation avec les États membres, un cadre global pour l'évaluation. Elle a participé aux travaux des groupes de pilotage et a accordé une attention particulière aux conditions de référence ainsi qu'au rapport de lancement et au rapport final. Comme la Commission l'a indiqué dans son document de travail, l'évaluation à miparcours a été un exercice complexe. De manière générale, elle a contribué à une amélioration de la qualité. Des conditions de référence clés ont été fixées dans une série de pays (par exemple, l'Autriche, la France, l'Italie et le Royaume-Uni), ce qui a permis d'assurer que les évaluations soient bien conçues. En France et en Italie, un soutien particulièrement étroit au processus d'évaluation a été fourni, respectivement, par le DATAR et par l'unité italienne d'évaluation, les examens qualitatifs des projets d'évaluation étant effectués en partenariat avec la Commission. La Commission a souligné dans ses orientations concernant l'évaluation à mi-parcours qu'un temps suffisant doit être réservé à cet exercice. Dans la plupart des cas, la planification a commencé suffisamment tôt et les évaluateurs se trouvaient en place à un moment leur permettant de produire un travail de haute qualité. Des retards ont eu lieu en Grèce et au Luxembourg (Objectif 2). Au Luxembourg, ce retard a résulté du démarrage tardif et de la faible portée du programme. En Grèce, un travail accéléré après l'installation de l'équipe d'évaluateurs a permis de réduire au minimum l'impact négatif sur la qualité de l'évaluation. La qualité des évaluations à mi-parcours Comme indiqué ci-dessus, la Commission a examiné les évaluations à mi-parcours Objectif 1 et Objectif 2 aux stades de projet et de rapport final. Au stade de projet, des suggestions d'amélioration des rapports ont été formulées. Le tableau suivant fait état des progrès considérables réalisés dans le cadre de ces évaluations entre les stades de projet et de rapport final. Évaluation de la qualité - Rapports Objectif 1 et Objectif 2 Projets de rapport (en %) 34 48 18 100 Rapports finaux (en %) 65 35 0 100 Bons/excellents Satisfaisants Insuffisants Total Le résultat final, avec près de deux tiers des rapports d'évaluation jugés bons ou excellents, est extrêmement positif. Au stade de projet, le nombre relativement élevé de rapports insuffisants était dû au fait que de nombreux rapports n'étaient pas encore terminés. Le partenariat entre la Commission, les autorités de gestion et les comités de pilotage a clairement contribué dans une mesure significative à l'amélioration de la qualité des rapports. 18 La Commission réunit actuellement des informations sur le coût de l'évaluation et elle fournira une analyse sur son rapport coût-efficacité dans un rapport approfondi en préparation. Des ressources significatives ont été allouées à cet exercice, qui a contribué à une amélioration de la qualité par rapport au passé. La plupart des évaluations coûtent entre 150.000 et 250.000 euros, mais des montants plus importants ont souvent été dépensés en Italie et en Allemagne. Les évaluateurs Un total d'environ 170 entreprises d'évaluation ont participé à l'évaluation des programmes Objectif 1 et Objectif 2. Dans de nombreux cas, des consortiums d'évaluateurs ont été créés, particulièrement en Allemagne où figure le nombre le plus important d'évaluateurs (28) ayant participé au processus d'évaluation à mi-parcours, pour un total de 19 évaluations. À l'inverse, en Suède, une seule entreprise d'évaluation en a effectué 6, alors qu'une autre a pris en charge deux évaluations concernant des questions liées à la gestion des mesures du Fonds Social Européen dans le cadre de l'Objectif 1. Le plus grand nombre d'évaluations effectuées par une entreprise a été de 10, dans plusieurs cas en consortium avec d’autres entreprises, en Espagne. Au Portugal, une entreprise a participé à 9 évaluations alors qu'une autre a pris part à 7 d'entre elles, mais dans les deux cas il s'agissait de consortiums, à elles deux ou avec d'autres entreprises. En France, une entreprise a pris en charge 6 évaluations. S'agissant de l'Allemagne, de la Belgique, de la Grèce, de l'Italie et du Royaume-Uni, le nombre maximal d'évaluations effectuées par une seule entreprise était de 4. En Autriche, au Danemark, en Finlande, en Irlande, au Luxembourg et aux Pays-Bas, ce chiffre était inférieur. En ce qui concerne la participation à des évaluations transfrontières, des évaluateurs provenant d'Irlande, d'Autriche, du Royaume-Uni et du Danemark ont participé à des évaluations allemandes, des évaluateurs suisses ont participé à une évaluation autrichienne, un belge a participé à une évaluation luxembourgeoise et un espagnol a participé à une évaluation portugaise. Une approche innovante de l'évaluation à mi-parcours, fondée sur un échange transnational d'expériences, a été mis en oeuvre dans les régions Objectif 2 de NordrheinWestfalen, Écosse orientale et Écosse occidentale. En recourant à des liens de coopération à long terme, les autorités régionales ont décidé de lancer une étude comparative sur la rationalisation des questions horizontales dans le cadre de leurs programmes Objectif 2. L'objectif était de stimuler une discussion sur les enseignements tirés de la mise en oeuvre des Fonds structurels et de renforcer le processus d'apprentissage. Les résultats de l'étude ont fait l'objet d'une discussion dans un atelier réunissant les représentants des trois régions. S'agissant d'URBAN II, environ la moitié des programmes ont été évalués individuellement, alors que l'évaluation des autres a été organisée au niveau national, comme ce fut le cas en Italie, en Espagne, en Grèce et en Angleterre. Globalement, le processus d'évaluation à mi-parcours révèle la dimension croissante du marché des évaluateurs. Il apparaît cependant que ce marché a été mis sous pression en raison du délai strict du 31 décembre 2003 imposé à toutes les évaluations à mi-parcours, alors que certains évaluateurs étaient simultanément chargés d'évaluation ex ante pour les nouveaux États membres. Des contacts avec les États membres durant le processus ont révélé que les responsables de la gestion des évaluations ont dû insister pour obtenir un travail d'une qualité conforme aux engagements souscrits, particulièrement de la part des 19 évaluateurs participant à un grand nombre d'évaluations, dont certains sont apparus débordés. Cet élément souligne l'importance de la mise à disposition, au sein des autorités de gestion, d'une capacité d'évaluation suffisante pour assurer la qualité du processus. Méthodologies En règle générale, les évaluateurs ont combiné des recherches préliminaires, notamment l'analyse de données de suivi, et un travail sur le terrain. Ce dernier a consisté en la consultation des principales parties intéressées, dans certains cas des enquêtes auprès de bénéficiaires, ou enfin des études ou des groupes de réflexion. Pour les plus grands programmes de l’Objectif 1 ou les CCA, certains modèles macro-économiques ont été développés. Certaines évaluations d'excellent niveau ont combiné plusieurs méthodologies spécifiquement conçues pour répondre aux questions d'évaluation et pour utiliser les informations disponibles. À titre d'exemples de telles évaluations, on citera le Royaume Uni-Merseyside, la France-Guyane et l'Italie-Toscane. Ainsi, l'évaluation Merseyside s'est fondée, en plus des recherches préliminaires et de la consultation des principales parties intéressées, sur 128 examens de projets visant explicitement à fournir un «contrôle de réalité» des opinions exprimées par les organes de mise en oeuvre, ainsi que sur deux enquêtes auprès de bénéficiaires destinées aux entreprises et aux particuliers. Généralement, l'analyse des systèmes de mise en oeuvre fournit un instrument utile d'amélioration de la gestion des programmes des Fonds structurels. Cet élément des évaluations était généralement fondé sur des recherches préliminaires ainsi que sur des entretiens avec les responsables de la mise en oeuvre des programmes. Il a acquis une importance plus grande que ce qui était prévu dans le document de travail de la Commission, en raison du démarrage lent ou tardif de nombreux programmes qui a eu pour effet que les informations concernant les produits et les résultats sur lesquels fonder des appréciations sur la performance des programmes étaient limitées. Cet accent mis par les évaluateurs sur les systèmes de mise en oeuvre était particulièrement sensible en Italie et en France, ainsi que pour les programmes INTERREG et URBAN. Des difficultés de nature méthodologique sont apparues pour les motifs suivants : • dans certains cas, les recherches préliminaires étaient limitées et centrées uniquement sur les responsables de la mise en oeuvre du programme. Une évaluation d'un programme des Fonds structurels doit se fonder sur la réalité «sur le terrain» et utiliser celle-ci pour expliquer les conclusions de la recherche préliminaire et le résultat des entretiens avec les autorités de gestion et les organes de mise en oeuvre. Même lorsque le démarrage des programmes est lent ou tardif, dès que les projets sont sélectionnés des informations doivent être disponibles concernant les avis exprimés par les bénéficiaires. • Dans de nombreux cas, les données de suivi étaient d'un niveau faible. Certains programmes ont démarré tardivement et seules des données limitées à leur thème étaient disponibles, alors que pour d'autres programmes le système de suivi ne fonctionne pas encore et ne fournit pas encore d'informations sur la performance matérielle au comité de suivi et aux évaluateurs aux fins du présent exercice. Cet élément a limité les possibilités pour les évaluateurs de faire rapport sur ce qui a effectivement été réalisé à ce jour dans le cadre des programmes concernés. 20 • Problème lié à l'absence de données de suivi, mais également à l'accent important mis sur la performance financière en raison des exigences de n+2: certains évaluateurs ont accordé une attention excessive à l'analyse financière et n'ont pas suffisamment examiné ce qui a effectivement été réalisé dans le cadre des programmes. Cette approche a entraîné des recommandations exclusivement fondées sur des considérations financières, négligeant d'examiner les implications stratégiques d'un transfert d'allocations. Un autre problème de nature conceptuelle a été que de nombreux évaluateurs ont défini « l'efficience » comme l'absorption de fonds et ont ignoré la définition plus appropriée qui est le coût unitaire de réalisation de produits et de résultats. • Les évaluations n'ont souvent pas produit suffisamment de conclusions et de recommandations opérationnelles et certaines n'ont pas opéré de différences claires entre les deux. Les conclusions doivent être spécifiques et clairement fondées sur des éléments bien établis, alors que les recommandations doivent être de nature pratique et utile. Certaines évaluations se caractérisaient par le caractère vague des recommandations. Un dernier point a trait à la longueur des évaluations et, dans certains cas, à leur absence de contenu analytique. De nombreuses évaluations étaient trop longues, ce qui entrave la diffusion de leurs conclusions. Il conviendrait que les évaluateurs développent une capacité de rendre des appréciations plus synthétiques, fondées davantage sur des analyses que sur de longues descriptions. 2.3.2. Bref résumé des conclusions de l'évaluation à mi-parcours La Commission élaborera ces prochains mois une synthèse plus détaillée des conclusions de l'évaluation à mi-parcours et elle tirera des conclusions au regard des principaux thèmes de la stratégie de Lisbonne. Les éléments qui suivent résument les conclusions préliminaires. Nécessité de réorientations stratégiques Dans presque tous les cas, les évaluateurs ont conclu que les stratégies étaient encore appropriées. Le ralentissement économique global dans le monde a fait l'objet d'une analyse dans le cadre des différents programmes, mais il en a été conclu que ceux-ci étaient toujours à même de répondre aux défis du développement. Certains ajustements ou affinages à apporter aux stratégies ont cependant été recommandés : • Les évaluations allemandes ont souligné la nécessité de concentrer davantage les stratégies sur les principaux axes prioritaires et de fonder les décisions de financement des initiatives sur leur potentiel de contribution à une croissance à long terme. Tous les programmes Objectif 1 devront être affinés en 2004 pour refléter les nouvelles législations en matière de droit du travail. • Les évaluations irlandaises ont souligné le fait que les allocations, notamment aux entreprises et à la recherche, n'ont pas été dépensées et elles ont suggéré un transfert vers l'infrastructure de transport, renforçant encore davantage le caractère prioritaire de ce domaine. • Les évaluations portugaises ont recommandé une cohérence accrue par rapport à la stratégie européenne pour l'emploi et une plus grande attention apportée à la modernisation du secteur des services et du secteur public; la nécessité d'un soutien 21 renforcé à la diffusion des politiques publiques innovantes et au développement de programmes de formation pour les PME a également été soulignée. • Les évaluations espagnoles ont recommandé certaines modifications liées à la catastrophe du « Prestige », ainsi que l'adaptation des programmes en vue de les centrer davantage sur la recherche, le développement et l'innovation. • Les évaluations britanniques ont estimé de manière générale que les stratégies restent appropriées. Pour le Merseyside, des modifications à la stratégie ont été recommandées, notamment une nouvelle mesure concernant l'innovation et le transfert des technologies. • Pour presque tous les programmes URBAN II, les conditions socio-économiques ne se sont pas significativement modifiées. Des changements de stratégie ont été recommandés seulement pour 7 des 70 programmes, bien que des transferts de certains fonds entre axes prioritaires ou mesures soient recommandés dans plus de la moitié des évaluations. Souvent, les évaluations approuvent la stratégie exposée dans le document de programmation et n'envisagent de changements que dans le contexte d'une modification des conditions socio-économiques. L'évaluation est également supposée se prononcer sur la question de savoir si le programme constitue toujours la réponse appropriée aux défis du développement dans la région où le secteur concerné. Réalisations à ce jour Des réalisations, mesurées en termes de performance financière, sont présentées dans l'ensemble des cas, bien que les recommandations sont parfois faibles concernant les mesures à adopter face aux cas de crédits non épuisés ou de dépassements budgétaires. L'analyse de la performance matérielle fait état de problèmes dans de nombreux États membres. Souvent, le système de suivi n'a fourni que peu d'informations sur les réalisations, ou uniquement des informations partielles. Il est certain qu'une quantité substantielle d'activités a déjà eu lieu au cours de la période 2000-2006, bien que l'impact complet de cette activité n'apparaîtra qu'ultérieurement: • En Allemagne dans le Nordrhein-Westfalen, 38% des ressources sont engagées et 14 % sont versées. Vingt milles nouveaux emplois ont été créés, soit 20% de l'objectif, alors que 46.000 emplois ont été sauvés, ce qui dépasse nettement l'objectif fixé qui était de 29.000. Dans le Rheinland-Pfalz, 2.066 nouveaux emplois ont été créés, soit 36% de l'objectif, et 385 emplois ont été sauvés. Dans le domaine de la recherche et développement et des nouvelles entreprises, 70 nouveaux emplois ont été créés et 213 sauvés. • En Espagne il est estimé, dans l'évaluation du CCA, que le taux de croissance annuelle a dépassé de 0,41 %, entre 2000 et 2002, celui qu'il aurait été sans les dépenses structurelles. Une meilleure accessibilité a pu être obtenue grâce à la construction ou à la rénovation de 476 km de routes et d'autoroutes, ainsi qu'à la construction ou à l'amélioration de 173 km de voies ferrées. En outre, 810 km de réseaux de distribution énergétique ont été construits, ainsi que 250 km de conduites de gaz. L'aide à l'environnement productif a permis à 4.600 PME d'obtenir un soutien, ce qui s'est traduit par un effet de levier pour les investissements estimé à environ 12,2 milliards d'euros. La contribution au développement de la société de la connaissance est illustrée par les 1.503 centres 22 de recherche et les 48.199 chercheurs ayant bénéficié d'une aide, ainsi que par l'installation de 26.864 lignes ADSL. Environ 7 millions de bénéficiaires ont reçu une aide au titre du FSE, dont 57 % pour une formation. • Au Portugal, 38.100 emplois ont été créés dans les PME. Le réseau de distribution du gaz a été prolongé de près de 3.000 km et 25.000 consommateurs ont été raccordés au gaz naturel. • Dans l’est de la Finlande, 15.900 emplois ont été créés, soit 90 % de l'objectif fixé, et 3.200 entreprises ont été créées (105 % de l'objectif). Dans le nord de la Finlande, 6.700 nouveaux emplois ont été créés, soit 62 % de l'objectif, et plus de 900 nouvelles entreprises ont été créées (94 % de l'objectif). S'agissant de l'Objectif 2, 8.300 nouveaux emplois et 1.000 entreprises ont été créés dans le sud de la Finlande (respectivement 55% et 20% de l'objectif), alors que 16.000 emplois et 2.200 entreprises en été créés dans l’ouest du pays (respectivement 46% et 22% de l'objectif). • En Suède, les deux programmes Objectif 1 ont permis de créer 1.390 emplois, près de 5.000 PME et ils ont servi de cadres à la formation de plus de 18.000 personnes. Les deux programmes Objectif 2 ont assuré la création de 2.400 emplois et de 7.500 PME. Quantification des objectifs La quantification des objectifs est un domaine où la plupart des évaluations ont estimé que des améliorations considérables étaient nécessaires, bien que certains exemples d'excellente quantification des objectifs, s'intégrant à un système de suivi efficace, puissent être relevés (par exemple en Allemagne- Nordrhein-Westfalen). Dans certains cas (par exemple en Grèce et en France), les lignes de base faisaient défaut, ce qui a rendu l'évaluation malaisée. Des recommandations visant à revoir et à simplifier le système d'indicateurs ont été formulées en Belgique, en France, en Allemagne et en Grèce, alors qu'au Danemark certains indicateurs additionnels ont été suggérés. Au Portugal, les évaluateurs ont recommandé de nouveaux changements visant à améliorer le système d'indicateurs, qui a déjà été simplifié en 2003. Dans de nombreux cas, une définition inappropriée des indicateurs a été relevée et des recommandations ont été formulées en vue de remédier à ce problème. Une autre question soulevée par les évaluateurs est celle du cas où la performance a nettement dépassé les objectifs prévus, ce qui suggère que l'exercice de fixation de ces derniers a été entaché d'erreurs au minimum pour certains aspects (par exemple en Finlande, aux Pays-Bas, en Espagne et en Suède). L'explication à ce phénomène peut être une performance de très haute qualité, mais dans certains cas les évaluateurs ne sont pas en mesure d'expliquer cette surperformance. Le fait qu'elle s'accompagne souvent de schémas de dépenses conformes aux objectifs semble indiquer que dans de tels cas ceuxci ont été fixés à un niveau trop faible. En Espagne, les évaluateurs ont recommandé de modifier les objectifs en vue de les fixer à des niveaux plus réalistes. Au Royaume-Uni, la quantification des objectifs a généralement été de bonne qualité, la plupart des programmes étant fondés sur une méthodologie développée durant la dernière 23 période de programmation8. Ce travail a fourni un bonne référence de lancement; les évaluations à mi-parcours ont recommandé de nouvelles améliorations en vue de fixer les objectifs à un niveau plus conforme aux spécificités de chaque région et de chaque programme. Les programmes INTERREG ont suscité des difficultés particulières au niveau de la quantification des objectifs et la Commission a demandé aux équipes chargées des évaluations à mi-parcours d'accorder une attention spécifique à cette question. Il ressort des évaluations que l'avantage transfrontière/transnational en termes de produits, de résultats et d'impacts est lié à un aspect institutionnel, à savoir le degré de participation des partenaires de différents pays. Certaines évaluations ont suggéré qu'indépendamment de certains indicateurs qualitatifs de base, il soit permis aux gestionnaires de projets de proposer des indicateurs de produits et de résultats spécifiques. En effet, l'acquisition de connaissances sur les processus de coopération est considéré par de nombreuses parties intéressées comme un résultat majeur et la valeur ajoutée de l'autoévaluation par les participants à INTERREG sur ce point pourrait représenter une piste vers une meilleure mesure de ces résultats qualitatifs. Étant donné la faible dimension géographique des zones couvertes par les programmes URBAN II, qui traversent souvent les frontières municipales, il est particulièrement difficile d'obtenir des indicateurs de base fiables et régulièrement mis à jour. Il a été constaté dans certains cas que la quantification des objectifs était inappropriée et mal structurée et que la récolte des données était mal organisée. Deux tiers des évaluations URBAN II incluaient des recommandations d'amélioration de la structure et de la définition des indicateurs de produits, de résultats et d'impacts. Les évaluations ont également relevé des exemples de bonnes pratiques. Ainsi, dans le cadre du programme URBAN II dans l'agglomération de Grenoble - qui couvre certaines zones de cinq municipalités - une enquête téléphonique spécialement conçue a été mise sur pied pour obtenir des indicateurs de base de bonne qualité. Systèmes de mise en oeuvre Comme indiqué ci-dessus, les évaluations fournissent une documentation détaillée sur les systèmes de mise en oeuvre, et de nombreuses recommandations y figurent visant à l'amélioration et à la rationalisation des pratiques. Dans pratiquement tous les cas, il a été constaté dans les évaluations que les systèmes de mise en oeuvre se sont considérablement améliorés par rapport au passé, avec des procédures de sélection de projets plus rigoureuses, un meilleur contrôle financier, des évaluations de meilleure qualité et des systèmes de suivi plus performants. Les évaluations britanniques font état d'une forte base de partenariat pour la programmation et la mise en oeuvre, en combinaison avec un degré approprié de coordination descendante. Une participation importante du secteur privé dans les programmes est également soulignée, élément mentionné également dans les évaluations néerlandaises. Dans certains cas (par exemple en Grèce), les systèmes ont été jugés compliqués et des recommandations ont été formulées visant à simplifier la sélection des projets ou d'autres 8 EKOS Limited, (1998): Programmes Baselines and Quantification in the United Kingdom Objective 2 24 procédures de prise de décision. Au Portugal, les évaluations à mi-parcours ont recommandé une coordination accrue dans la gestion des CCA et une dimension plus stratégique dans la gestion et le suivi des CCA et des OP. En Allemagne - RheinlandPfalz, entre autres régions et États membres, des recommandations ont été formulées visant à améliorer l'intégration du travail des autorités chargées des différents fonds. Bien que l'existence d'un système de suivi intégré soient identifiée comme un élément positif en Grèce, le système de récolte et de traitement des informations est jugé faible (des progrès par rapport au passé étant toutefois relevés). Les évaluations concluent qu'une attention continue est nécessaire dans ce domaine en vue de poursuivre les améliorations constatées. De manière générale, les évaluations font état de progrès significatifs dans le domaine INTERREG III en ce qui concerne la mise en oeuvre de la coopération sur la base de structures réellement communes. De tels accords de coopération impliquent toutes les parties concernées et ils couvrent la sélection des projets ainsi que la coordination et le suivi de la mise en oeuvre de la programmation. Toutefois, même si les systèmes de mise en oeuvre commune fonctionnent le plus souvent de manière satisfaisante, dans certains cas des problèmes ont été relevés. Plusieurs rapports soulignent la nécessité d'un instrument juridique (par exemple sous la forme d'une structure de coopération européenne) de nature à aider les États membres, les régions et les autorités locales à affronter les difficultés juridiques et administratives occasionnées par la gestion des programmes et des projets transeuropéens. S'agissant d'URBAN II, un peu plus de la moitié des évaluations à mi-parcours recommandent des modifications au système de mise en oeuvre; dans le cas de 18 programmes, ces modifications sont considérées comme cruciales pour leur réussite. Les recommandations ont trait à certains aspects tels que les procédures de sélection des projets, l'assistance aux gestionnaires des projets et au personnel, les ressources et la communication, ainsi qu'à une meilleure participation des partenaires locaux. 25 Annexe Engagements 2000-2006 (en millions d'euros) 1 La réserve de performance Taux des allocations, Objectif 1 Réserve de Taux des performance %3 allocations (en millions (en %) d'euros) 2 Observations Entre programmes Finlande France4 Grèce Irlande Italie Portugal Espagne Suède 948 3.948 41 171 945 134 996 855 1.717 32 130 4,32 4,33 4,42 4,38 4,60 4,46 4,34 4,28 4,34 4,32 3,2 - 5,1 4 – 9,33 100 2,3 - 7,2 3,66 – 5,01 4,41 4,25 - 4,30 4,18 - 5,15 21.389 3.061 21.638 19.177 39.548 748 3.003 Entre axes prioritaires RU Angleterre Entre les 2 programmes Entre 6 des 8 programmes; 2 Programmes AT exclus Entre 14 des 25 programmes; 11 programmes exclus, y compris 1 programme AT Á 1 programme sur 6; 5 programmes exclus Entre 13 programmes; entre axes prioritaires pour 1 programme en phasing out Entre 16 des 19 programmes; 3 programmes exclus, y compris 1 programme AT Entre 20 des 23 programmes; 3 programmes exclus, y compris 1 programme AT Entre les 2 programmes Entre l'ensemble des 3 programmes Entre tous les axes prioritaires du programme Autriche Belgique 271 645 12 28 4,43 unique (le plus bas 8%, le plus élevé 36% du 4,34 montant total) Entre tous les axes prioritaires du programme unique (le plus bas 7%, le plus élevé 35% du montant total) Entre axes prioritaires de 9 programmes : 2 programmes - 100% à un axe prioritaire, 2 programmes – à tous les axes prioritaires, les 5 programmes restants aux axes les plus performants (le plus bas 2,3%, le plus élevé 93% du montant total) Entre 3 des 4 axes prioritaires du programme unique (le plus bas 18%, le plus élevé 46% du montant total) Entre 3 des 5 axes prioritaires du programme unique (le plus bas 13%, le plus élevé 65% du montant total) Entre 3 des 4 axes prioritaires du programme unique (le plus bas 17%, le plus élevé 64% du montant total) Entre 5 des 6 axes prioritaires du programme unique (le plus bas 7%, le plus élevé 34% du montant total) Allemagne 20.602 899 4,36 Pays-Bas RU Irlande du Nord RU Écosse RU Galles 1 3 126 890 306 1.853 6 39 13 81 4,76 4,34 4,37 4,34 2 Prix 1999 Prix actuels Le pourcentage est supérieur à 4% parce que le montant engagé est libellé en prix de 1999, alors que la réserve de performance est en prix actuels, et il diffère entre pays parce que la DG BUDG a fait son calcul en millions puis a arrondi les montants vers le haut ou vers le bas. 4 En France, il y avait 2 propositions concernant l'allocation de la réserve de performance au titre de l'Objectif 1 – une pour les 4 programmes relevant de l'Obj. 1 et l'autre pour les 2 programmes relevant de l'Obj. 1 phasing out. 26 La réserve de performance Taux des allocations, Objectif 2 Engagements 2000-2006 (en millions d'euros) 1 Réserve de performance (en millions d'euros) 2 %3 Taux des allocations (en %) Observations Entre programmes Belgique Flandres Belgique Wallonie Finlande France Italie Pays-Bas Espagne Suède RU Angleterre RU Écosse 186 217 507 6.262 2.608 823 2.748 423 3.783 807 8 9 23 273 113 36 119 17 171 35 4,17 4,28 4,54 4,36 4,33 4,37 4,33 4,02 4,53 4,38 4,09 4,20 2,19 5,05 4,41 4,58 2 – 6,5 4,32 4,35 4,2 - 4,58 4,31 – 4,34 3,99 4,05 4,02 5,96 4,35 4,39 Entre l'ensemble des 4 programmes Entre tous les axes prioritaires des 2 programmes Entre l'ensemble des 3 programmes Entre 22 des 23 programmes; AT exclus Entre l'ensemble des 14 programmes Entre l'ensemble des 4 programmes Entre l'ensemble des 7 programmes Entre l'ensemble des 4 programmes Entre l'ensemble des 9 programmes Entre l'ensemble des 3 programmes Entre axes prioritaires Autriche 703 31 4,41 Entre axes prioritaires de 8 programmes : 2 programmes-100% à 1 axe, 5 programmes – à tous les axes (le plus bas 5%, le plus élevé 76% du montant total) Entre tous les axes prioritaires du programme unique (le plus bas 25%, le plus élevé 75% du montant total) Entre 3 des 4 axes prioritaires du programme unique (le plus bas 20%, le plus élevé 75% du montant total) Entre axes prioritaires de 11 programmes : 3 programmes - 100% à un axe, 4 programmes – à tous les axes, les 4 programmes restants aux axes les plus performants (le plus bas 6%, le plus élevé 88% du montant total) À 1 des 4 axes prioritaires du programme unique Entre les axes prioritaires du programme unique Entre 2 des 3 axes prioritaires du programme unique (allocations 28% et 72%) Belgique Bruxelles Danemark 44 2 4,44 189 8 4,23 Allemagne 3.626 159 4,38 Luxembourg 41 8,3 121 3 0,36 5 7,32 4,34 4,39 RU Gibraltar RU Galles 1 3 2 Prix 1999 Prix actuels Le pourcentage est supérieur à 4% parce que le montant engagé est libellé en prix de 1999, alors que la réserve de performance est en prix actuels, et il diffère entre pays parce que la DG BUDG a fait son calcul en millions puis a arrondi les montants vers le haut ou vers le bas. 27 28