Quantcast

Bilan en demi-teinte pour les évaluations du quinquennat Hollande

11 avr. 2017, PAR Pierre Laberrondo
  • 06
    MIN
  • 0

Fotolia

Les résultats des évaluations des politiques publiques lancées depuis 2012 se révèlent en deçà de l’ambition initiale de transformation de l’action publique par l’évaluation, juge un rapport d’évaluation commandé par l’administration. Si la démarche est saluée, elle a notamment pâti d’une réduction de l’intensité du portage gouvernemental et d’une appropriation limitée par les ministères.


Encore du chemin à faire. Le gouvernement a rendu publics, le 7 avril, les résultats d’une évaluation externe des évaluations de politiques publiques, une méta-évaluation. Ils étaient assez attendus dans la mesure où, depuis l’alternance de 2012, l’équipe Hollande a fait des évaluations un des piliers de l’après-Révision générale des politiques publiques (RGPP), symbole des années Sarkozy et coupable à ses yeux d’avoir cédé à une approche trop comptable de la réforme de l’État.

Une démarche un peu nouvelle et portée par une forte communication politique. “Les réalisations du programme demeurent en deçà de l’ambition initiale de transformation de l’action publique par l’évaluation, du fait de la priorisation des économies budgétaires, d’une réduction de l’intensité du portage gouvernemental et d’une appropriation limitée par les ministères”, juge le rapport commandé par le secrétariat général à la modernisation de l’action publique (SGMAP) et réalisé par le cabinets KPMG et Quadrant Conseil dans le cadre d’un marché public d’appui à l’évaluation de politiques publiques (EPP), dont le groupement formé par KPMG et Sciences-Po est attributaire (cliquez-ici pour consulter le rapport).

Un dispositif très refermé sur l’État. Pour rappel, 77 évaluations ont ainsi été lancées depuis cinq ans, dont 65 étaient finalisées au 31 décembre 2015. Les corps d’inspection ont constitué l’essentiel des équipes en charge des évaluations, puisque 48 % d’entre elles ont été réalisées uniquement par des corps d’inspection (31 sur 65). Le processus d’analyse s’avère au final assez replié sur la sphère étatique. Dans 17 cas sur 65, les services de l’administration ont été partie prenante de la politique évaluée, tandis que des personnalités qualifiées ont été mobilisées dans 21 cas. “En revanche, peu d’évaluateurs externes, de cabinets de conseil ou de chercheurs (3 évaluations), ont été impliqués dans les missions d’évaluation”, note le rapport.

Dans 62 % des cas, un comité de pilotage ouvert comprenant des représentants des usagers et/ou des observateurs indépendants (chercheurs ou experts) a été mis en place pour suivre l’évaluation. Une innovation réelle mais d’une portée limitée. “Si les comités de pilotage des évaluations ont été généralement ouverts aux parties prenantes, ils ont été davantage des instances de suivi de l’avancement des travaux que d’orientation et de validation des travaux. De ce point de vue, le processus d’évaluation semble avoir été plus pluraliste que partenarial”, note l’étude en pointant un écueil : l’intérêt limité pour les parties prenantes à la démarche.

Des évaluations trop peu centrées sur les objectifs des politiques. Les EPP ont, dans 58 % des cas, été suivies de changements (législatifs, réglementaires, organisationnels, etc.) sur le champ de la politique évaluée, note l’étude en précisant que les suites ne peuvent pas toujours être directement attribuées aux EPP. “Les EPP ont peu réinterrogé les objectifs des politiques évaluées”, note le rapport en relevant que ceux-ci ne sont identifiés que dans 38 % des EPP (80 % pour les EPP lancées en 2016). “Dans près de deux tiers des cas, est-il précisé, l’évolution de l’organisation et des processus était un des motifs principaux de l’évaluation, et la dimension rétrospective propre à l’évaluation n’était présente que dans la moitié des EPP. Les apports de connaissances nouvelles, en particulier concernant les effets de la politique évaluée sur ses cibles, restent limités.”

Une démarche transparente mais pas toujours très pilotée. Côté pilotage, la méta-évaluation relève que la démarche d’évaluation des politiques publiques a bénéficié d’une impulsion gouvernementale forte au début de programme, dont l’intensité a ensuite diminué dans le temps, “montrant une difficulté à mobiliser durablement les ministères dans le cadre de la démarche d’évaluation de la MAP [modernisation de l’action publique, ndlr]”. L’étude fait ressortir une “contribution inégale des différents ministères au programme”. L’Éducation nationale a ainsi mené 11 évaluations tandis que 5 ministères ont réalisé seulement une ou deux évaluations. Le rapport pointe par ailleurs une limite de la démarche des EPP qui sont venues se surajouter à des évaluations menées par d’autres institutions. “Selon les interlocuteurs rencontrés par la mission, la démultiplication de démarches d’évaluation peut porter le risque d’une sursollicitation des services en charge des politiques évaluées, au détriment de leur mise en œuvre. Elle porte par ailleurs le risque d’un morcellement de la connaissance (quantitative ou qualitative) acquise sur une politique publique donnée, alors que cette connaissance gagne à être consolidée”, indique le rapport. Côté transparence, les résultats sont assez encourageants : 80 % des rapports ont été publiés (52 rapports sur 65). Les rapports non publiés l’ont été soit pour des raisons de confidentialité (1 cas), soit pour des raisons d’agenda au regard du calendrier législatif du gouvernement (6), soit parce que la décision de publication n’a pas encore été prise (6).

Des motifs d’évaluation clairs. Dans l’ensemble, les commanditaires ont plutôt pris soin d’expliciter les motifs des évaluations lancées. “Les objectifs assignés au dispositif sont cependant plus rarement précisés, limitant la possibilité de se prononcer sur l’efficacité ou la pertinence de la politique publique. Au fil des cycles d’évaluation cependant, la définition d’objectifs devient plus fréquente”, relativise l’étude. En termes de méthodologie, le recours à des outils nouveaux a constitué une innovation de ces évaluations, “mais leur apport est resté limité, en particulier pour tenter d’estimer les effets des politiques publiques évaluées”. Comme de nombreuses missions d’inspection interministérielles, les évaluations réalisées “s’appuient presque systématiquement” sur une analyse documentaire et des entretiens individuels pour la collecte de données primaires (respectivement 92 % et 86 % des évaluations), relève la méta-évaluation, en soulignant que le recours aux entretiens (jusqu’à 200 dans certains cas) rend très difficile le croisement et l’analyse exhaustifs des données collectées. “Si les conclusions des EPP s’appuient presque toujours sur une analyse présente dans le corps du rapport, les analyses elles-mêmes explicitent moins leurs sources et la base de leur argumentaire, ne laissant pas au lecteur la possibilité d’apprécier les éléments présentés”, notent les évaluateurs en jugeant que les rapports d’évaluation “interrogent rarement” explicitement le lien causal entre effets constatés et politique publique évaluée.

Renforcer la coordination interministérielle. L’étude estime que ces évaluations ont été conçues pour “répondre prioritairement aux besoins de la maîtrise d’ouvrage ministérielle ou interministérielle”. De ce fait, les évaluations n’ont pas été conduites en première intention au bénéfice des parties prenantes. Parmi les recommandations, le rapport juge utile de “renforcer la gouvernance interministérielle de la démarche et soutenir l’initiative ministérielle”. “L’animation gouvernementale interministérielle assurée par le Cimap [le comité interministériel pour la modernisation de l’action publique, la marque de fabrique de l’ère Ayrault abandonnée sous l’ère Valls, ndlr] n’a pas été poursuivie après 2014 et a été remplacée par l’initiative essentiellement ministérielle, limitant l’émergence des sujets à fort enjeu, ainsi que les possibilités de suivi et de pilotage dans le temps des suites des évaluations.”