Evaluation des politiques publiques

La France au miroir des expériences étrangères
Année 2007 - Revue n°427

Dans une démocratie moderne, l’évaluation des politiques publiques devrait être une priorité. A long terme, les bénéfices sont nombreux. De meilleures politiques publiques amènent à plus de croissance et de bien-être pour la population. Par ailleurs, de bons mécanismes d’évaluation sont la seule façon d’ancrer le débat public dans la réalité et de sortir des querelles stériles. Comment améliorer les mécanismes d’évaluation ? Les expériences étrangères ne sont pas forcément transposables, mais offrent des pistes de réflexion.

Qu’entend-on par évaluer une politique publique ? Il s’agit d’en mesurer les coûts et bénéfices. Une bonne évaluation ne se limite pas seulement à un total agrégé mais doit aussi considérer les effets (re-)distributifs de la politique qui est évaluée. Une bonne évaluation doit aussi annoncer le niveau de fiabilité et de précision de ses estimations. Enfin, et en cas de verdict négatif, une bonne évaluation doit offrir des suggestions d’amélioration.

Le cas français

Il existe certes de mauvaises politiques qu’il faut supprimer et remplacer par d’autres plus à même de remplir les objectifs du politique. Souvent toutefois, les dysfonctionnements d’une politique peuvent être grandement réduits avec des changements en apparence mineurs qui ne remettent pas en cause la totalité du projet. Une bonne évaluation se doit aussi d’identifier ce type d’amélioration.

Actuellement, les débats français sur les politiques publiques se réduisent à des affrontements où l’idéologie prime sur les réalités les plus élémentaires. Chacun peut affirmer ce que bon lui semble pourvu qu’il puisse crier suffisamment fort. Ceux qui ne sont pas d’accord sont obligatoirement des idéologues dangereux ou des menteurs qui cherchent à dissimuler leurs intérêts – le plus souvent les deux à la fois. Que ce soit sur l’organisation du marché du travail, l’apprentissage de la lecture ou le maintien de l’ordre dans la cité, l’invective domine et la confusion règne. Cet état de fait implique qu’en matière de politique publique, la France n’apprend pas. Les mauvaises politiques sont maintenues et de nouvelles politiques, souvent contestables, sont mises en place, souvent dans l’indifférence générale, parfois dans l’agitation la plus complète.

Comment fonctionne l’évaluation des politiques publiques en France ? Ou plutôt comment ne fonctionne-t-elle pas ? Tout le monde connaît la Cour des Comptes. Il ne s’agit toutefois pas d’une instance d’évaluation à proprement parler. La Cour des Comptes n’a pas pour mission de se prononcer sur le bien-fondé des politiques publiques ; elle rend un avis sur leur exécution. Ce rôle de suivi comptable est fondamental mais il ne doit pas être confondu avec un jugement sur le fond concernant les effets des politiques publiques. Ces deux missions sont complémentaires mais différentes.

En France, l’évaluation des politiques publiques semblait en fait être la prérogative du Conseil national de l’évaluation au sein du Commissariat général du Plan. Toutefois la transformation de ce dernier en Centre d’analyse stratégique en 2006 dont la mission semble être essentiellement prospective n’a pas contribué à redonner à l’évaluation la place qui lui est due. En pratique, il semble que malgré un foisonnement de structures, chaque ministère « évalue » comme bon lui semble. Ces évaluations sont toutefois très inégales et soumises à la censure politique. Fondamentalement, la France n’évalue pas et quand elle le fait, elle le fait le plus souvent mal et même quand elle le fait bien, ça ne sert à rien. Ce constat très négatif n’est pas unique. Un rapport du Sénat de 2004 ne dit pas autre chose.

Que doit-on évaluer ? Une bonne évaluation est assez longue et relativement coûteuse. Il serait donc irréaliste de vouloir tout évaluer. Ensuite, et malgré des progrès très importants dans les techniques d’évaluation, certaines politiques peuvent s’avérer très difficiles, voire impossibles, à évaluer. Dans ce cas, on peut vouloir arrêter le travail après une étude préliminaire. Pour choisir les politiques à évaluer on pourrait idéalement tirer au sort un certain nombre de politiques existantes deux ou trois ans après leur introduction. En pratique, il paraît plus réaliste d’évaluer suite à des requêtes de différents institutions gouvernementales, le Parlement, la Présidence, un ministère, etc. Il serait aussi hautement souhaitable que les évaluateurs disposent aussi d’une certaine indépendance dans leur choix de politiques à évaluer. L’horizon temporel du politique est en effet souvent trop court pour remettre en cause certaines mesures de fond. Par ailleurs, il est aussi des sujets que les politiques de tous bords préfèrent éviter.

Comment évalue-t-on en dehors de France ? Une réponse rapide consiste à dire que différents pays font différentes choses avec un bonheur inégal.

Cultures de l’évaluation

Les Pays-Bas ont une certaine prééminence en la matière. Dans ce pays, l’évaluation est nominalement sous la juridiction du Parlement. Toutefois, il paraît plus juste de parler d’une profonde culture de l’évaluation au sein des institutions publiques néerlandaises. Par exemple, tout le processus budgétaire du gouvernement a été réorganisé à la fin des années 1990 en vue d’une meilleure évaluation de l’action gouvernementale l’année suivante. Ainsi le budget néerlandais annonce non seulement des montants de dépenses par poste comme ailleurs mais aussi des objectifs chiffrés quant aux réalisations à accomplir.

Dans les pays de tradition anglo-saxonne comme le Royaume-Uni ou le Canada, l’évaluation est le plus souvent faite par les ministères eux-mêmes. Depuis 10 ans, le Royaume-Uni a mis en place un système complet d’évaluation postérieures de ses politiques publiques. Ce pays a aussi fortement développé ses mécanismes d’analyses préliminaires des nouvelles politiques publiques. Ici encore, on peut parler d’une culture de l’évaluation qui inclut non seulement une meilleure évaluation postérieure mais aussi un plus grand sérieux dans l’analyse et la formulation des politiques publiques. Par exemple, les experts jouent un rôle beaucoup plus important qu’en France. Ils sont le plus souvent utilisés comme consultants extérieurs. De nombreux experts sont aussi recrutés comme employés à temps plein de ces mêmes ministères, sur une base temporaire ou permanente.

A la recherche du bon équilibre

Plusieurs leçons se dégagent de cette très brève comparaison internationale. Tout d’abord il n’existe pas un unique modèle, anglo-saxon, hollandais, scandinave ou autre qu’il conviendrait de répliquer à tout prix. Il semble plutôt qu’il existe un grand nombre d’arrangements institutionnels possibles qui conduisent à une meilleure connaissances des effets des politiques publiques. Il semble aussi que certains pays sont dans un « bon équilibre » alors que la France, comme beaucoup d’autres pays, semble être dans un « mauvais équilibre » en matière d’évaluation. Ainsi, même si tout n’est certainement pas parfait au Royaume Uni, l’évaluation semble fonctionner beaucoup mieux qu’en France, et ce en l’absence de contrainte institutionnelle forte. Plus précisément il existe un cercle vertueux au sein duquel l’évaluation est prise au sérieux ; sachant ceci, elle est faite sérieusement, ce qui fait qu’elle est prise au sérieux. La France en revanche semble prise dans le cercle vicieux opposé. L’évaluation n’est pas prise au sérieux et elle n’est donc pas faite très sérieusement… ce qui l’empêche d’être prise au sérieux.

La question pour la France est de savoir comment briser ce cercle vicieux. Quatre conditions semblent devoir être réunies : accès à l’information, expertise, indépendance et un « droit de questions » pour les évaluateurs. Les deux premières conditions semblent aller de soi. L’accès à l’information est nécessaire sans quoi nulle évaluation ne peut être faite. Si l’évaluation est faite de façon interne à chaque institution, comme le plus souvent dans les pays anglo-saxons, cette condition est le plus souvent naturellement satisfaite. Lorsque l’évaluation est externe, il devient crucial de spécifier clairement un droit à l’accès aux données pour les évaluateurs.

L’expertise est aussi nécessaire pour toute bonne évaluation. La France a une longue tradition de rapports commandités à des « personnalités » reconnues. Ainsi, sur la croissance et l’innovation, le gouvernement a demandé il y a quelques années à Michel Camdessus, ancien directeur du Fonds monétaire international, de rendre ses conclusions. Très récemment, on a demandé à Jacques Attali de conduire un exercice de même nature, quoique d’une ampleur plus importante. En matière d’évaluation, il ne s’agit pas d’un bon modèle à suivre. L’évaluation des politiques publiques est le plus souvent un domaine très pointu qui requiert des spécialistes hautement qualifiés sur le sujet.

Prenons un exemple : les effets de la défiscalisation des heures supplémentaires. Pour ce type d’étude, et quels que soient leurs mérites, M. Camdessus et Attali ne sont pas indiqués. Les problèmes à résoudre sont hautement techniques et il convient d’utiliser des experts appropriés. Par exemple, montrer que les entreprises qui ont un plus grand recours aux heures supplémentaires embauchent plus (si tel est le cas bien sûr) ne suffit pas. Il faut savoir ce qu’auraient fait ces entreprises si cette mesure n’existait pas. Il est possible que les entreprises en forte croissance se mettent à utiliser plus d’heures supplémentaire et à embaucher plus. Si tel est le cas, ces entreprises auraient pu embaucher encore plus en l’absence de cette mesure de défiscalisation. Au contraire, on peut envisager que la défiscalisation permette aux entreprises de produire plus en cas de demande supplémentaire temporaire et de transformer ensuite les heures supplémentaires en emplois supplémentaires si cette demande perdure. Evaluer jusqu’où les heures supplémentaires défiscalisées sont un complément ou un substitut à l’embauche est un problème typique de tout exercice d’évaluation. Cet exemple suggère aussi que l’évaluation doit reposer sur des « assesseurs » internes au gouvernement ainsi que sur des experts extérieurs très spécialisés nommés de façon ad hoc pour chaque évaluation.

Crédibilité et pouvoir des évaluateurs

Comme il a été montré plus haut, la crédibilité est au cœur du problème de l’évaluation. Cette crédibilité dépend bien évidemment de la qualité du travail réalisé, elle-même fonction de la qualité des données utilisées et de celle des évaluateurs.

Toutefois ce n’est pas suffisant. Il faut éviter tout soupçon « d’évaluation politisée ». Ceci est particulièrement important en France où les procès d’intention sont très communs et le niveau de confiance dans les institutions publiques très bas. Il est évident que, quelle que soit la qualité d’une évaluation, ses conclusions risquent de ne pas plaire à tout le monde. On doit donc s’attendre à voir fleurir les critiques sur les dossiers les plus importants. Toutefois il est fondamental qu’une évaluation ne puisse pas être critiquée en alléguant que les évaluateurs ne sont que des « pions » de tel ou tel homme politique ou groupe d’intérêt. On en reviendrait à la situation actuelle où l’invective et le rapport de force dominent le débat rationnel. Au contraire il convient que les évaluations officielles servent de base à toute discussion sur un sujet donné. Pour éviter ces problèmes, il faut non seulement des évaluateurs indépendants, mais des évaluateurs dont l’indépendance ne puisse pas être remise en question.

Pour servir à quelque chose, il faut qu’une évaluation soit de bonne qualité et acceptée comme telle par toutes les parties prenantes : gouvernement, groupes d’intérêts et opinion. Ces conditions sont nécessaires mais non suffisantes. Il faut aussi que le gouvernement ou le législateur agissent ensuite si quelque chose ne va pas.

Idéalement, on pourrait souhaiter que les évaluateurs aient un pouvoir réel pour modifier les politiques publiques suite à leurs évaluations. On pourrait souhaiter qu’ils puissent aussi intervenir très en amont au moment de la mise en place des politiques publiques afin de rendre leur future évaluation plus facile. Cela semble toutefois difficilement réalisable sur le plan politique. Cela peut aussi être contesté sur le plan des principes dès lors qu’un groupe indépendant et non élu a un pouvoir d’initiative, et non plus seulement de mise en œuvre, en matière de politique publique. L’extrême inverse, c’est-à-dire une absence complète de pouvoir des évaluateurs, permet trop facilement aux gouvernements et législateurs d’ignorer les conclusions négatives. A court terme cela nuit à la qualité des politiques publiques. A plus long terme, cela ne peut qu’avoir un effet négatif sur la crédibilité des évaluations.

Entre ces deux extrêmes, l’équilibre est difficile à trouver. Le « droit de questions » pour les évaluateurs mentionné plus haut est une réponse possible. Par exemple, il conviendrait en premier lieu de rendre publiques toutes les évaluations. Les médias ont sur ce point un rôle très important à jouer. Il faut aussi que les évaluateurs, ou l’institution chargée de l’évaluation, disposent d’une marge de manœuvre a posteriori lorsque certaines de leurs conclusions ont été ignorées. On peut penser par exemple à une lettre ouverte aux ministres concernés après chaque évaluation. Les ministères auraient alors une durée déterminée pour y répondre. Si la réponse n’est pas jugée satisfaisante, on peut alors imaginer transmettre la question au Parlement. Ce n’est bien sûr qu’une modalité possible parmi d’autres. L’important est d’obliger les gouvernements à ne pas ignorer les évaluations et y répondre. La réponse qu’ils apportent leur appartient mais elle doit être claire pour permettre aux électeurs de juger.

Comment faire en pratique ? Comme il a été souligné plus haut, plusieurs solutions sont envisageables. Toutefois étant donné, d’une part l’importance du problème de la crédibilité de l’évaluation en France et, d’autre part, la nature des institutions françaises, ma proposition serait d’avoir une structure unique chargée de l’évaluation. Pour garantir son statut et envoyer un signal fort quant à l’importance du problème, il s’agirait de créer une « Cour d’évaluation économique et sociale ». Cette institution serait en charge d’évaluer de manière experte et indépendante les politiques publiques.

Comme le montrent les exemples de la Banque de France et de la Cour des Comptes, l’indépendance vis-à-vis du contrôle politique direct et des intérêts spécifiques est possible en France à condition de prendre les précautions nécessaires. On peut imaginer par exemple une Cour d’évaluation composée d’un nombre restreint d’assesseurs nommés en partie par le Conseil d’analyse économique, la Cour des Comptes, ou tout autre instance officielle non directement soumise au pouvoir politique. Pour éviter les tentations, il serait fondamental de bien rémunérer les assesseurs de la Cour d’évaluation qui seraient évidemment régulièrement audités et eux-mêmes évalués. Pour chaque évaluation, ces assesseurs seraient ensuite chargés de recruter les experts nécessaires et d’encadrer leur travail. On peut noter que cette proposition rejoint en partie celle émise il y a quelques années par un groupe de sénateurs en vue de la création d’une « Haute Autorité de l’évaluation » chargée de promouvoir les bonnes pratiques et de contrôler les évaluations réalisées par différentes instances publiques. D’autres schémas sont aussi possibles et, au-delà de telle ou telle proposition, un débat sur le sujet est souhaitable.

Notons pour conclure que le gouvernement actuel compte en la personne de M. Eric Besson, un secrétaire d’Etat chargé de la prospective et de l’évaluation des politiques publiques. Ses propositions sont encore à venir. Espérons toutefois que l’évaluation aura une place importante dans le grand chantier de la modernisation des institutions.

Partager