-colloque 3 : L'évaluation

Interview de Christine Ruyters, Institut wallon de l’évaluation, de la prospective et de la statistique (IWEPS)

Labiso : Dans votre texte, vous identifiez les enjeux et les conditions d’une évaluation. Mais au fond, est-ce que tout est évaluable ?

Christine Ruyters : Il faut en tout cas rendre les mesures politiques évaluables, c’est-à-dire prévoir des mesures dont on peut observer, qualitativement ou quantitativement, les effets. Dans le cadre d’une politique publique, dès qu’on prend une décision de nature politique, celle-ci doit être évaluable. Sans quoi, on ne peut mesurer l’impact de cette décision sur le public cible.

Prenons l’exemple des politiques de cohésion sociale, si l’on arrive à définir les finalités de cette politique, par exemple, l’accès de tous à un emploi stable, il faut ensuite déterminer des objectifs qui permettraient de les atteindre (exemple : augmentation des emplois qui garantissent les droits de la sécurité sociale dans la durée) et d’en mesurer les effets (par exemple : évolution du nombre de travailleurs sous contrat qui répondent aux six critères qualifiant un emploi stable 1). C’est un gros travail en amont de la mise en œuvre concrète de la politique. Et pour en garantir la réussite, cela doit se faire avec les acteurs concernés.

Ajoutons un élément très important : ces objectifs à fixer doivent l’être de manière « ambitieuse » mais réalisable et, éventuellement, doivent être planifiés sur une période longue. Avant de rentrer dans le processus d’évaluation à proprement parler, il est nécessaire de s’atteler à un questionnement qui reprend les objectifs à long, moyen et court terme. C’est en fait la phase la plus importante dans un processus d’évaluation.

Labiso : Que peut-on attendre d’un processus évaluatif ?

Christine Ruyters : D’être bien informé sur l’impact et les effets (directs et indirects) d’une politique publique. L’information souhaitée peut être différente en fonction de la nature et de l’ampleur de la politique envisagée, des objectifs qui ont été préalablement fixés et des publics cibles. Au-delà des effets directement mesurables, il faut être très attentif aux effets indirects ainsi qu’aux effets « pervers » d’une politique. Si l’on prend, à titre d’exemple, le processus de validation des compétences, qui a pour objectif de permettre aux personnes peu diplômées de valoriser leur expérience professionnelle, on s’est rendu compte que les plus démunis, à qui devrait bénéficier en premier lieu la mesure, sont ceux qui, en définitive, seront les moins à même de valoriser leur expérience professionnelle puisque celle-ci a été acquise en grande partie dans le cadre de circuits de travail « parallèles ». L’enjeu d’une évaluation revient alors à prendre en compte, au-delà de la portée directe, les autres effets de la mesure évaluée.

Labiso : Quelle sont les conditions pour qu’un processus évaluatif serve les structures ?

Christine Ruyters : Il est nécessaire que l’évaluation soit réalisée avec les acteurs concernés. Mais ce type de démarche produit principalement des évaluations dites « qualitatives » sans négliger toutefois l’aspect quantitatif. Le politique a aussi besoin, vu la temporalité dans laquelle il se trouve - une législature dure quatre à cinq ans – d’informations rapides (chiffres clés) lui permettant de piloter ses actions de façon plus régulière. Mais il ne faut pas opposer ces différentes formes d’évaluation. A moyen ou long terme, le politique doit aussi pouvoir disposer de données qualitatives émanant d’une analyse plus fine et plus fouillée des réalités vécues, lui permettant d’apprécier la qualité de l’impact de la mesure. L’enjeu revient à jongler avec la temporalité politique qui implique de produire des données à court terme et la nécessité de produire des évaluations plus qualitatives qui rendent mieux compte des processus dans lesquels se trouvent les acteurs de terrain lorsqu’ils construisent les politiques dont ils ont la charge. Ces approches sont complémentaires. Il est tout aussi important de se demander où on en est dans l’application d’une politique que de se pencher de manière approfondie sur les difficultés rencontrées dans la pratique des acteurs pour mener à bien les objectifs que la politique leur a assigné.

Labiso : Quelle est l’utilité de ces évaluations pour un service, une association ?

Christine Ruyters : La meilleure façon de rencontrer les attentes des acteurs de terrain, c’est de les inclure dès le départ du processus évaluatif de telle sorte qu’ils s’approprient eux-mêmes les enjeux de l’évaluation et en deviennent des acteurs à part entière. On accroît également l’utilité des évaluations en travaillant avec les bénéficiaires des mesures, les premiers concernés, qui ont à exprimer leurs besoins et leurs attentes tout autant que leur point de vue sur la façon dont ceux-ci pourraient être [mieux ou plus efficacement] rencontrés.

Par ailleurs, la question de l’utilité des évaluations de type « macro » pour les opérateurs de terrain est tout à fait pertinente et questionne. Notamment dans le cadre du Plan d’action national Inclusion sociale, nous mesurons combien il est difficile d’établir un dialogue entre les opérateurs et les évaluateurs. L’objectif à poursuivre est bien celui de la circulation de l’information et de la compréhension réciproque de façon à construire ensemble un cadre de référence qui « parle » aux uns et aux autres. Moyennant l’usage d’un langage commun, chacun pourra, espérons-le, être mieux éclairé sur les choix qu’il est amené à faire. Par ailleurs, une autre utilité, et non des moindres, des évaluations bien menées, en partenariat avec les opérateurs de terrain et associations, est évidemment celle d’une reconnaissance du travail réalisé et d’une légitimation de leur action.

Voir : Service de lutte contre la pauvreté, la précarité et l’exclusion sociale, Recherche-Action-Formation – Une autre approche des indicateurs de pauvreté, mars 2004, chapitre Emploi.

Participer

Retour