Les tiers-lieux sont encouragés à évaluer leurs actions, à en mesurer l’impact, ou encore à produire des indicateurs à destination de leurs financeurs. De leur côté, la question de l’efficacité de leurs dispositifs de soutien aux tiers-lieux est régulièrement posée. Mais pour quelles raisons cherche-t-on à évaluer ? Comment s’assurer de l’utilité de l’évaluation pour les acteurs ? Cet article s’appuie sur un exemple d’évaluation d’une politique régionale de soutien aux tiers-lieux. Il s’inscrit dans une série d’articles ou de grands entretiens autour des enjeux, méthodes, outils et débats relatifs à la question de l’évaluation des tiers-lieux.
L’évaluation, de quoi parle-t-on ?
Parler d’évaluation nécessite de préciser de quoi l’on parle, ce mot ayant un grand nombre de significations différentes. On a aussi souvent tendance à confondre évaluation, mesure d’impact et production d’indicateurs. Ici, nous parlerons d’évaluation des politiques publiques : Évaluer une politique publique – ou par extension une action d’intérêt général – c’est juger de sa valeur du point de vue de ses résultats.
Une évaluation va donc analyser des informations factuelles pour établir un jugement, en les collectant auprès d’une diversité de sources et avec une diversité d’outils : analyse statistique, entretiens, enquêtes, observations, études de cas, etc. Et ce jugement va porter sur les conséquences de l’action dans le monde réel, au regard de critères de jugement préalablement définis.
Définir ces critères afin qu’ils fassent sens pour l’ensemble des acteurs concernés, déployer ensuite une collecte et une analyse de données permettant bien de faire porter le jugement sur ces critères, et ce de manière robuste, c’est le rôle des évaluateurs et évaluatrices. Leur rôle est également de produire des évaluations utiles.
L’évaluation, à quoi ça sert ?
Un enjeu essentiel lorsqu’on envisage d’avoir recours à une évaluation, c’est de savoir à quoi elle va servir. Historiquement en France, l’évaluation a été pensée comme un exercice de redevabilité, c’est-à-dire devant permettre de rendre compte aux citoyens et citoyennes de l’action publique. Mais une évaluation est surtout l’occasion d’apprentissages ; et ces deux ambitions, si elles coexistent, ne cohabitent pas toujours très bien. Parce qu’il est difficile d’avoir une posture réflexive et de remise en question nécessaire à l’amélioration de l’action lorsque l’on cherche par ailleurs à en valoriser surtout les succès pour en assurer la pérennité. Chaque évaluation est cependant traversée, à des degrés divers, par chacune de ces deux raisons d’être.
Cependant, la nécessité grandissante pour les acteurs publics de justifier les dépenses publiques a pu amener, en particulier dans certains secteurs, à appuyer plus fortement sur l’objectif de redevabilité, au détriment parfois de l’objectif d’apprentissage, allant parfois jusqu’à tirer l’évaluation vers des exercices plus proches du contrôle ou de l’audit. En créant une injonction à la démonstration de l’impact, ou au remplissage d’indicateurs, une forme de défiance vis-à-vis de l’évaluation a ainsi pu naître du côté des acteurs de terrain, pour qui l’adhésion à la démarche doit pouvoir passer par une compensation de sa dimension chronophage par une utilité concrète pour l’action.
La mesure d’impact social, elle, est une démarche qui s’est développée ces 10-15 dernières années pour répondre à un besoin des acteurs de l’Économie sociale et solidaire (entreprises, associations, ou fondations) de valoriser de manière chiffrée l’utilité sociale de leurs actions, dans l’objectif d’obtenir des financements. Ce n’est pas ce dont il s’agit dans cet article.
Mais dire qu’une évaluation a (aussi) une ambition d’apprentissage ne suffit pas à la rendre utile automatiquement. La question des conditions de son utilité se pose.
Une évaluation utile d’un dispositif de soutien aux tiers-lieux ?
En 2021, avec la SCOP Quadrant Conseil, cabinet spécialisé en évaluation des politiques publiques, nous avons évalué le dispositif de soutien aux tiers-lieux de la Région Nouvelle-Aquitaine. Prenons cet exemple pour questionner les conditions de l’utilité d’une évaluation.
La politique de soutien aux tiers-lieux de la Région Nouvelle-Aquitaine
Dès 2011, pionnières dans le soutien public aux tiers-lieux, les anciennes Régions du territoire néo-aquitain avaient initié des dispositifs d’aide aux tiers-lieux. La Région Nouvelle-Aquitaine fusionnée avait pris la suite dès 2016 en proposant un appel à manifestation d’intérêt (AMI) décliné en deux axes :
Le soutien aux projets de création ou de développement de tiers-lieux proposant des espaces de travail partagés et collaboratifs (de type coworking, fablabs, ateliers partagés, espaces agricoles), n’ayant pas encore été aidés ;
Le soutien aux réseaux régionaux ou locaux de tiers-lieux, dont la Coopérative des tiers-lieux.
Le soutien de la Région Nouvelle-Aquitaine se concentrait alors sur les tiers-lieux proposant des espaces de travail partagés et collaboratifs. Leur but était d’accueillir de nouvelles formes de travail et de vie sociale en offrant aux usagers et usagères un environnement créatif propice à la production, à la réflexion, aux échanges et à la convivialité.
L’objectif de l’AMI, pour la Région Nouvelle-Aquitaine, était d’obtenir un maillage équilibré du territoire en tiers-lieux de proximité, soit un objectif de 300 tiers-lieux ouverts à fin 2021, répartis dans l’ensemble des territoires urbains, périurbains et ruraux, afin que chaque néo-aquitain dispose d’un tiers-lieu à moins de 20mn de chez soi.
Identifier les conséquences (efficacité)
Évaluer l’efficacité d’une politique publique, c’est formuler un jugement nuancé et robuste sur sa capacité à produire les effets qui en sont attendus. C’est répondre à la question : Est-ce que ça a marché ?
Pour pouvoir répondre à cette question, il est préalablement nécessaire de s’accorder collectivement sur les effets attendus de la politique publique étudiée, et en particulier sur ses hypothèses causales sous-jacentes, c’est-à-dire sur les manières dont il est attendu que les actions déployées contribuent à la production des effets escomptés. Que devrait-il se passer pour que l’on puisse dire que ça a marché ?
Afin d’expliciter les hypothèses causales postulées de manière implicite par la Région Nouvelle-Aquitaine lors de la conception de l’AMI, nous avons alors reconstruit sa logique d’intervention.
Il s’agit d’un schéma représentant ces hypothèses et ainsi constitué des relations de cause à effet reliant :
- Les actions (à gauche, en blanc) : ici, les deux volets de l’AMI – soutien aux tiers-lieux et aux réseaux ;
- Les résultats attendus : ici, les effets immédiats sur les porteurs de projets, les tiers-lieux et les réseaux ;
- Les impacts escomptés : les effets de long terme sur les publics cibles, le territoire.
Figure 1 : La logique d’intervention de la politique de soutien aux tiers-lieux de la Région Nouvelle-Aquitaine
Cet exercice est préalable à la production du jugement évaluatif. Il ne dit pas encore si l’action a marché, mais explicite la manière dont elle devrait pouvoir marcher. Mais en cela, il a déjà souvent une utilité en soi pour les acteurs, en matérialisant les liens entre la quotidienneté de la mise en œuvre du dispositif et le sens de l’action.
C’est ensuite la collecte et l’analyse d’une diversité de données qui doit permettre de tester les hypothèses : ici, une analyse documentaire, une analyse des données de suivi de la mise en œuvre du dispositif, une trentaine d’entretiens auprès de la Région, des réseaux et des tiers-lieux, une enquête auprès des tiers-lieux soutenus, et des études de cas.
Ce n’est pas toujours le cas, loin de là, mais cette évaluation a globalement montré que le dispositif pensé et mis en place par la Région-Nouvelle Aquitaine était efficace. La politique régionale a ainsi contribué à la forte croissance du nombre de tiers-lieux et à la création d’un maillage territorial très fin de tiers-lieux de proximité, en dehors des métropoles. Ainsi, le nombre de tiers-lieux sur le territoire néo-aquitain a doublé entre 2016 et 2020, pour atteindre 285 tiers-lieux en 2021. L’aide financière a été déterminante dans la concrétisation, l’accélération ou l’amplification de la mise en œuvre des projets de tiers-lieux et a également contribué à fortement renforcer la crédibilité des projets vis-à-vis des autres partenaires institutionnels. L’offre de service de la Coopérative des tiers-lieux a contribué à la montée en compétence des tiers-lieux.
Paradoxalement, dans une ambition d’apprentissage, une évaluation présentant des résultats très positifs en termes d’efficacité peut apparaître moins utile qu’une évaluation mettant en lumière des axes d’amélioration critique de l’action. L’ambition de redevabilité joue ici à plein : l’évaluation montre que l’action publique permet bien d’atteindre les objectifs qu’elle s’est fixés.
Pour la Région Nouvelle-Aquitaine, dans notre cas, la confirmation du succès et de l’efficacité de la politique de soutien aux tiers-lieux a permis d’évacuer la question de sa reconduction ou non. Il fallait continuer à proposer ce soutien efficace. Et c’est bien parce que cette conclusion positive était issue d’une démarche prête à reconnaître l’inverse, qu’elle avait suffisamment de crédibilité pour rendre sa reconduction évidente. Il s’agissait alors plutôt de requestionner les objectifs même de la politique publique.
Questionner la raison d’être (pertinence)
Souvent, la nécessaire justification de l’action publique ne questionne pas uniquement l’action elle-même, mais aussi sa raison d’être – ici donc le soutien aux tiers-lieux. Notre évaluation avait également pour rôle de donner à voir les effets produits par les tiers-lieux néo-aquitains sur leurs territoires, afin de confirmer – ou non – la pertinence pour l’intérêt général de les soutenir.
La réalisation de 5 études de cas – auprès des tiers-lieux La Quincaillerie, à Guéret, dans la Creuse ; La Smalah, à Saint-Julien-en-Born et Mézos, dans les Landes ; Le 400, à Brive-la-Gaillarde, en Corrèze ; Le temps de Vivre, à Aixe-sur-Vienne, en Haute-Vienne et La Zone à Partager, à Bègles, en Gironde – nous a permis de tirer les enseignements suivants :
- La dynamique collective des tiers-lieux, à la fois en interne entre usagers et usagères des espaces de travail partagé et en externe avec de multiples acteurs privés et publics, permet l’émergence de collaborations nouvelles et de projets d’intérêt général dans les territoires.
- Les tiers-lieux néo-aquitains peuvent être considérés à la fois comme des espaces de lien social et de citoyenneté, des laboratoires d’expérimentations locales, et dans une moindre mesure de possibles générateurs d’activité économique. Ils contribuent à la redynamisation et au renouvellement de l’attractivité de leurs territoires, faisant peser sur eux de fortes attentes de la part des collectivités locales, une fois leur rôle compris et légitimé.
Espace de Vie Sociale de La Smallah, au petit matin, avant l’arrivée des habitants et habitantes – 2021
Ces enseignements confirmaient ainsi la pertinence du soutien public aux tiers-lieux. Mais tous les tiers-lieux ? Ou plutôt, de quels types de tiers-lieux la Région Nouvelle-Aquitaine souhaitait-elle encourager la création et le développement sur son territoire ? L’évaluation visait ainsi à réinterroger la définition que la Région s’était donnée, 10 ans plus tôt, de ce qu’elle considérait comme un tiers-lieu « bon » pour l’intérêt général.
Nous avons alors proposé trois scénarios d’évolution du dispositif de soutien, chacun partant du type de tiers-lieux que la Région Nouvelle-Aquitaine pourrait vouloir soutenir :
Les tiers-lieux acteurs de l’économie locale. Ici, la politique régionale en faveur des tiers-lieux aurait vocation à continuer à accompagner le renouvellement des modes de travail et la reconfiguration des lieux de travail, mais plus uniquement dans le tertiaire. Elle aurait pour ambition de favoriser davantage l’émergence de nouveaux espaces de production de proximité, que ce soit dans le secteur de l’agriculture, de l’artisanat ou de l’artisanat d’art.
Les tiers-lieux laboratoires d’expérimentations locales. Dans ce scénario, la politique régionale en faveur des tiers-lieux viserait à encourager des coopérations nouvelles entre les citoyens et citoyennes et les acteurs publics et privés des territoires. Les tiers-lieux soutenus agiraient ainsi comme des espaces en faveur du lien social et de l’action citoyenne (notamment en zones rurales), mais également comme des laboratoires d’expérimentations locales, en lien notamment avec la stratégie régionale pour les transitions (Néo Terra).
Les tiers-lieux opérateurs de service de base. Dans ce scénario, la politique régionale aurait pour ambition de contribuer à corriger les déséquilibres entre les territoires, notamment en matière d’accès aux services de base. Les tiers-lieux soutenus viseraient à identifier des besoins non couverts, dans le champ de compétences de la Région, et proposer des solutions pour y répondre. Ils assureraient ainsi un rôle de service d’intérêt général de proximité.
Figure 3 : Atelier prospectif dans le cadre de l’évaluation de la politique de soutien aux tiers-lieux de la Région Nouvelle-Aquitaine par Quadrant Conseil – 2021
À travers la formulation de ces scénarios, il s’agissait surtout de donner à voir un éventail de possibles stratégiques, plutôt que de constituer des modèles figés parmi lesquels choisir.
Dans le processus de décision interne à la Région, si les deux premiers scénarios ont permis de préciser et confirmer des élargissements de la définition des tiers-lieux à soutenir déjà envisagés de manière informelle en amont de l’évaluation ; le dernier scénario a plutôt agi comme repoussoir. Il était issu d’une vision des tiers-lieux parfois portée par les acteurs publics de proximité sur les territoires des tiers-lieux, révélée par l’évaluation ; et a permis à la Région d’affirmer en creux sa distanciation de ce modèle.
« L’évaluation a été un élément déclencheur de l’évolution de la politique publique régionale. Élus et techniciens s’en sont emparés pour redéfinir les enjeux prioritaires, les modalités de mise en œuvre opérationnelles, et proposer une nouvelle stratégie Tiers-lieux 2022-2024 qui a été votée en séance plénière quelques mois plus tard.
La parole à Eugénie Michardière, Cheffe de projet Tiers-lieux, Direction de l’Économie Sociale et Solidaire et de l’Innovation sociale, Région Nouvelle-Aquitaine
Avec une action régionale désormais double :
Finaliser le maillage territorial dans les zones en carence ;
Consolider le secteur des tiers-lieux en renforçant leur ancrage territorial, en développant les coopérations avec les acteurs locaux, en professionnalisant les conditions d’accueil et en consolidant leurs modèles socio-économiques, dans 4 domaines : se former autrement, travailler et produire autrement dans l’artisanat, travailler et produire autrement dans l’agriculture, pouvoir expérimenter et innover.
D’un point de vue organisationnel, le sujet qui était porté par la direction numérique a été transféré à la direction de l’ESS, constituée d’une dizaine de chargés de mission territorialisés, permettant ainsi un accompagnement renforcé et de proximité, et un pilotage coordonné avec les autres directions de la Région et le national. »
Au-delà des apports du jugement évaluatif, d’autres conditions influent également sur la capacité d’une évaluation à être utile. Ici, plusieurs facteurs ont joué à plein pour que l’évaluation ne se transforme pas en un exercice procédurier que l’on fait parce qu’il faut le faire, sans rien en attendre vraiment. D’abord, l’évaluation était souhaitée directement par les acteurs en situation de décider et de mettre en œuvre la politique. Ensuite, et en partie au moins pour cette raison, l’évaluation était intégrée dans un processus de réflexion et de décision, permettant à ses résultats d’arriver au bon moment pour être mobilisés. Enfin, l’évaluation a donné la parole a un très grand nombre d’acteurs de l’écosystème tiers-lieux néo-aquitain, renforçant ainsi sa légitimité.
Une évaluation utile des tiers-lieux ?
Avec cet exemple, on voit qu’une évaluation de politique publique peut permettre de produire un jugement utile pour comprendre ses valeurs sous-jacentes, ce qui a marché, pourquoi, et de s’appuyer sur ces informations pour repenser une politique publique de soutien aux tiers-lieux.
Mais selon qui l’on est, les moyens dont on dispose (temps, compétences, financements…), ce que l’on cherche à savoir, et pour quelles finalités, alors l’évaluation pourra prendre des formes différentes.
Si l’on est un financeur de tiers-lieux…
… et que l’on cherche à améliorer notre dispositif de soutien aux tiers-lieux, alors, on l’a vu, on pourra se tourner vers une évaluation de politique publique – processus ponctuel et fouillé, généralement mis en œuvre par des spécialistes (bureau d’étude, chercheurs/chercheuses, service interne dédié…). Un autre exemple est l’évaluation du programme Fabriques de territoires porté par l’ANCT, présentée dans un précédent article ;
… et que l’on cherche à évaluer l’impact d’un ou plusieurs tiers-lieux sur un territoire, alors on pourra faire appel à un bureau d’étude ou à des acteurs académiques pour mener une évaluation d’impact. Ce type d’évaluation cherche à prouver autant que possible un lien de causalité entre l’intervention évaluée et les changements observés, en faisant notamment la part entre le rôle de l’intervention et celui d’autres facteurs, et utilise pour cela des méthodes spécifiques en recherche appliquée, particulièrement rigoureuses, pour assurer la robustesse des résultats ;
… et que l’on cherche à renforcer la capacité des tiers-lieux en évaluation, alors on pourra leur apporter un soutien en ce sens (financement d’études, d’accompagnements, prise en compte du temps passé …).
Si l’on cherche à consolider des indicateurs sur l’utilisation de nos fonds et les actions mises en œuvre par les tiers-lieux que l’on soutient, alors on pourra leur demander de nous fournir annuellement des indicateurs de suivi dans le cadre de leur reporting. Ces indicateurs, idéalement faciles et peu chronophages à compiler, renseigneront généralement sur les dépenses et les actions, éventuellement sur le nombre de personnes concernées, mais ne renseigneront pas ou peu sur leurs effets réels et ne relèvent ainsi pas de l’évaluation.
Si l’on est un tiers-lieu, et que l’évaluation nous semble une démarche intéressante pour améliorer notre action…
Finalement, une compréhension plus partagée de ce que recouvre la notion d’évaluation entre les différents acteurs impliqués dans le soutien, la création et l’animation des tiers-lieux, de ce à quoi elle peut servir, pourrait permettre d’y avoir un recours à la fois plus mesuré, mais aussi plus utile.
Cet article est publié en Licence Ouverte 2.0 afin d’en favoriser l’essaimage et la mise en discussion.