Comment objectiver les impacts des tiers-lieux ?

Comment évaluer les tiers-lieux, un mouvement en mutation permanente et qui revendique une portée transformative ? Comment observer, de manière qualitative, les effets de l’action des tiers-lieux ? À quelles conditions peut-on produire des évaluations chiffrées, souvent requises par les pouvoirs publics et les acteurs financiers, de ces actions ? À la suite de discussions avec plusieurs acteurs publics, financeurs, tiers-lieux et spécialistes de l’évaluation, notamment lors des évènements “Tiers-Lieux pour l’Europe” en juin 2023 et de “Faire Tiers-Lieux en Région Sud PACA” à Marseille en novembre 2023, cet article présente différentes approches de l’évaluation des tiers-lieux, illustrées par plusieurs méthodes, outils et résultats : la mesure d’impacts d’organisations à but non lucratif, une recherche évaluative d’un programme public de soutien aux tiers-lieux et des outils d’auto-évaluation pour les tiers-lieux. Cet article s’inscrit dans une série d’articles ou de grands entretiens autour des enjeux, méthodes, outils et débats relatifs à la question de l’évaluation des tiers-lieux.

Les tiers-lieux sont de plus en plus sollicités pour évaluer leurs actions, que ce soit pour justifier de l’utilisation des soutiens publics qui leur sont accordés ou pour obtenir des financements privés. De même, les pouvoirs publics sont en demande de résultats chiffrés et de statistiques afin d’établir un état des lieux et des connaissances sur les avancées de la politique publique en faveur des tiers-lieux. Les financeurs privés, banques et investisseurs, sont également demandeurs de chiffres leur permettant d’objectiver les impacts des projets financés : en amont pour accorder le financement mais aussi en aval afin de justifier des impacts produits, notamment dans le cadre des exigences liées au financement à impact (fonds ESG, finance solidaire, fonds 90/10, etc. voir à ce sujet : https://www.strategie.gouv.fr/sites/strategie.gouv.fr/files/atoms/files/novethic-fair_-_evaluation_du_marche_europeen_des_labels_de_finance_verte_et_solidaire_-_septembre_2022_0.pdf). Mais comment évaluer les tiers-lieux, un mouvement en mutation permanente et qui revendique une ambition transformatrice ? Comment observer, de manière qualitative, les effets de l’action des tiers-lieux ? À quelles conditions peut-on produire des évaluations chiffrées, souvent requises par les pouvoirs publics et les acteurs financiers, de ces actions ? Quelles méthodes d’évaluation sont mises en place par les tiers-lieux ? Quels outils de suivi en interne mobilisent les tiers-lieux ? Quelles sont les différences entre les méthodes et approches existantes de l’évaluation ? Ces questions ont notamment fait l’objet de tables rondes et ateliers lors de l’événement “Tiers-lieux pour l’Europe” (Third Places For EU”#) en juin 2023 à la Halle Tropisme ainsi qu’à Faire Tiers-Lieux en Région PACA à Marseille en novembre 2023.

Cet article propose de retracer différentes approches de l’évaluation. Dans le contexte des politiques publiques, celle-ci peut être utilisée comme une manière de rationaliser l’action publique, tant pour veiller à la bonne utilisation des fonds publics que pour optimiser la dépense publique, et répond à un enjeu de transparence démocratique voir à ce sujet : https://www.strategie.gouv.fr/espace-presse/evaluations-de-politiques-publiques-utilisations (1).  Nous présenterons notamment la recherche évaluative des Fabriques de territoires par l’Agence Phare. Pour les tiers-lieux, et autres structures relevant de l’économie sociale et solidaire (ESS), l’évaluation répond à une demande de mesures d’impacts de la part de financeurs publics ou privés, voire de valorisation auprès de ses partenaires (2) (à l’instar des outils et guides à destination des structures de l’ESS produits par l’Avise ainsi que l’outil d’auto-évaluation Commune Mesure). Par ailleurs, l’évaluation peut également répondre à des besoins internes, se distinguant d’une mesure d’évaluation coût / efficacité, mais plutôt dans un objectif de pilotage, de gestion, de progression, de réflexivité ou encore de contribution à la recherche scientifique (3) (à l’instar des programmes de recherche-action tels que celui mené par le Campus de la transition avec l’Ademe et plusieurs Grandes Écoles ayant abouti à un indicateur de capabilités ou de capacité relationnelle ou encore une recherche-action pour l’auto-évaluation des pratiques des communs dans les écolieux).

L’évaluation des politiques publiques : rationaliser l’action publique ?

L’évaluation de l’impact des tiers-lieux, en particulier ceux soutenus financièrement par des collectivités ou par l’Etat, s’intègre plus globalement à un impératif d’évaluation des politiques publiques. Celle-ci est définie par la Société française d’évaluation (2006) de la manière suivante : « L’évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts » Voir le site de la Société française d’évaluation : https://www.sfe-asso.fr/. 

L’évaluation est une démarche institutionnelle à visée opérationnelle avec une double exigence d’efficacité et de légitimité. Il s’agit de : “rendre intelligible l’action publique pour mieux la maîtriser, mais aussi d’augmenter la prise de parole (voice) des acteurs sociaux en permettant une connaissance partagée des effets de l’action publique.” (Duran, 2017) La pratique d’évaluation des politiques publiques a vu le jour aux Etats-Unis avec la création du General Accounting Office (équivalent des cours des comptes européennes) en 1921 avec une approche principalement quantitative. En France, l’évaluation devient un instrument de modernisation de l’Etat dans les années 1970 et 1980 dans un contexte de contrainte budgétaire.  Désormais constitutionnelle depuis la révision de 2008,  elle est principalement confiée à des institutions publiques notamment à la Cour des comptes au Parlement (inscrit à l’article 24 depuis la révision constitutionnelle de 2008), l’Institut national de la statistique et des études économiques, etc. ou encore France Stratégie créé par décret du 22 avril 2013.

Aussi, depuis son vote en 2001 et application pleine en 2006, la Loi organique relative aux lois de finances (LOLF) prévoit également l’évaluation des programmes nouvellement créés. Selon Calmette (2008), l’une de ses principales innovations est de permettre une évaluation a posteriori de la performance des résultats budgétaires au niveau parlementaire. Cette forme d’évaluation consiste à mesurer son impact réel après son entrée en vigueur c’est-à-dire de comparer un scénario contrefactuel avec la situation réelle soutenue par un dispositif ou programme d’action publique (Bozio, 2018). Elle se distingue de l’évaluation ex ante, c’est à dire avant l’introduction d’une politique dans le but d’analyser ses effets potentiels, de l’évaluation in itinere c’est-à-dire pendant et tout au long de l’action.. 
 
L’évaluation des politiques publiques répond à un besoin croissant de rationaliser l’action publique selon différents facteurs qui s’exercent sur elle : la diversité de la demande sociale (pouvoir d’achat, sécurité, services publics, etc.) et des objectifs politiques (économiques, sociaux, environnementaux) entrant parfois en conflit ; d’une situation économique en contexte de crise ; à cela s’ajoute une crise de confiance entre les citoyens et les dirigeants (Duran, 2018), rendant encore plus indispensable une démarche accrue d’ouverture et de dialogue dans l’action publique.

Si le développement et le renforcement de l’évaluation des politiques publiques a été particulièrement saluée pour la démarche de transparence démocratique, celle-ci reste tout de même sujet à débats, faisant face à plusieurs difficultés. Ces évaluations mettent principalement l’accent sur le bénéfice financier des politiques, souvent au détriment de l’analyse qualitative des effets sociaux ou environnementaux, pourtant cruciaux mais plus difficiles à mesurer. Par ailleurs, les temporalités des évaluations posent problème : elles sont souvent limitées à des horizons courts, comme les cycles budgétaires annuels liés aux lois de finances, ce qui freine l’analyse des impacts sur le moyen et long terme (Calmette, 2008 ; Trosa, 2009 ; Duran, 2018). Pour répondre à ces limites et mieux intégrer la complexité des politiques publiques, des approches alternatives se développent. Parmi elles, les démarches qualitatives, participatives et collaboratives gagnent en importance. Ces méthodologies impliquent une diversité d’acteurs, notamment les citoyens, les usagers, les experts de terrain et les chercheurs. En associant ces parties prenantes, elles permettent de recueillir des perspectives variées, de mieux comprendre les effets réels des politiques publiques et d’enrichir les outils d’évaluation par des indicateurs moins centrés sur les seuls aspects financiers. Ces initiatives ouvrent la voie à une évaluation au long court, plus qualitative et ancrée dans la réalité des territoires.

Après ces éléments de cadrage sur l’évaluation des politiques publiques, il s’agit désormais de présenter un exemple d’une recherche évaluative sur les tiers-lieux bénéficiaires de la politique publique “Fabriques de territoire” constitue un exemple intéressant d’évaluation reposant sur une méthodologie qualitative et participative, qui a pu mettre en lumière les impacts d’une politique publique sur des tiers-lieux labellisés “Fabriques de territoire”.

Une recherche évaluative d’une politique publique de soutien aux tiers-lieux :  l’étude des Fabriques de Territoire par l’Agence Phare

Contexte
L’évaluation de la politique publique suite à l’Appel à Manifestation d’Intérêt des Fabriques de Territoire porté par le programme Nouveaux Lieux Nouveaux Liens de l’Agence Nationale de la Cohésion des Territoires (ANCT) L’appel à manifestation d’intérêt intitulé “Fabriques de Territoire” visait à soutenir le développement, la structuration et la coopération de 300 tiers-lieux en France via un label, un financement de 150 000 euros sur trois ans et un accompagnement par l’association de préfiguration nationale France Tiers-Lieux. Voir à ce sujet le site de l’ANCT : https://tierslieux.anct.gouv.fr/fr/programme/fabriques-de-territoire/ a été réalisée entre septembre 2020 et décembre 2022 par l’Agence Phare Retrouvez sur l’Observatoire des Tiers-Lieux l’entretien sur l’évaluation avec Emmanuel Rivat de l’agence Phare : https://observatoire.francetierslieux.fr/emmanuel-rivat-agence-phare-nous-parle-devaluation-et-de-tiers-lieux/ . 

Trois axes ou objectifs opérationnels ont guidé cette enquête et ce travail d’évaluation : 
• Dans quelle mesure l’État parvient-il à soutenir la diversité des initiatives de l’écosystème des tiers-lieux ? Qui sont ces lieux sélectionnés par l’AMI  (sont-ils des tiers-lieux ? des “supers” tiers-lieux ou “tiers lieux ressources”) ? 
• Quels sont les effets du soutien de l’État sur le développement des tiers-lieux (consolidation de leur activité, développement, coopération, etc.) ? 
• Comment ce soutien a pu transformer ces lieux ? À quelles conditions les tiers-lieux soutenus par l’État peuvent-ils avoir des impacts sur les territoires ? Dans quelle mesure les relations entre les tiers-lieux et l’action publique en sont-elles renforcées ? 

L’Agence phare distingue également des objectifs de la recherche : 
• Stabiliser une compréhension fine des niveaux de définition des tiers-lieux pour mieux comprendre quels acteurs (États, collectivités, tiers-lieux) valorisent certaines définitions, et mieux resituer lesdites définitions dans les controverses ayant court dans les sciences sociales ;
• Proposer une typologie des Fabriques de territoire permettant de décrire les spécificités et les enjeux de tiers-lieux soutenus par l’État dans le champ de l’action publique ;
• Interroger la manière dont l’État et les collectivités influencent les initiatives de type tiers-lieux, et réciproquement.

Méthodologie
L’enquête réalisée par l’Agence Phare a privilégié l’anonymat afin de garantir un propos critique de la part des tiers-lieux interrogés. Par ailleurs, en partant du constat que les tiers-lieux sont en mouvement et expérimentation permanente, l’approche choisie est dite inductive. L’Agence a favorisé une démarche itérative via des allers retours entre l’immersion sur le terrain au sein de 10 lieux et des temps d’analyse réflexive. La méthode de l’enquête est qualitative et participative à travers l’implication et les contributions d’un comité des tiers-lieux (des praticiens et opérateurs de tiers-lieux ont été sollicités afin de faire monter en généralité les résultats obtenus par l’enquête). Par ailleurs, ce travail d’évaluation se distingue d’une étude d’impacts car il s’agit de davantage questionner les conditions de possibilités des impacts des Fabriques de territoire auprès des parties prenantes. La sélection de l’échantillon pour l’enquête sur dix Fabriques de territoire repose sur un ensemble de six critères spécifiques : vague de labellisation, région d’appartenance, type de territoire, champ thématique, profil de la structure porteuse – association ou collectivité, et culture socio-politique du lieu – éducation populaire, entrepreneuriat, action publique, etc.

Résultats
Trois résultats majeurs ressortent de leur enquête : 
• Une diversité de tiers-lieux ont été labellisés “Fabriques de Territoire” notamment pour leur objectif de réponse aux besoins de leur territoire (pluralité de communautés et de cultures sociopolitiques),
• La labellisation Fabriques de territoire a accéléré la structuration et l’institutionnalisation de certains tiers-lieux (via la professionnalisation soutenue, leur dépendance aux financements publics et freins vers l’autofinancement),
• Les tiers-lieux labellisés Fabriques de Territoire contribuent fortement à l’innovation sociale et à la coopération sur les territoires face au risque d’une logique de “guichet” (“incubation informelle” de porteurs de projets, renforcement des services de proximité, du lien social au sein des communautés et plus distendu avec les habitants, actives dans les politiques locales mais pu associées aux enjeux d’aménagement des territoires). 

Ainsi, le rapport souligne que les méthodes, les pratiques et les impacts des tiers-lieux dépendent dans une large mesure de la sociologie et du degré d’ouverture ou d’institutionnalisation des communautés de professionnels et d’usagers impliqués dans ces initiatives.

Recommandations
Suite à ces résultats, le rapport de recherche évaluative conclut avec plusieurs recommandations : 
Soutenir les tiers-lieux qui développent à la fois une activité servicielle et productive dans les territoires périurbains et les territoires ruraux en transition dans différents champs thématiques (numérique, alimentation durable, culture, action sociale solidarité, transition énergétique).
Soutenir les tiers-lieux de recherche citoyenne : des tiers-lieux qui expérimentent de nouvelles méthodes de lien social, de faire ensemble ou de création de communs (mutualisation de lieux, de ressources et d’expertises territoriales ou numériques)
Soutenir les tiers-lieux qui structurent une offre de formation et essaiment des modalités d’accompagnement pédagogique à destination des autres tiers-lieux à l’échelle départementale.
Enfin, cette recherche évaluative menée sur deux ans est la première évaluation de grande ampleur mandatée par l’ANCT sur la politique publique de soutien aux tiers-Lieux menée depuis 2019. Le choix de la méthode qualitative et participative a permis d’impliquer des acteurs des tiers-lieux dans la recherche de valorisation des impacts et difficultés vécues par les tiers-lieux labellisés. Une méthodologie décryptée par Emmanuel Rivat dans un grand entretien mené par Charlotte Dudignac pour l’Observatoire des Tiers-Lieux publié en octobre 2024.

Quelques repères : 
Les débats entre les méthodes qualitatives et quantitatives ne sont pas nouveaux. Ces deux méthodes sont souvent opposées : les méthodes dites quantitatives sont souvent plébiscitées par des financeurs et subventionneurs car elles sont perçues comme plus efficaces notamment pour communiquer des données chiffrées. Tandis que les méthodes qualitatives sont préférées par les acteurs des tiers-lieux car elles s’appuient davantage sur des éléments textuels, permettent d’analyser des systèmes complexes, des impacts sociaux et les dimensions humaines de certaines actions.
Les deux approches sont néanmoins complémentaires puisque les méthodes quantitatives permettent de vérifier des hypothèses, selon une approche déductive (c’est à dire validation ou invalidation d’hypothèses grâce aux données récoltées), et les méthodes qualitatives de mieux comprendre les changements générés, selon une approche inductive (qui implique la construction d’hypothèses au fur et à mesure de la collecte de données). 
Chacune des méthodes comporte ses propres biais. Dans une recherche d’objectivité et de consolidation des résultats, les sciences humaines et sociales se tournent vers les méthodes mixtes, où l’association des méthodes quantitatives et qualitatives permettant la “triangulation”, c’est-à-dire de croiser les regards sur un même objet en mobilisant plusieurs méthodes. 

Les objectifs que l’on assigne à l’évaluation sont fondamentalement politiques, et induisent des méthodologies et outils différents en fonction de leur(s) destinataire(s), de(s) l’objet(s) à évaluer et des intentions partagées de cette évaluation. 

La mesure d’impacts : des indicateurs pour convaincre ou des outils d’auto-évaluation ? 

L’ambition de mesure d’impacts ou d’effets des tiers-lieux ne concerne pas uniquement l’évaluation des politiques publiques. Ces évaluations et mesures de l’action des tiers-lieux sont également régulièrement utilisées dans le cadre du dialogue avec des financeurs privés (banques, investisseurs mais également fondations, etc.). Les modèles économiques hybrides des tiers-lieux les enjoignent ainsi à une évaluation prenant en compte les référentiels des partenaires publics comme des financeurs privés, et peuvent alors s’appuyer sur de nombreux outils et travaux développés par de nombreuses structures (voir ci-après) dans un contexte de professionnalisation de la mesure d’impact des projets d’innovation sociale. 
Les tiers-lieux sont ainsi régulièrement invités à mesurer leur impact social ou environnemental. Ces mesures et évaluations visent à définir, mesurer et attribuer une valeur sociale ou environnementale à leurs actions, en prenant en compte l’ensemble des conséquences directes ou indirectes tant sur les parties prenantes internes et externes, sur le territoire que sur la société en général Voir à ce sujet la définition de l’impact social par le Conseil supérieur de l’Économie sociale et solidaire (CSESS) en 2011 https://www.avise.org/sites/default/files/atoms/files/20140204/201112_CSESS_Rapport_ImpactSocial.pdf. Il s’agit de questionner les conséquences de leurs actions, les effets négatifs ou positifs générés par l’organisation sur ses parties prenantes et son environnement plus global.  

Sur ces sujets, de nombreuses ressources et guides méthodologiques ont été mis en place, par exemple par des structures comme l’Avise (agence d’ingénierie qui accompagne le développement de l’économie sociale et solidaire et de l’innovation sociale) > Un MOOC sur l’évaluation et la mesure d’impact social : https://www.coursera.org/learn/evaluation-mesure-impact-social? 

> D’autres ressources disponibles (podcasts, vidéos, MOOCs, articles et outils pratiques) sont disponibles sur le site du Centre d’innovation social et écologique de l’ESSEC : https://centre-innovation-sociale-ecologique.essec.edu/ . En préalable à toute démarche de mesure d’impacts, afin de choisir au mieux sa méthodologie d’évaluation, l’Avise conseille notamment d’identifier l’une des 4 finalités ou objectifs suivants : 
• Produire de l’information régulière sur les résultats attendus de votre action,
• Comprendre le changement observé et les facteurs explicatifs potentiels,
• Prouver que le changement est attribuable à votre action,
• Donner une valeur au changement suscité par votre action.

Source : Avise, 2022, Guide pour Évaluer son impact social, p.11 

Elle informe également sur d’autres finalités sous-jacentes à l’évaluation : 
• Établir une sorte de diagnostic territorial de son projet, cartographier les parties prenantes, les bénéficiaires,
• Estimer les effets de son action sur des bénéficiaires et donc la valeur sociale, économique, environnementale et territoriale de son projet,
• Dans une logique de projets, elle permet d’analyser les résultats des actions en cours et d’identifier les pratiques à améliorer, les innovations etc,
• Informer et communiquer sur ses actions et projets,
• Valoriser le travail de ses équipes

Par ailleurs, un point d’attention est donné aux choix d’indicateurs, pierre angulaire de la mesure d’impact. La définition des indicateurs intervient au préalable de toute démarche d’évaluation, qu’ils soient standardisés, sectoriels ou créés spécifiquement pour cette dernière Voir à ce sujet : – Avise (2022), Guide Méthodologique pour Evaluer son impact social, p.53-53 : https://www.avise.org/ressources/evaluer-son-impact-social . Dans son article publié en septembre 2023,  l’Avise propose les indicateurs suivants pour l’évaluation de l’impact des tiers-lieux : création de lien social, dynamisme économique et développement de l’emploi, dynamisme territorial, dynamisme culturel, impact environnemental Article de l’Avise (2023), Comment évaluer l’impact des tiers-lieux ? https://www.avise.org/actualites/comment-evaluer-limpact-des-tiers-lieux . Enfin, de nombreuses ressources telles que des études de cas, des fiches pratiques, des guides à l’évaluation sont mises en ligne et disponibles sur le site internet d’Avise. Des outils et méthodes pouvant être complétées par les productions d’autres instances telles que le Labo de l’ESS, la Fonda, le Sommet de la Mesure d’Impact, le Mouvement Asso etc.


L’auto-évaluation et l’appropriation d’outils de diagnostic jouent un rôle crucial pour les tiers-lieux, car elles permettent à ces structures souvent innovantes et atypiques de mieux comprendre, piloter et valoriser leurs actions. Contrairement à une évaluation imposée de l’extérieur, l’auto-évaluation présente différents intérêts :

1. Renforcer l’autonomie et l’alignement avec les valeurs : Les tiers-lieux sont souvent portés par des collectifs et ancrés dans des valeurs de coopération, d’innovation sociale ou d’écologie. En utilisant des outils d’auto-évaluation, ils peuvent construire des indicateurs qui reflètent ces valeurs et leurs missions spécifiques, au lieu de se plier à des cadres standardisés. Cela renforce leur autonomie dans la manière d’évaluer leurs résultats.

2. Piloter efficacement les projets : L’auto-évaluation permet aux tiers-lieux de mieux comprendre leurs forces et leurs faiblesses, d’identifier les leviers d’amélioration et de piloter leurs activités de façon proactive. Par exemple, un diagnostic régulier peut aider à ajuster les activités proposées, à renforcer la participation des usagers ou à mieux gérer les ressources disponibles.

3. Créer une dynamique de réflexivité : En s’appropriant des outils de diagnostic, les acteurs des tiers-lieux prennent le temps d’analyser et de réfléchir collectivement sur leurs pratiques. Cela favorise une culture de la réflexivité et de la progression continue, essentielle pour des structures souvent expérimentales et évolutives.

4. Valoriser les impacts auprès des partenaires : Les tiers-lieux doivent souvent démontrer leur utilité sociale ou territoriale auprès de financeurs publics, d’entreprises ou de collectivités locales. Les outils d’auto-évaluation leur permettent de produire des données crédibles et adaptées pour montrer leurs impacts économiques, sociaux ou environnementaux, tout en restant fidèles à leur réalité de terrain.

5. Faciliter l’ancrage territorial et les alliances : L’auto-évaluation permet aussi aux tiers-lieux de dialoguer avec leur écosystème : élus, associations, entreprises, habitants. En partageant leurs diagnostics, ils peuvent renforcer leur crédibilité, créer des alliances et co-construire des projets plus solides.

Trois exemples d’outils ou d’indicateurs sont ici présentés : Commune Mesure, à l’initiative de la coopérative Plateau Urbain ; l’indice de capacité relationnelle (RCI) par le Campus de la Transition ; et la grille des communs de  capabilités utilisée dans le cadre d’une recherche action par Anne Lechêne pour la Coopérative Oasis.

L’outil Commune Mesure 

Contexte
Commune Mesure est une plateforme ressource, libre et gratuite sur la mesure d’impacts et l’évaluation à destination des tiers-lieux, développée depuis 2018 par la coopérative Plateau Urbain, aidée d’un consortium d’acteurs et d’actrices des secteurs des tiers-lieux et de l’ESS (La Banque des Territoires, la Fondation l’Abbé Pierre, France Tiers-Lieux, l‘Institut Paris Région, l’Hermitage, la Foncière Bellevilles, Sinny&Ooko, le consortium des réseaux de tiers-lieux d’Ile de France, Habitat & Humanisme, l’Atelier Approche.s !, le Vertigo Lab, le PUCA et la Coopérative Oasis). Née du constat que les porteurs de projets de tiers-lieux manquent de temps, de ressources, de méthodologies et d’outils adaptés à leurs spécificités, Commune Mesure vise à outiller et “encapaciter” les porteurs de projets à se saisir des enjeux de l’évaluation. 
L’outil promeut une évaluation avant tout au service de personnes qui portent les projets dans le cadre d’un processus collectif, co-défini. L’évaluation vise ici un meilleur pilotage, peut servir d’outil d’aide à la décision et encourage l’implication des parties prenantes. 


Développement du projet
2022 – Commune Mesure travaille en collaboration avec l’atelier Approche.s, et développe une méthodologie de mesure d’impact social dédiée aux tiers-lieux. Cette méthodologie permet aux parties prenantes d’un lieu de qualifier collectivement ses effets sociaux : qu’ils soient individuels, sociaux et territoriaux. Un questionnaire auto-évaluatif permet également aux lieux de visualiser et d’éditer un panorama de leurs effets sociaux (ci-après, quelques exemples de datavisualisation sur Commune Mesure).

     
Source : Page du tiers-lieu Le Grain de la Vallée à Marseille sur le site de Commune Mesure : https://communemesure.fr/app/place/le-grain-de-la-vallee 

2023 – Commune Mesure intègre un volet environnemental à ses méthodologies en collaboration avec Vertigo Lab, bureau d’études et de recherche spécialisé en économie de l’environnement. Un guide complet décrit la méthode à suivre, construite avec les tiers-lieux et éco-lieux participants à Commune Mesure. Un questionnaire auto-évaluatif permet de dresser un état des lieux des effets environnementaux des lieux sur cinq grandes catégories : sensibilisation, circularité, G.E.S., biodiversité, environnement physique. 
À partir de 2024 et selon les besoins remontés par les porteurs de projets, Commune Mesure intégrera de nouvelles briques au projet : l’impact démocratique, l’accès à la culture et/ou la mise en œuvre des droits culturels font partie des thématiques pressenties pour les années à venir.  Par ailleurs, Commune Mesure travaille actuellement à la rédaction d’articles encapacitants pour outiller les tiers-lieux sur l’évaluation quantitative des 5 dimensions du volet environnemental. 

L’indicateur de capacité relationnelle dans les écolieux par le Campus de la Transition

Contexte
L’association du Campus de la Transition est composée de plusieurs chercheurs et s’implique dans différents projets de recherche sur le Low Tech, la mobilité durable, la maîtrise de l’empreinte carbone, etc. En 2020, après une rencontre entre le directeur de la coopérative Oasis (Mathieu Labonne) et la directrice du Campus de la Transition (Cécile Renoir), l’association démarre un projet de recherche en partant du constat qu’aucun outil de référence n’existe pour mesurer l’impact social des écolieux (en leur sein et vis-à-vis de l’extérieur). Pourtant, au même titre que l’écologie, l’importance des relations humaines est une valeur partagée forte de ces lieux, qui ressort dans les témoignages recueillis, avec un accent mis sur les effets de la qualité des relations dans un collectif, sur la capacité à créer des relations sobres et solidaires.

Méthodologie
L’objet de leur étude tient à la caractérisation de la qualité des relations dans un collectif de type écolieux, tel que l’Indicateur de Capacité Relationnelle (RCI) peut la mettre en évidence. Leur hypothèse majeure consiste en la corrélation entre la présence d’une forte qualité relationnelle dans les écolieux et leurs modes de vie fortement soutenables. Les questions de recherche qu’ils identifient sont les suivantes : l’analyse en termes de capacités relationnelles est-elle pertinente pour mesurer le bien-vivre en écolieu ? Si oui, quelles dimensions et quelles variables choisir pour construire un Indicateur de Capacité Relationnelle dédié aux écolieux ? Y-a-t-il d’autres éléments spécifiques aux écolieux (sobriété des modes de vie, modalités de gouvernance, activités) permettant d’éclairer les leviers et les freins à la qualité du lien social ?
En 2020, le Campus de la Transition conduit, en lien avec la Coopérative Oasis et l’ADEME, une pré-enquête sur 4 sites pour tester la faisabilité et l’applicabilité d’un RCI spécifique aux écolieux. Chaque lieu (Centre Amma – ferme du Plessis ; Château Partagé ; MasCobado ; Campus de la Transition) a fait l’objet d’une visite terrain combinant participation observante et une dizaine d’entretiens (soit 45 personnes interrogées au total). Les premiers enseignements de l’étude de faisabilité ont fait ressortir l’intérêt de poursuivre la démarche pour aboutir à une méthodologie applicable à tout écolieu désireux de mesurer son impact social. En 2021-2022, grâce à des financements du Fonds Social Européen et de l’ADEME, ce travail est poursuivi en élargissant le projet à 10 écolieux de la Coopérative Oasis. Sur chaque lieu, une visite terrain d’au moins deux jours a permis de mener une dizaine d’entretiens semi-directifs avec des habitants, voisins, représentants du territoire et partenaires. 

Résultats
Outre les données qualitatives qu’ils ont permis de recueillir, ces entretiens ont permis d’établir les seuils des différentes variables de l’indicateur en tenant compte des spécificités du contexte. Une fois l’indicateur de capacités relationnelles établi, un questionnaire a été construit et administré auprès d’un échantillon d’une centaine de personnes liées aux dix écolieux étudiés. Suite aux entretiens et observations menés en phase exploratoire, l’hypothèse a été formulée qu’une structure en 5 dimensions correspondant à des sphères de relations serait plus adaptée à l’évaluation du bien-vivre en écolieux que la structure initiale de l’indice de capacité relationnelle, dont les dimensions étaient thématiques (socio-économique, socioculturelle, socio-politique). La phase qualitative de l’étude a ensuite permis de faire émerger 20 critères pour l’indicateur, répartis dans 5 dimensions allant de la plus intime à la plus large Retrouvez l’étude ainsi que l’infographie et les 20 critères du RCI du Campus de la Transition ici https://campus-transition.org/recherche/indicateur-de-capacite-relationnelle/ : 

 
 
Source : Synthèse de l’étude RCI par le Campus de la Transition, 2022. 

Ainsi, l’étude du Campus de la Transition a permis de construire un indicateur mesurant la contribution des écolieux au lien social dont plusieurs ont pu se saisir pour leur propre démarche d’évaluation. Ce travail de recherche action alliant des méthodes mixtes dans le contexte d’éco-lieux est tout à fait réplicable pour celui des tiers-lieux.

Aussi, cet indicateur RCI fait actuellement l’objet d’une étude portée par l’ANCT et l’Ademe afin de le décliner dans le contexte des tiers-lieux dont les objectifs sont notamment de comprendre quelles sont les valeurs sociales portées au sein de tiers-lieux ruraux et périphériques, et d’établir un indicateur des capabilités relationnelles des tiers-lieux, afin qu’ils puissent s’en emparer.

Une recherche-action pour l’auto-évaluation des pratiques des communs dans les écolieux 

Contexte
La recherche-action, menée par Anne Lechêne membre de La Coop des Communs, co-fondatrice de l’écolieu La Ferme de Chenèvre (réseau Oasis), accompagnante de démarches coopératives et apprenantes, avec le soutien méthodologique de la Coop des Communs et le soutien de l’Ademe, Habitat Participatif France et le réseau et coopérative Oasis, a pour but de croiser les démarches des oasis et les théories sur les communs.
Deux questions de recherche sont explorées au sein de cette étude : 
• en quoi l’agir collectif des écolieux relève ou non du paradigme des communs, 
• en quoi une approche par les communs peut éclairer et “encapaciter” l’agir collectif de ces lieux dans leur contribution à la transition écologique et sociale.
Au travers de l’étude approfondie de 6 lieux membres du réseau, les intentions de cette recherche-action étaient de documenter les pratiques de communs dans un échantillon d’écolieux déjà sensibles à cette thématique, puis d’accompagner les acteurs dans une démarche réflexive et d’offrir une grille d’analyse et d’auto-évaluation des impacts des oasis ou éco-lieux.

Méthodologie
Dans son enquête, Anne Lechêne a choisi une approche qualitative en menant des entretiens semi-directifs et par des sessions d’observation participante à l’aide d’une grille de cinq thématiques : Faire communauté ; Agir ensemble et travailler ; Rapport à la propriété ; Rapport au territoire ; Autres qu’humains et générations futures. Par ailleurs, un atelier collectif d’auto-positionnement a permis le repérage par les collectifs de leurs points forts, points faibles, des zones de flou et zones d’invisibilité à partir de la grille des huit principes favorisants et des huit menaces sur les communs d’Elinor Ostrom.

 
Source : Résumé de la présentation de l’étude de Lechêne, A. (2022), “Ecolieux et et Communs, une recherche-action en 2022”, p. 14.

Résultats
Selon l’auteure, les résultats révèlent des points forts des écolieux ou oasis notamment : 
• sur la gouvernance, 
• le soin à la relation et aux communautés, 
• la capacité à tisser des liens à toutes les échelles d’action et à créer des communs inter-reliés, 
• la capacité à créer de nouveaux récits, 
• et de faire passer par l’art un nouvel “art de vivre”.  
Ces écolieux aspirent à – et mettent déjà en œuvre – des formes de sortie de la propriété privée exclusive et se réapproprient l’économie avec des pratiques d’économie substantive et des engagements solidaires et réciprocitaires. Ils recherchent les moyens de vivre dans le respect d’une soutenabilité forte. Ils sont fortement contributeurs au territoire après un temps d’apprivoisement réciproque. Ils sont organisés en communautés apprenantes. Cette enquête fait aussi ressortir des points faibles, des incomplétudes dans les pratiques de communs : des points internes d’amélioration des pratiques d’une part, et d’autre part des points bloquants relatifs à l’environnement institutionnel (pas de reconnaissance du travail au service du bien commun, cloisonnement du droit français, préférence pour la propriété privée exclusive, état d’esprit des partenaires locaux, des autorités, orientations des politiques publiques).
Ainsi, le cadre proposé aux membres des collectifs, en particulier sur la pensée théorique des communs et sa comparaison avec leurs situations vécues, favorise la réflexivité sur leurs actions. Par ailleurs, cette démarche méthodologique proche de l’éducation populaire, a pour but “d’encapaciter” les acteurs de ces lieux à s’auto-évaluer et de faciliter la construction d’une feuille de route par ces collectifs.

Conclusion

En conclusion, si la mesure des impacts sociaux, économiques et territoriaux de tiers-lieux est souvent requise dans le cadre d’évaluation des politiques publiques, la démarche et ses résultats peuvent se révéler également utiles pour les porteurs de projets notamment en quête de réflexivité, de retours sur les actions déployées ou encore d’éléments factuels en vue de convaincre des partenaires (médias, élus, financeurs, etc.). 
À l’issue de ce panorama, on discerne combien l’évaluation ou la mesure d’impact peuvent constituer des outils de dialogue entre acteurs publics, financeurs privés et tiers-lieux, des outils de représentations externes des impacts d’un projet, mais également des outils internes de réflexivité, de conduite de projet et d’accompagnement au changement. 
Les méthodologies varient en fonction du contexte, de l’intention initiale et des différentes parties-prenantes associées à la démarche, qui ne vont pas sans débats et controverses. Des enjeux que l’Observatoire des Tiers-Lieux va continuer à aborder. La série de grands entretiens réalisés par Charlotte Dudignac pour l’Observatoire des Tiers-Lieux avec Emmanuel Rivat (Agence Phare), Laura Douchet (Ellyx) et Thibault Pay (PIX’in), sont une première pierre pour tenter de décrypter ces débats pour les tiers-lieux, les acteurs publics qui les soutiennent et plus largement l’ensemble de leurs partenaires.

Crédit photo de couverture : Site de la ferme de Chenèvre