Laura DOUCHET (ELLYX) nous parle d’évaluation et d’impact

Ce grand entretien avec Laura Douchet est le premier d’une série à paraître à partir de l’automne 2024. À travers cette série, France Tiers-Lieux souhaite enrichir les débats et les controverses récurrentes autour de l’évaluation des tiers-lieux ; entre d’un côté, une évaluation encouragée par les pouvoirs publics, désireux de comprendre l’impact de leurs politiques de soutien, ainsi que par certains acteurs du mouvement tiers-lieux souhaitant légitimer leurs actions; et de l’autre, une vision plus critique, estimant que l’évaluation pourrait occulter, voire contrecarrer, la dynamique expérimentale, itérative et incrémentale propre aux tiers-lieux.

Laura Douchet est chercheuse associée de la coopérative Ellyx, une agence d’innovation sociale qui accompagne depuis 10 ans les innovations sociales de rupture, à travers notamment l’évaluation. Pour Laura, l’évaluation constitue une boussole pour se repérer dans le changement, d’autant plus précieuse pour les projets exigeants et complexes de transformation de la société. Elle pourrait même être un puissant levier de coopération. 

Les études d’impact se sont fortement développées ces dernières années. Sont-elles devenues les formes dominantes, voire exclusives d’évaluation, et si oui, comment expliquez-vous cet engouement ?

Laura Douchet : Rendre des comptes est un rapport entre les organisations que l’étude d’impact n’a pas inventé et il existe plusieurs façons de rendre compte. L’évaluation des politiques publiques se développe dès les années 60 mais c’est surtout à la fin des années 90 et des années 2000, en parallèle du développement des logiques projets, que l’enjeu de l’évaluation se structure et prend de l’ampleur. En France, dans le champ des politiques publiques, la Société Française de l’Évaluation est par exemple créée en 1999 pour contribuer au développement de l’évaluation et promouvoir son utilisation dans les organisations publiques et privées. 

La terminologie d’impact a émergé plus récemment autour des acteurs de la philanthropie, principalement dans le monde anglo-saxon, afin d’intégrer de manière très stratégique les enjeux des effets que l’on produit. C’est le développement dans les années 2000 de ce qu’on appelle la « Venture Philanthropy ».  

Mesurer son impact c’est chercher à avoir une objectivation des effets que l’on produit. En France, cette attention portée aux effets produits sur les problèmes identifiés s’est structurée il y a environ 15 ans, par l’intermédiaire de plusieurs types d’acteurs : le conseil supérieur de l’ESS, qui en donne une définition « L’impact social consiste en l’ensemble des impacts (évolutions, inflexions, changements, ruptures) des activités d’une organisation tant sur ses parties prenantes externes (bénéficiaires et/ou usagers et/ou clients) directes ou indirectes de son territoire et internes (salariés et/ou bénévoles et/ou volontaires), que sur la société en général. Dans le secteur de l’économie sociale et solidaire, il est issu de la capacité de l’organisation (ou d’un groupe d’organisations) à anticiper des besoins pas ou mal satisfaits et à y répondre, via ses missions de prévention, réparation ou compensation. Il se traduit en termes de bien-être individuel, de comportements, de capabilités, de pratiques sectorielles, d’innovations sociales ou de décisions publiques ». (CSESS 2011, p. 8)., l’ESSEC ou encore l’Avise, qui portent ce sujet à partir des années 2010. L’Avise a par exemple contribué à structurer et professionnaliser la communauté professionnelle des évaluateurs L’Avise  produit également des guides et des ressources pour mesurer son impact social. Voir dans la rubrique.. L’étude d’impact social est désormais un marché assez structuré et en développement, avec un certain nombre de cabinets spécialisés, mais également une grande variété de méthodes. La place grandissante prise par les évaluations est donc révélatrice de la façon dont on fabrique, on déploie et on mène les politiques publiques, et plus globalement les actions qui s’inscrivent dans l’intérêt général.  

La prise de conscience de la complexité de nombreuses problématiques et de leur caractère systémique peut-elle également expliquer le recours croissant aux approches d’impact, notamment par les tiers-lieux ?

L.D. : Si l’on s’en tient uniquement aux actions que les tiers lieux sont susceptibles de porter, ces enjeux sont potentiellement nombreux : fracture sociale, fracture générationnelle, hausse des discriminations et des inégalités. De nombreux tiers-lieux mènent un travail exigeant pour réfléchir à leur accessibilité, à leur inscription dans les quartiers dans lesquels ils s’implantent, à leur inclusivité. Il y a l’urgence climatique et là aussi les tiers-lieux ont des choses à dire et à faire valoir. Nous pourrions également parler de la fracture numérique, de l’accessibilité des services publics, de la dévitalisation des zones rurales, etc. Pouvoir expliciter les contributions des tiers-lieux sur l’ensemble de ces problématiques est un enjeu fort auquel la mesure d’impact social peut répondre.

Ensuite, une culture de la preuve s’est progressivement diffusée et au regard de tous les enjeux auxquels nous sommes confrontés, les promesses non tenues ou prises à la légère sont de moins en moins entendables. Pour autant, il est difficile d’apprécier des contributions qui s’opèrent souvent sur des sujets très fins et très sensibles. Comment s’assurer que l’on permet à des personnes de reprendre confiance en elles ? Que l’on permet de changer le regard sur des situations complexes ? Que l’on contribue effectivement à renforcer les liens entre les personnes et les organisations ? Ces points sont bien ce qui compte, mais ils sont difficiles à compter ! Les études d’impacts proposent des leviers pour travailler sur ces sujets, idéalement avec finesse et respect : j’espère que c’est aussi pour cela qu’elles se développent, parce qu’elles apportent de l’outillage et des méthodes. 

Et enfin, il ne faut pas être naïf : le développement de l’évaluation d’impact est probablement également dépendant d’une concurrence accrue sur les financements. C’est une attente de plus en plus systématique des financeurs, qu’ils soient acteurs publics locaux ou européens ou philanthropiques. Et en période de tension sur les financements publics, choisir ce qui sera financé, et ce qui ne le sera pas, est crucial.

Que répondez-vous à ceux qui pensent que les études d’impact sont scientifiquement irréprochables et reflètent parfaitement la réalité ? 

L.D. : Pour tout un courant fonctionnaliste, qui s’inscrit dans une rationalité technique et scientifique, l’évaluation se doit d’être imparable, neutre et reposer sur les fondements les plus robustes. Or le terme d’étude d’impact, ou d’évaluation d’impact renvoie déjà à près de 250 outils de mesure ! Il existe des approches pionnières comme celles d’Hélène Duclos, qui a apporté une rigueur méthodologique, ouverte sur les méthodes qualitatives, aux organisations de l’économie sociale et solidaire (ESS), ainsi qu’aux secteurs sanitaire et social. D’autres cabinets se spécialisent dans les évaluations économiques et s’appuient sur des outils de monétarisation spécifiques de l’impact tels que le Social Return On Investment (SROI). Pour se repérer, il est possible de distinguer ces approches mécaniques, qui mettent en rapport l’intention d’un porteur de projet, les actions qu’il déploie à des résultats et des impacts qui peuvent leur être directement attribués, d’approches plus politiques. Je serais vigilante sur les approches trop mécaniques, car la réalité est souvent plus complexe. Des impacts peuvent être liés à plusieurs actions, à leur combinaison, voire à des facteurs extérieurs qui ne sont pas pris en compte. Ensuite, il y a des approches qui vont donner la priorité à la scientificité de la démarche et vont chercher à isoler les effets spécifiques générés par une action. Mais ce sont des démarches souvent très lourdes à porter pour une organisation ou un collectif. Les courants de pensée plus politiques me semblent les plus intéressants aujourd’hui dans l’impact social, notamment parce qu’ils positionnement la transformation visée comme guide à l’évaluation : l’effort d’objectivation s’opère par rapport à un projet donné, une promesse, un changement souhaité et non en faisant appel à un référentiel externe. Ce sont des démarches qui vont d’abord réfléchir à la théorie du changement La théorie du changement est un support qui peut prendre différentes formes. On parle de théorie du changement, de théorie de la transformation ou encore de chemin du changement. Ces outils permettent de s’interroger et d’expliciter les finalités d’une organisation, en les mettant en regard du diagnostic qu’elle porte et des actions prioritaires qu’elle envisage pour passer du diagnostic à l’ambition visée et réaliser ce changement. spécifique au projet, la question de l’outillage ne vient que dans un second temps.  

Il n’existe donc pas un outil unique pour réaliser des études d’impact. C’est un exercice exigeant, mais qui laisse des marges de manœuvre. 

L.D. : Oui, et pour illustrer cela, il est intéressant de se pencher sur les points de tensions ou l’expression de besoins contradictoires qui se cristallisent parfois entre différentes approches des tiers-lieux. J’ai déjà entendu des organisations de l’économie sociale et solidaire reprocher à des porteurs de tiers-lieux éphémères de ne pas suffisamment tenir compte de leurs besoins d’accès à des locaux abordables, mais également pérennes, pour se développer.  Là encore, la démarche d’étude d’impact peut permettre de travailler assez finement cette critique. Les tiers-lieux éphémères pourront renforcer leur attention sur les effets de dépendance et les alternatives à trouver pour des acteurs en fonction de leurs besoins. L’enjeu sera peut-être de s’associer à des démarches autres pour faciliter l’accès à des locaux pérennes pour les acteurs de l’ESS qui en ont besoin, ou encore de réfléchir aux autres modalités de contribution à la pérennisation des organisations de l’ESS. Les effets significatifs de ce tiers-lieu sont peut-être ailleurs et pour les mettre en évidence et les approfondir, il faut dans un premier temps les expliciter. On voit bien que la mesure d’impact est avant tout un travail sur ce que l’on souhaite faire, sur son projet stratégique. La façon dont on travaillera cela ne débouchera pas sur la même démarche de mesure d’impact, ni sur le même projet pour le tiers-lieu. La définition des impacts attendus est donc idéalement une élaboration collective, impliquant les différentes parties prenantes du tiers lieu. 

“A l’idéal, nul n’est tenu”… Peut-on tout évaluer? 

L.D. : L’écrivain Jorge Luis Borges attribuait à un Empire fictif l’ambition de réaliser une cartographie du monde à l’échelle 1:1. C’est une démarche impossible, qui conduit à faire correspondre point par point et donc à confondre le territoire et la carte qui le représente. Cette fable est éclairante pour les études d’impact. Dans une forme d’emballement méthodologique, on peut être tenté de tout mesurer, de recourir à tous les indicateurs possibles. Or, c’est rarement possible, certains indicateurs ne pouvant être renseignés de manière robuste, faute de moyens. C’est pour cette raison que je recommande de s’inspirer des guides et des référentiels qui existent, – comme celui conçu par l’atelier Approches L’évaluation des effets sociaux des lieux hybrides : https://www.urbanisme-puca.gouv.fr/IMG/pdf/vf_guide_a4_27062022.pdf qui propose 15 critères d’analyse des effets sociaux et urbains des lieux hybrides, parmi lesquels des effets individuels, des effets collectifs, mais aussi des effets sur le territoire et sur le projet urbain – mais sans chercher à tout prix à les appliquer à l’identique, car vouloir tout mesurer peut se révéler très lourd. 

“L’évaluation est un objet ambigu qui peut servir aussi bien de moyen de surveillance, de normalisation, que de vecteur de création de connaissance, de coopération et de progrès social.”

L.D. : En résumé, les études d’impact doivent être réalisées avec discernement, en choisissant les indicateurs les plus pertinents et faisables au regard des enjeux que l’on souhaite éclairer, des enjeux que l’on souhaite porter et des moyens que l’on peut y consacrer.

J’ajouterais enfin que l’ampleur des efforts fournis par la société civile pour réaliser des études d’impact doivent être davantage reconnus, et intégrés par les financeurs dans le financement des projets, s’ils sont assortis d’une exigence d’évaluation. Ces études coûtent cher, parfois avec des prestations entre 15 000 et 30 000 euros, sans compter le temps interne passé pour cadrer le projet, interroger les salariés, les bénéficiaires, etc. 

Vous considérez l’évaluation comme une démarche volontaire au service de la stratégie. Bien qu’aujourd’hui partagée, cette position ne fait pas l’unanimité : un certain nombre d’acteurs de terrain rejettent les évaluations, qu’ils considèrent comme un exercice imposé et normalisant. Qu’en pensez-vous ?

L.D. : L’évaluation est un objet ambigu qui peut servir aussi bien de moyen de surveillance, de normalisation, que de vecteur de création de connaissance, de coopération et de progrès social. Une perspective intéressante pour aborder ce débat est de considérer l’évaluation avant tout comme un objet de relation entre des acteurs aux attentes diverses.

Prenons l’exemple d’un financeur public : il a la responsabilité de s’assurer que l’argent public est utilisé de manière efficace et utile. C’est une attente légitime et il est normal et sain que les politiques publiques soient évaluées. Vivre dans un État qui n’évaluerait rien ouvrirait la porte à tous les abus et formes de corruption possibles. 

Quant à la société civile, elle va chercher à produire des changements et à agir sur des problèmes complexes tels que l’accès aux droits, la lutte contre les discriminations, la revitalisation des territoires, le renforcement du pouvoir d’agir ou encore la précarité alimentaire. L’évaluation lui est donc indispensable pour identifier les effets de bord, c’est-à-dire les conséquences – positives ou négatives – inattendues de ses actions. Je vous donne un exemple d’effet de bord :  une meilleure formation des jeunes aux enjeux de transition écologique peut les conduire à des formes d’éco-anxiété. Ils seront plus formés, mais paradoxalement plus désespérés. Une fois qu’on le sait, que met-on en place pour écouter cette éco-anxiété et intégrer cet enjeu dans la formation ? 

L’évaluation est également une occasion de clarifier et de s’accorder sur les changements que l’on souhaite voir advenir, c’est avant tout un espace de travail sur le sens de sa démarche. Et si l’on est conséquent dans ce travail, on se rend souvent compte qu’il est impossible d’exiger d’une seule structure qu’elle réponde à elle seule à la résolution d’un problème social. La résolution de ce problème dépend bien souvent de la capacité d’une diversité d’acteurs à reconnaître ce problème, à débattre de leurs lectures de ce problème et à agir à la mesure du pouvoir qu’ils ont d’agir

Il me semble donc que le rejet des évaluations témoigne plutôt d’une relation dégradée, marquée par une profonde défiance et une absence de dialogue. C’est particulièrement frappant lorsque des évaluations, initialement non demandées par les financeurs, deviennent soudainement exigées. Cette évolution est parfois le signal que les parties-prenantes ne perçoivent ou ne partagent plus le sens du projet. Ces situations sont souvent très mal vécues, et les évaluations deviennent alors le symbole d’une dégradation de ces rapports, qui ne reposent plus sur la confiance et la perspective de déployer des coresponsabilités et du commun entre les différentes parties prenantes. Alors que justement, l’évaluation peut être l’occasion de retrouver un espace de dialogue sur le fond du projet, ses finalités, qui peut avoir perdu en clarté et en partage avec le temps.

Il peut être également intéressant d’ajouter que le rejet de certaines évaluations n’est pas illégitime. Des démarches ex-post, qui ne permettent pas sérieusement de travailler sur le sens de la démarche et qui n’ont qu’une vocation de sanction, pour dire « c’est bien » ou « ce n’est pas bien », ne sont pas très intéressantes, ni très utiles. Il en va de même pour les démarches purement communicantes, qui conduisent au soupçon de green washing ou de social washing. A l’inverse, construire une démarche évaluative que l’on déclenche avant le démarrage d’un projet peut permettre d’en clarifier les intentions et d’accompagner le pilotage et le partage de la démarche. 

Il n’y aurait donc rien à craindre des évaluations ?

L.D. : Je pense surtout qu’il faut craindre les relations dégradées entre financeurs et financés.  

Si les financeurs reconnaissent la qualité des actions menées par l’association tout en étant conscients de ses légitimes limites à résoudre seule des problématiques aussi complexes, ils pourront accueillir les zones d’ombres et les effets de bord comme des sources d’apprentissage. Dans ce contexte, il sera possible d’aborder des questions difficiles mais essentielles, et c’est à ce moment-là que les relations commenceront vraiment à devenir enrichissantes. Ce « moment-là » est celui qui permet de passer d’une logique d’impact individuelle à une logique contributive, car on reconnaît que pour résoudre des problèmes complexes, les actions d’une seule organisation, aussi vertueuse soit-elle, ne peuvent suffire : cela dépend de la capacité de parties prenantes variées à coopérer et à se positionner comme co-responsables de ce problème et de sa résolution. Ce point est particulièrement clef pour tous les tiers-lieux qui interrogent la fabrique de la ville, et dessinent des voies nouvelles qui impliquent aussi bien les pouvoirs publics que les aménageurs, les acteurs du secteur culturel, les acteurs de l’éducation populaire, etc. 

Ensuite, toute démarche de mesure d’impact social ne s’adresse pas forcément à ses financeurs. On peut avoir besoin de le faire pour soi ou pour mobiliser autour de son projet pour d’autres raisons que celles du financement. Ce travail mené en interne peut se révéler tout aussi exigeant et difficile et conduire à identifier des limites dans sa démarche, à réinterroger son projet. Mais l’évaluation dans ce cas est-elle vraiment plus à craindre que la perte de sens, l’essoufflement, voir le fait de s’investir parfois énormément dans une démarche dont les effets sont faibles ou non partagés ?     

L’évaluation – à la fois perçue et pratiquée- serait ainsi révélatrice de l’état des relations entre les acteurs. Pourrait-on donc, à contrario, considérer les évaluations comme le point de départ d’une nouvelle coopération entre acteurs publics, privés et société civile ?

L.D. : Un grand oui.

Au fond, l’un des grands risques des études d’évaluation est de ne servir à rien. A l’issue de cette démarche, les financeurs se retrouvent avec un rapport. Qu’en feront-ils ? Comment vont-ils le recevoir ? Ce rapport va-t-il leur parler, produire des répercussions concrètes, faire levier pour agir encore plus efficacement sur son écosystème ? Rien de moins sûr. Pour éviter cet écueil, il faudrait pouvoir inscrire toute mesure d’impact dans un travail collectif de construction d’une vision commune, ou au moins de dialogue; et lorsqu’il s’agit de démontrer à ceux qui vous financent qu’ils ont raison de le faire, il est indispensable de construire la démarche en dialogue avec eux. 

Mesurer son impact social n’est finalement qu’un levier, une ressource méthodologique dans une approche stratégique plus large qui doit l’orienter, sans quoi le risque est de se retrouver avec un beau rapport, mais peu de leviers concrets pour agir sur son écosystème. Or ces leviers se travaillent dès le démarrage d’une démarche d’étude. 

Vu sous cet angle, la mesure d’impacts participe d’une mise en réseau d’acteurs et d’une production de sens sur des sujets de société, dans une finalité de bousculer, d’expliciter et de faire bouger des conceptions, des pratiques, des gouvernances. Je pense en effet que l’évaluation peut permettre de créer des espaces de dialogue, où construire une forme de responsabilité collective autour d’un objet donné. Par exemple, le travail de définition des impacts sociaux attendus peut mobiliser les différentes parties prenantes d’un tiers-lieu, en les questionnant tout simplement. C’est vrai, l’évaluation renvoie à des univers très techniques qui tendent à exclure les usagers au profit des experts, mais ce n’est pas une fatalité.  

J’évoquais le problème pernicieux de la concurrence sur les financements : mesurer l’impact social peut être un vrai levier de dialogue notamment pour s’assurer qu’autour de la table, chaque partie prenante est bien consciente des choix politiques qu’il y a derrière les indicateurs. Vus sous cet angle, ces indicateurs peuvent contribuer à construire un espace commun autour de ce qui peut être considéré comme prioritaire ou non. Par exemple, va-t-on s’en tenir au nombre de bénéficiaires ? Ou bien allons-nous également tenir compte de la capacité à travailler avec des publics spécifiques ?  

L’évaluation peut permettre aux tiers-lieux et plus globalement à la société civile de reconquérir du pouvoir d’agir, parce qu’elle est un levier pour prendre l’initiative et pour construire un cadre autre que celui amené par ses parties prenantes externes, en premier lieu desquels les financeurs. C’est l’occasion de mobiliser ses financeurs pour créer un espace de discussion dans lequel on parle de son projet de manière approfondie. L’évaluation portée par la société civile est ainsi une manière fine de déjouer les pièges des cases imposées. L’évaluation pourrait ainsi permettre de repolitiser les sujets, ce qui va à l’encontre d’une vision très fonctionnaliste des évaluations, qui existe évidemment, mais contre laquelle l’évaluation peut constituer le remède. A condition d’être transparent bien sûr, rigoureux dans son approche et explicite sur ses limites. 

Cet article fait partie d’une série de trois articles autour de l’impact et de l’évaluation en tiers-lieux. Retrouvez le deuxième entretien de Charlotte Dudignac avec Thibault Pay, directeur de l’association PIX’in, ainsi que son troisième entretien avec Emmanuel Rivat de l’Agence Phare !