Ces dernières années, des progrès significatifs ont été réalisés dans le domaine de la mesure de l'impact social, notamment grâce à d'importantes contributions de l'EVPA (European Venture Philanthropy Association) et à son Guide pratique pour la mesure et la gestion d'impact (Guide EVPA)1, à des initiatives européennes et internationales telles que les recommandations du sous-groupe du GECES (Groupe d'experts de la Commission européenne sur l'entrepreneuriat social) sur la mesure de l'impact ainsi qu'au Groupe de travail spécifique sur la mesure de l'impact, établi dans le cadre de la Taskforce du G8 sur l'investissement à impact social.
À l'EVPA, nous avons commencé à élaborer notre Guide en 2011 afin de répondre aux besoins de nos membres – parmi lesquels figurent des fondations, des fonds de venture philanthropy et des investisseurs à impact social – qui désiraient davantage de clarté en termes de mesure de l'impact. Nous avions constaté que le problème n'était pas lié au manque d'information, mais plutôt à l'absence de lignes directrices sur la façon d'interpréter les informations relatives à la mesure de l'impact. C'est pourquoi nous avons entrepris une méta-analyse de près de mille approches différentes figurant dans diverses ressources telles que la base de données TRASI2établie par le Foundation Center, basé aux États-Unis. En s'appuyant sur les contributions d'un groupe de vingt-sept experts constitué d'organisations de venture philanthropy, de professionnels de l'investissement à impact social, de consultants, d'universitaires et de représentants d'autres organisations impliquées dans la mesure de l'impact, l'EVPA a sélectionné, parmi toutes ces approches, celles qui étaient les plus fréquemment utilisées et les a condensées en une méthodologie en cinq étapes. L'objectif était de déterminer les points communs existant entre les différentes approches afin de proposer des recommandations claires sur la façon de mesurer l'impact.
Nous avons élaboré les définitions utilisées dans le Guide EVPA en nous basant sur la chaîne de valeurs de l'impact, celle-ci permettant d'établir clairement les différences entre ressources (inputs), produits (outputs) (résultats tangibles de l'activité), résultats (outcomes) (changements résultant de l'activité) et impact.
Tableau
Travail planifié et résultats attendus par l'organisation à finalité sociale
| Travail planifié | Résultats attendus | |||
| Ressources (inputs) | Activités | Produits (outputs) | Résultats (outcomes) | Impact |
| Ressources (en capital, humaines) investies dans l'activité | Actions concrètes menées par l'organisation | Produits tangibles issus de l'activité | Changements résultant de l'activité | Résultats ajustés de ce qui serait advenu de toute façon, des actions des autres et des conséquences inattendues |
| Coût (en €), nombre de personnes, etc. | Développement et mise en œuvre de programmes, construction de nouvelles infrastructures, etc. | Nombre de personnes concernées, unités vendues, etc. | Effets sur la population cible (par exemple, accès accru à l'éducation) | Prise en compte dans les résultats (attribution) des actions de tiers (programmes alternatifs, par exemple, cours en plein air), des conséquences inattendues, etc. |
| Investissement de 50 000 €, 5 personnes travaillant sur le projet | Achat d'un terrain, conception et construction d'une école | Construction d'une nouvelle école de 32 places | Étudiants disposant d'un accès accru à l'éducation : 8 | Étudiants ayant accès à l'éducation, sans compter ceux ayant des alternatives : 2 |
Source : tableau élaboré par l'EVPA à partir des données du Double Bottom Line Project de la Fondation Rockefeller.
Nous avons utilisé les définitions suivantes :
ressources (inputs) : toutes les ressources, qu'elles soient financières ou humaines, investies dans les activités de l'organisation ;
activités : les actions, les tâches et les travaux concrets menés par l'organisation afin de générer des rendements et des résultats et d'atteindre ses objectifs ;
produits (outputs) : les produits et les services tangibles résultant des activités de l'organisation ;
résultats (outcomes) : les changements, les bénéfices, les connaissances ou autres effets (à la fois à court et à long terme) découlant des activités de l'organisation ;
impact social : l'imputation des activités d'une organisation à des résultats plus larges et à plus long terme.
Afin de mesurer l'impact social de façon précise (en termes académiques), il convient d'ajuster les résultats en fonction (1) de ce qui serait advenu de toute façon (« effet d'aubaine »), (2) de l'action des autres (« attribution »), (3) de la probabilité que les effets de l'intervention initiale diminuent dans le temps (« diminution »), (4) du fait que la situation d'origine peut être déplacée ailleurs ou que les résultats peuvent déplacer d'autres résultats positifs potentiels (« déplacement »), et (5) des conséquences inattendues (qui peuvent être positives ou négatives).
La recommandation de l'EVPA en matière de mesure de l'impact social est d'évaluer les résultats en tenant compte (et, si possible, en ajustant en fonction) de ces facteurs qui contribuent à augmenter ou à diminuer l'impact de l'organisation, plutôt que de chercher à obtenir des données chiffrées très spécifiques en termes d'impact.
Notre point de départ pour le Guide a été de concevoir une méthodologie reconnue de mesure de l'impact afin qu'une organisation de venture philanthropy ou un investisseur à impact social puisse mesurer l'impact de son investissement3 dans une organisation à finalité sociale. Le Guide s'est concentré sur deux niveaux : comment mesurer et gérer l'impact généré par des investissements spécifiques (niveau de l'organisation à finalité sociale) et dans quelle mesure une organisation de venture philanthropy ou un investisseur à impact social contribue à cet impact (niveau de l'organisation de venture philanthropy/de l'investisseur à impact social). L'objectif était de réaliser un « manuel » de la mesure de l'impact et qui représente bien souvent ce dont les organisations de venture philanthropy et les investisseurs à impact social en général ont le plus besoin pour se lancer. L'analyse des méthodologies existantes pour mesurer l'impact et l'expérience de la coopération avec des organisations de venture philanthropy et des investisseurs à impact social ont montré que la plupart des méthodes et des instruments utilisés pour mesurer l'impact partagent un cadre général qui peut se résumer en cinq étapes, comme le montre le schéma infra.
Les cinq étapes de la mesure de l'impact social
Les étapes sont présentées dans un ordre séquentiel et nous recommandons aux organisations de venture philanthropy et aux investisseurs à impact social de respecter l'ordre de ces étapes. Néanmoins, dans la mise en œuvre, il sera possible de revenir à des étapes antérieures afin de les revoir, à mesure que l'on obtient de nouvelles informations et que l'on se familiarise avec le processus. Certaines organisations de venture philanthropy et certains investisseurs à impact social pourraient trouver utile de suivre chacune des étapes sur le plan théorique avant de les mettre en pratique.
Au cours de nos travaux, nous avons découvert que l'aspect le plus important de la mesure de l'impact n'était pas l'obtention d'une valeur réelle ou de données chiffrées à la suite de cet exercice, mais l'adoption d'une approche d'impact par l'organisation, de sorte que l'impact devient partie intégrante de l'ensemble du processus de gestion ou d'investissement. En entreprenant selon cette méthode la mesure de l'impact et en tirant des leçons de celle-ci, une organisation peut œuvrer plus efficacement à la production d'un impact social. C'est pourquoi nous sommes passés d'une approche qui n'envisageait que la mesure de l'impact à une approche qui tenait également compte de sa gestion.
Lorsque le Guide était en cours de finalisation, la Commission européenne a mis en place son sous-groupe sur la mesure de l'impact afin qu'il la conseille sur le thème de la mesure de l'impact social. L'EVPA a participé au sous-groupe (et au GECES) et a présenté les cinq étapes du Guide à l'occasion de l'une des réunions. Le GECES a débattu de l'approche EVPA – parmi beaucoup d'autres, par exemple le retour sur l'investissement social (SROI – social return on investment), la comptabilité sociale et les tableaux de bord prospectifs – afin de développer une approche transnationale concertée regroupant plusieurs angles de vue et qui soit pertinente aux fins du règlement sur les fonds d'entrepreneuriat social européens (EuSEF – European social entrepreneurship funds). Les experts du sous-groupe ont convenu que la norme européenne pour mesurer l'impact devrait être fixée au niveau du processus (en adoptant les cinq étapes de l'EVPA) et non au niveau des indicateurs. Les indicateurs ne peuvent être normalisés qu'au niveau du secteur social et ils doivent être choisis conformément à leur pertinence vis-à-vis de l'organisation sociale mesurant l'impact. La norme européenne a été officiellement adoptée en juin 20144 et le rapport peut être téléchargé gratuitement5.
Le processus standard identifié implique cinq étapes (conformes aux cinq étapes présentées par l'EVPA dans son Guide) :
identifier les objectifs des différentes parties impliquées et du service qui est mesuré ;
identifier les parties prenantes : quel est le rôle de chacune et quels sont leurs intérêts ;
mettre en place une méthode de mesure appropriée : l'entreprise sociale planifie son intervention et prévoit comment l'activité permet d'atteindre les résultats et l'impact dont les bénéficiaires et les parties prenantes ont le plus besoin. Ce lien entre activité et impact correspond à la théorie du changement adoptée par l'entreprise sociale. Cette dernière décide de cela et établit la méthode de mesure la plus pertinente pour l'expliquer et l'impact atteint, en accord avec les principales parties prenantes ;
mesurer, valider et estimer : évaluer si les résultats visés ont bien été atteints en pratique, s'ils sont visibles par le bénéficiaire et s'ils sont profitables à ce bénéficiaire ;
reporting, apprendre et améliorer : à mesure que les services sont rendus et que les mesures de leur efficacité émergent, de sorte que ces résultats soient diffusés régulièrement et clairement aux acteurs internes et externes.
La méthodologie commune décrite ci-dessus est pertinente à la fois au niveau des investisseurs ou des fonds et au niveau des entreprises sociales. À ces deux niveaux, elle doit prendre en compte le risque que les résultats à impact social ne soient pas atteints, le risque que des dommages sociaux (résultats négatifs non prévus) surviennent et le risque que l'équilibre financier visé ne soit pas obtenu.
À chacune des cinq étapes, les parties prenantes identifiées dans le processus seront impliquées. L'entreprise sociale comme le gestionnaire de fonds devront réfléchir au meilleur moyen de communiquer et de coopérer avec elles, et devront également expliquer comment cette coopération est réalisée. Cet aspect est traité plus en détail dans le rapport.
Un autre développement majeur pour notre secteur a été l'étude conduite par le Groupe de travail sur la mesure de l'impact (WGIM – Working Group on Impact Measurement) établi dans le cadre de la Taskforce G8 sur l'investissement à impact social. Le WGIM était composé d'experts originaires des pays du G8 (plus tard, du G7) ainsi que de représentants de la Commission européenne et de l'OCDE (Organisation de coopération et de développement économiques). Le WGIM s'est appuyé sur les travaux de l'EVPA et du GECES et les a élargis en y incorporant des étapes spécifiques pour la collecte et l'analyse de données. Il a également fourni une vision pour le futur de la mesure de l'impact pour les investisseurs à impact social, en prédisant un système standardisé similaire aux pratiques de la comptabilité financière.
Les principes clés qui sont ressortis de ces travaux, qui devraient dorénavant guider la méthode de mesure de l'impact des investisseurs à impact social, sont les suivants :
la mesure de l'impact doit être pertinente pour l'organisation qui procède à la mesure, afin qu'elle devienne partie intégrante de son système de gestion et l'aide à améliorer son travail visant à obtenir davantage d'impact. Ce principe implique que les indicateurs de l'impact ne doivent pas être définis selon une logique top-down par celui qui finance, mais plutôt par l'entreprise sociale qui est financée (si nécessaire, conseillée par celui qui finance). Les données relatives à l'impact qui sont requises par celui qui finance – mais qui ne sont pas indispensables à la gestion de l'entreprise sociale – devraient être collectées par celui qui finance ou, le cas échéant, ce dernier devrait fournir les ressources nécessaires à leur obtention ;
la mesure de l'impact doit également être proportionnée à l'organisation dont il est question, en gardant à l'esprit qu'il s'agit d'un moyen, et non d'une fin en soi.
Par conséquent, nous pouvons envisager que la mesure de l'impact devienne plus sophistiquée à mesure que l'entreprise sociale grandit et se développe, et le niveau de données nécessaires devrait augmenter en proportion.
De plus en plus, les investisseurs à impact social développent leur propre théorie du changement, avec des objectifs spécifiques et mesurables quant au changement social qu'ils désirent obtenir. Cette théorie du changement est atteinte en investissant dans des organisations à finalité sociale sélectionnées qui permettent au changement social de survenir. Bien souvent, les objectifs de ceux qui financent sont fixés à un niveau plus systémique et plus élevé que ceux de leur bénéficiaire, voire chaque organisation à finalité sociale. Mesurer l'impact au niveau de celui qui finance impliquerait donc d'autres types de mesures que celles utilisées au niveau du bénéficiaire. Par exemple, un pourvoyeur de fonds dont la théorie du changement implique d'améliorer le niveau d'éducation d'un groupe d'âge et d'une région spécifique dans un pays donné peut atteindre ses objectifs en investissant dans des écoles particulières, mais également en soutenant des organisations de défense à but non lucratif qui s'attachent à faire évoluer les programmes scolaires, et en investissant dans des entités de microfinancement qui fournissent aux parents les flux de revenus qui leur permettent d'envoyer leurs enfants à l'école. Il serait impossible pour ce pourvoyeur de fonds de mesurer son impact en agrégeant les indicateurs de ces investissements très différents. Au lieu de quoi, il lui faut mesurer son impact en trouvant des indicateurs qui reflètent la façon dont le niveau d'éducation au sein de la population cible évolue dans le temps. Il devrait également chercher à mesurer la valeur du soutien qu'il apporte aux organisations bénéficiaires afin de comprendre sa contribution dans les résultats mesurés au niveau de celles-ci. Davantage de lignes directrices sont requises quant à ces pratiques émergentes et cette dimension devrait être abordée dans les études futures.
Des tentatives de standardisation des indicateurs de la mesure de l'impact social ont été faites dans les différents secteurs sociaux et à divers niveaux, laissant de la marge à une adaptation locale au niveau du projet. Il existe plusieurs bases de données (par exemple, IRIS – Impact Reporting & Investment Standards –, Global Value Exchange) ayant collecté des indicateurs de performance clés fréquemment utilisés. Des standards de reporting sont déjà en train d'être développés par des investisseurs à impact social en coopération avec les bénéficiaires dans de nombreuses régions d'Europe (par exemple, la norme Social Reporting Standard en Allemagne). Des instruments nouveaux et plus sophistiqués (par exemple, Sinzer, PULSE) ont été créés ou sont en cours d'élaboration afin d'aider les professionnels à mesurer et à gérer l'impact.
Pour conclure, puisque la méthode de la mesure et de la gestion de l'impact évolue et devient de plus en plus sophistiquée, nous ne devrions jamais perdre de vue l'objectif global de la mesure de l'impact : aider à la fois les pourvoyeurs de fonds et les bénéficiaires à produire davantage d'impact – tout en étant pertinente et proportionnée.