Puisque la finance sociale vise généralement à améliorer les résultats sociaux, les preuves et les mesures de ces résultats joueront un rôle important dans les projets de finance sociale. Le Comité s’est fait dire qu’une bonne mesure des résultats sociaux et un solide bagage de données probantes sont essentiels à l’utilisation des outils de la finance sociale et pourraient mener au bout du compte à des programmes sociaux plus efficaces. Toutefois, comme on l’expliquera plus bas, les témoins ont aussi décrit les défis associés à l’élaboration des instruments de mesure qui conviennent et à l’évaluation des résultats attribuables aux interventions de la finance sociale.

A. Amélioration des résultats sociaux

Siobhan Harthy a indiqué qu’une utilisation rigoureuse de mesures pour savoir si les résultats escomptés ont été atteints était essentielle pour garantir une utilisation efficace des ressources et rendre compte de l’utilisation des fonds publics[110]. De plus, quand on emploie les bonnes méthodes de mesure et d’évaluation, l’insistance sur les résultats sociaux pourrait permettre de se faire une meilleure idée des interventions et programmes qui fonctionnent[111].

En ce qui concerne les mesures qu’effectue actuellement EDSC, M^me Harty a indiqué que le Ministère possède les données et les compétences nécessaires pour mesurer les résultats, et qu’un modèle de mesure de ce genre pourrait être appliqué dans d’autres secteurs sans qu’il faille augmenter les ressources de manière considérable[112]. En outre, au sujet des capacités du Ministère relativement à la mesure des résultats, M^me Harty a souligné ce qui suit :

À titre d’exemple, dans ma direction, nous mesurons la pauvreté. Nous mesurons aussi les résultats sur le marché du travail. Nous avons une fonction de recherche qui nous permet de déterminer quels sont les facteurs de risque pour une personne susceptible d’obtenir de piètres résultats sur le marché du travail et pour un jeune adulte qui abandonne ses études secondaires ou postsecondaires. Il existe un vaste corpus de travaux de recherche ici et à l’étranger qui nous permet de mesurer ces choses[113].

Des témoins ont également indiqué qu’il serait avantageux de savoir quels programmes n’atteignent pas leurs objectifs, ou si certains résultats ont été observés, de manière à ce que l’on puisse cerner les ressources supplémentaires nécessaires[114].

Le Comité a appris que, nonobstant les avantages de la mesure des résultats, il existe des défis particuliers à cette approche. Certains témoins ont souligné qu’il faut plus de temps pour mesurer les effets sociaux qu’il en faut pour mesurer le rendement des programmes, et qu’il faut donc adopter une approche axée sur le long terme[115]. M. Jeffrey Cyr a souligné ce qui suit :

Il y a une tonne d’indicateurs que l’on peut utiliser pour mesurer les résultats à tous les niveaux, qu’il s’agisse de l’augmentation de la participation économique, de l’amélioration du niveau de scolarisation ou du degré d’adaptation sociale. Il y a moyen de le faire. Ce n’est pas sorcier à réaliser, ça demande seulement beaucoup d’effort. Il est donc très important d’élaborer les systèmes très consciencieusement, dès le départ[116].

Pour illustrer les défis associés à la mesure des résultats, M. Cyr a décrit un programme de leadership et indiqué qu’on ne peut déterminer facilement si ce dernier a effectivement permis de créer un leader. Il a souligné qu’il est difficile de mesurer ce type de résultats au cours de la période relativement courte du cycle gouvernemental habituel. Il a fait valoir qu’il est nécessaire d’établir un système de mesure longitudinale qui permettrait de définir les modifications à court, moyen et long terme ciblées[117]. De manière semblable, Tim Richter a indiqué qu’il serait nécessaire, pour mesurer des résultats, de faire un suivi auprès des personnes sur une certaine période pour déterminer s’ils parviennent ou non à se tirer du sans-abrisme[118].

Bien qu’il parlait des OIS en particulier, le professeur John Shields a relevé l’importance de mesurer les résultats plutôt que le rendement ainsi que les investissements considérables qui sont associés à cette approche :

Les données sont absolument indispensables. Pour savoir si les programmes seront efficaces, nous aurons besoin de beaucoup de données. Cela va nécessairement bien au-delà du nombre de bénéficiaires. Cela veut dire qu’il faut utiliser les statistiques d’organismes comme Statistique Canada, les relier à des projets, essayer d’évaluer les résultats, comme le taux de récidive, dans un contexte plus large comprenant divers autres facteurs ayant une influence au sein de la société. Cela nécessite un gros investissement, ne serait-ce que pour l’analyse et la collecte de données probantes. Les OIS posent un défi, mais je pense que la grande difficulté est l’évaluation des résultats des programmes[119].

Dans la même veine, James Mulvale de l’Université du Manitoba a fait valoir que les gouvernements devraient plutôt s’appuyer sur les recherches en cours pour définir des approches fondées sur les résultats et améliorer le modèle de finance publique actuel[120].

Des témoins ont ajouté que, pour mettre l’accent sur les résultats sociaux, il fallait comprendre non seulement les impacts quantitatifs, mais également les impacts qualitatifs, qui peuvent être plus difficiles à mettre en évidence du point de vue du rendement pour les investisseurs[121].

Au sujet des solutions aux problèmes liés à la mesure des résultats, certains témoins ont avancé que les initiatives de finance sociale pourraient cibler des projets qui donnent des résultats qui se prêtent mieux aux mesures, comme « [t]rouver du travail pour des personnes autrement inemployables, prévenir la récidive, trouver un logement pour des personnes qui autrement vivraient dans la rue[122] ». Toutefois, comme Andrew McNeill, du Syndicat national des employés et employées généraux du secteur public, l’a soutenu, la plupart des programmes sociaux sont influencés par de nombreux facteurs, de sorte qu’il est difficile de savoir si un programme particulier a eu l’impact social souhaité[123].

En effet, même dans le cas des résultats qui se mesurent facilement, il est souvent difficile d’établir des relations causales. Comme l’a expliqué Sharon Mayne Devine de l’Honourable William G. Davis Centre for Families, s’il est facile de déterminer le nombre de meurtres dans une région où se trouve un centre pour les victimes de violence, il est difficile de déterminer si la présence de ce centre a contribué directement à la prévention de crimes. Il faudrait beaucoup de ressources pour obtenir ce type de données[124].

Le Comité s’est fait dire que toutes les parties à un projet de finance sociale devraient participer au choix des résultats à mesurer[125]. Certains témoins ont dit que, une fois les résultats à évaluer choisis, la meilleure solution était de confier à un tiers indépendant le soin de voir si les résultats ont été atteints[126].

La Société de recherche sociale appliquée (SRSA), un organisme indépendant sans but lucratif de recherche sur la politique sociale, est un exemple de tiers indépendant. Tel que noté précédemment, EDSC a retenu les services de la SRSA pour évaluer de manière indépendante deux projets de finance sociale axés sur la formation en compétences essentielles, dans le cadre desquels « les investisseurs privés paient la formation au départ et sont remboursés par le gouvernement si la formation permet d’obtenir des résultats préétablis[127] ». À titre d’évaluatrice, la SRSA a défini le cadre de l’évaluation, mais a fait participer d’entrée de jeu les intervenants et les intermédiaires des projets. Des niveaux de référence ont été fixés en fonction de données provenant de programmes antérieurs de formation en compétences essentielles[128].

Les projets évalués par la SRSA illustrent les défis associés à la mesure des résultats sociaux. Dans le cadre des projets de formation en compétences essentielles susmentionnés, le remboursement dépend des gains de capacités de lecture et d’écriture, mesurées avant et après la formation. Ces gains sont utilisés comme une manière intermédiaire de mesurer les résultats sur le marché du travail. En effet, l’amélioration de la capacité de lecture et d’écriture est un résultat intermédiaire et non une mesure directe des économies tangibles pour le gouvernement[129].

B. Élaborer des mesures appropriées

Les mesures sont des outils permettant de définir et d’évaluer les résultats escomptés. Le Comité s’est fait dire qu’elles sont « importantes et […] doivent être définies dès le départ et permettre de démontrer la valeur ou les économies obtenues par le gouvernement[130] ».

Selon les témoins du Mowat Centre, les données actuellement disponibles pour les acteurs sur le marché de la finance sociale sont au mieux disparates. Ils ont ajouté qu’un rôle précieux que le gouvernement pourrait jouer serait d’« investir dans l’amélioration des données probantes et des mesures afin de tirer parti d’occasions prometteuses d’innover sur le plan des programmes et de soutenir l’élaboration à long terme de politiques axées sur des données probantes[131] ».

Un représentant du gouvernement de la Saskatchewan a indiqué que les outils permettant de mesurer les effets sociaux constituent un défi, plus particulièrement en ce qui a trait à la capacité de garantir qu’ils demeurent constants[132]. Adam Spence a expliqué que l’évaluation des effets comprend trois volets : la norme d’impact, le plan d’amélioration et les mesures appropriées.

Deuxièmement, au-delà de la norme, il y a aussi la question des paramètres. Il est important d’avoir des paramètres mesurables, c’est-à-dire des points de données qui pourront démontrer l’existence du changement au sein des entreprises et des organismes avec lesquels vous travaillez. Certaines méthodes de classification ou de conversion, notamment les rapports d’impact et les normes du réseau mondial de l’investissement d’impact, peuvent être utilisées à cette fin. Il en existe de nombreux exemples tirés d’entreprises et d’organismes sans but lucratif au Canada[133].

Certains témoins ont décrit les moyens qu’ils ont mis au point pour mesurer les impacts de leur travail. Par exemple, Vickie Cammack, de Tyze Personal Networks, a expliqué au Comité que son organisation envisage de « [mesurer] l’expérience de la personne, les résultats obtenus par celle-ci ainsi que l’efficacité économique. Il s’agit vraiment de trois aspects clés[134] ». Jeffrey Cyr a indiqué au Comité que son association a créé un système selon lequel les clients participent à une séance de consultation de 20 minutes au cours de laquelle on évalue leur situation par rapport à un résultat donné – dans le cas mentionné, il s’agissait de l’engagement et de l’aptitude à s’exprimer en public – à l’aide de différents indicateurs. Ces séances de consultation peuvent se répéter à différents moments afin de mesurer les changements[135]. En outre, Preston Aitken, de Enactus Canada, a expliqué ce qui suit :

Notre organisme a conçu sa propre échelle de mesure à partir des résultats de la recherche sur les cadres existants comme IRIS et le modèle des moyens de subsistance durables. Cette échelle de mesure s’est révélée d’une grande utilité, et nos équipes Enactus se servent d’un cadre et d’un langage communs pour décrire les résultats que nous obtenons. Nous sommes en mesure de compiler nos données à l’échelle nationale et de mieux les interpréter. Cependant, nos normes ne correspondent pas nécessairement à celles des autres organismes, car il n’existe pas de normes communes[136].

En plus des mesures liées aux premiers utilisateurs d’un projet de finance sociale donné, la mesure des effets sur la communauté en général peut s’avérer difficile pour les organismes. M^me Devine a souligné qu’il est difficile de mesurer les effets à grande échelle sur une communauté entière :

Quant aux répercussions de plus grande ampleur, il est difficile de mesurer certains de ces effets dans une très grande collectivité. Pour mener ce type d’étude d’impact, il faut aussi beaucoup d’argent et d’investissements. Parfois on nous demande d’effectuer ces mesures, mais sans nous fournir les ressources nécessaires pour mener le type d’étude ou le type de travail nécessaire pour démontrer cet impact. Au niveau local nous pouvons le démontrer, mais dans une vaste collectivité, [nous en sommes encore aux balbutiements][137].

Certains témoins ont affirmé qu’il serait nécessaire d’avoir des normes communes ou un mécanisme universel de mesure si on veut mesurer l’impact social au Canada et en faire rapport. Pareille norme nationale de mesure permettrait, a-t-on dit au Comité, de comparer les impacts d’après un même point de repère dans tout le pays[138].

Des témoins se sont aussi reportés à la base de données sur le coût unitaire du Royaume-Uni, qui donne le « coût » pour les contribuables de plus de 600 résultats sociaux. Comme l’a expliqué Tim Jackson :

Le Royaume-Uni a publié dans le site Web de son cabinet le coût de 600 résultats, qu’il s’agisse de ce qu’il en coûte pour permettre à une mère célibataire de garder son enfant ou du coût associé à l’incarcération d’un jeune de 16 ans ou à l’incarcération pour la troisième fois d’un adulte de 45 ans. Le gouvernement a essentiellement dit au secteur privé et aux fondations « Voilà ce que tout cela coûte aux contribuables. Si vous pouvez faire baisser ces coûts, faites-nous une offre par l’entremise d’une obligation[139]. »

Certains témoins ont dit que le gouvernement fédéral pourrait jouer un rôle semblable au Canada en fournissant une information uniforme sur la valeur pécuniaire de tels résultats. S’ils connaissent la structure des coûts des résultats sociaux, les intervenants qui s’intéressent au marché de la finance sociale pourraient évaluer la valeur financière d’une intervention selon l’angle des économies que réaliserait le gouvernement[140].

Le Comité a appris que les valeurs fondées sur les résultats sont particulièrement utiles à l’établissement d’ententes d’OIS. Par exemple, Kieron Boyle a fait valoir que le gouvernement du Royaume-Uni a appliqué des mesures fondées sur les résultats afin d’évaluer les coûts et les progrès d’une obligation à impact social de 30 millions de livres établie récemment et visant à prévenir le chômage chez les jeunes. En ce qui concerne l’établissement des coûts d’une intervention, M. Boyle a expliqué ce qui suit :

Cela a permis d’intervenir auprès des adolescents âgés de 14 à 17 ans pour améliorer des choses comme leur fréquentation scolaire et leurs notes, car nous savons qu’il y a une très forte corrélation entre ce genre de résultats chez les jeunes âgés de 14 à 17 ans et le risque qu’ils deviennent chômeurs à l’âge de 18 à 21 ans.

[…]

Nous avons fait beaucoup de couplage de données pour pouvoir dire que si vous atteignez tels résultats, quelle est la probabilité que vous aurez un travail ou que vous serez chômeur à l’âge de 18 ans? C’est parce que nous savons combien nous économisons lorsque quelqu’un travaille à 18 ans au lieu d’être en chômage. Nous avons pu établir un prix pour ces résultats chez les jeunes de 14 à 17 ans. Nous avons ensuite communiqué ces résultats au marché et ce sont surtout les entreprises sociales et les organismes du secteur social qui nous ont dit pouvoir atteindre l’objectif. Ils le font même par des méthodes dont vous avez parlé[141].

M. Boyle a également noté que le processus global de définition et d’évaluation des progrès par rapport à l’atteinte de résultats positifs pour cette OIS est « un processus précis et rigoureux selon lequel les gestionnaires publics examinent les résultats qu’ils cherchent à obtenir – les résultats qu’ils s’efforcent d’atteindre, la preuve de ces résultats et également le montant qu’ils sont prêts à payer pour ces résultats ». Plus particulièrement, il a souligné que « les premières obligations à impact social qui ont été émises […] font l’objet d’une évaluation approfondie qui permettra de voir quels sont les résultats à long terme pour ces jeunes[142] ».

Enfin, David Juppe a mis en garde le Comité contre l’utilisation du « coût fixe par cas » dans l’évaluation des économies. S’appuyant sur ses recherches sur les OIS, M. Juppe a indiqué que cette approche risque de surestimer les économies. Il a donné l’exemple du coût fixe par année de l’hébergement d’un détenu, qui comprend les coûts fixes liés à l’exploitation des installations et le coût variable lié à la nourriture et aux fournitures offertes au détenu[143]. En prévenant la détention d’une personne, on ne permet pas au gouvernement d’économiser l’entièreté des coûts fixes associés à cette personne puisqu’on ne cesserait pas d’exploiter l’installation en question.