INTRODUCTION

Une grande variété d’organisations utilisent des données statistiques : les gouvernements s’en servent pour prendre des décisions et suivre les résultats des programmes; les entreprises privées et les organisations non gouvernementales les utilisent à des fins de planification et de marketing; enfin, le milieu universitaire se sert des données dans les travaux de recherche.

Statistique Canada, l’organisme fédéral chargé de la statistique, poursuit deux objectifs principaux :

• fournir des renseignements et des analyses statistiques sur la structure économique et sociale du Canada;
• promouvoir l'utilisation de pratiques et de normes statistiques reconnues.

Afin d’atteindre ces objectifs, Statistique Canada a établi un Cadre d’assurance de la qualité et des Lignes directrices concernant la qualité, qui s’articulent autour de six dimensions : l’exactitude, l’actualité, l’accessibilité, la cohérence, la pertinence et l’intelligibilité.

Dans son rapport du printemps 2014, le Bureau du vérificateur général (BVG) fait connaître les résultats d’une vérification du rendement qui lui a permis de déterminer si Statistique Canada :

• évaluait la qualité de l’information clé qu’il génère sur les conditions socioéconomiques du Canada;
• vérifiait si les ressources sont utilisées de manière efficiente pour produire les produits de données socioéconomiques clés qui ont été sélectionnés;
• établissait l’ordre de priorité des produits de données socioéconomiques existants et potentiellement nouveaux en fonction des besoins des utilisateurs^[1]

Dans son examen, le BVG s’est concentré sur quatre produits de données :

• l’Indice des prix à la consommation;
• l’Enquête sur la population active;
• l’Enquête nationale auprès des ménages;
• l’Enquête sur l’emploi, la rémunération et les heures de travail.

Le Comité permanent des comptes publics de la Chambre des communes (le Comité) a tenu une audience sur cet exercice de vérification le 30 octobre 2014[2]. Le Comité a alors reçu les témoignages du BVG et de Statistique Canada. Le BVG a été représenté par Michael Ferguson, vérificateur général du Canada, John Affleck, directeur principal, et Colin Meredith, directeur. Statistique Canada a été représenté par Wayne Smith, statisticien en chef du Canada, et Stéphane Dufour, statisticien en chef adjoint, Services intégrés, et dirigeant principal des finances.

CADRE D’ASSURANCE DE LA QUALITÉ

Le Cadre d’assurance de la qualité est conçu pour que Statistique Canada puisse veiller à ce que ses données soient de qualité suffisante, eu égard à leur utilisation prévue. Le BVG a vérifié si l’organisme avait appliqué les six normes de qualité dans la réalisation des quatre produits de données retenus.

A. Exactitude

Statistique Canada définit l’exactitude comme étant la mesure dans laquelle l’information décrit correctement le phénomène qu’il est censé évaluer. Le BVG a constaté que Statistique Canada avait pris des mesures pour assurer l’exactitude de l’information figurant dans l’échantillon de données examiné. De plus, Statistique Canada a répondu aux changements observés dans la population échantillonnée, il a mis en place des plans d’échantillonnage, formé et supervisé le personnel chargé de la collecte des données, et créé et utilisé des indicateurs quantitatifs de la qualité des données[3].

Par exemple, afin d’atténuer les risques que l’abandon du questionnaire de recensement détaillé et obligatoire, en 2010, et l’introduction de l’Enquête nationale auprès des ménages, en 2011, faisaient peser sur la qualité des données, Statistique Canada a augmenté la taille de l’échantillon, qui est passée de 3 millions à 4,5 millions de ménages[4]. L’agence a aussi pris des mesures pour effectuer le suivi auprès des ménages qui n’avaient pas rempli le questionnaire. Les efforts ont visé des régions géographiques où l’on trouve une proportion élevée de sous‑groupes de population, par exemple, des ménages à faible revenu[5].

Michael Ferguson, vérificateur général du Canada, a expliqué la conclusion tirée par le BVG concernant l’exactitude : « Ils ont suivi toutes les étapes pour assurer l’exactitude; nous étions donc satisfaits de cet aspect particulier. Encore une fois, nous indiquons aussi qu’il y a eu des changements apportés à l’Enquête nationale auprès des ménages et que cela a fait en sorte que Statistique Canada a pris d’autres mesures[6]. »

Wayne Smith, statisticien en chef du Canada, a dit au Comité que les taux de réponse peuvent avoir deux effets sur la qualité des données : ils peuvent influencer la variabilité statistique des estimations et le biais de non‑réponse. M. Smith a reconnu qu’il aurait préféré que le taux de réponse à l’Enquête nationale auprès des ménages soit plus élevé, mais que le rajustement de la taille de l’échantillon, qui est passée de 20 à 30 % des ménages canadiens, a produit un nombre semblable de réponses; en fait, Statistique Canada a reçu environ 200 000 réponses de plus à l’enquête auprès des ménages de 2011 qu’au recensement national de 2006. La variabilité statistique des estimations ne pose donc pas de problème. En ce qui a trait au biais de non‑réponse, M. Smith a déclaré : « Essentiellement, nous avons conclu qu’il n’y avait pas vraiment de preuves appuyant les diverses affirmations faites au sujet de tous les groupes qui seraient sous‑représentés. Nous avons constaté l’existence d’un léger écart en ce qui concerne certaines données sur le revenu relatives aux familles à faible revenu. Nous l’avons précisé dans les documents que nous avons publiés en même temps que les données[7]. »

B. Actualité

L’actualité de l’information statistique renvoie à l’intervalle entre le moment auquel se rapporte l’information et la date à laquelle elle est diffusée. Le BVG a observé que Statistique Canada avait annoncé à l’avance les dates de publication des quatre produits de données[8]. Toutes les publications ont été diffusées aux dates prévues, sauf la troisième publication de l’Enquête nationale auprès des ménages, qui a été retardée de quatre semaines à cause d’une erreur de traitement des données[9].

À propos de l’actualité de l’information, M. Ferguson a indiqué : « Nous étions satisfaits de l’aspect lié aux échéances du cadre de qualité de l’organisme. Le seul élément que nous avons cerné était qu’une date de publication avait été ratée, mais ce n’était que de quatre semaines[10]. »

C. Accessibilité

L’accessibilité se définit comme étant la facilité avec laquelle l’utilisateur peut obtenir l’information. Le BVG a constaté que Statistique Canada rendait les données accessibles et qu’il comptait apporter d’autres améliorations. Il a aussi observé que Statistique Canada cesserait de publier les données dans des rapports et les afficherait plutôt sur l’Internet[11]. Des internautes ont cependant dit au BVG que le site Web de l’agence n’était pas convivial – le taux de satisfaction moyen s’élève à 67 %. Statistique Canada s’affaire à améliorer ce résultat en mettant au point un nouveau modèle de diffusion qui facilitera la recherche de données[12].

M. Ferguson a résumé les observations du BVG de la manière suivante : « Nous avons constaté que le ministère rendait bel et bien les données disponibles. Il utilisait davantage Internet. Il y avait des centres pour les chercheurs. Il avait cessé d’exiger des frais pour certains produits. Mais, encore une fois, il s’agit de l’aspect dont nous avons parlé, où certains utilisateurs ont dit qu’il était difficile de naviguer sur le site Web[13]. »

M. Smith a donné plus de détails au Comité sur ce que les utilisateurs pensent du site Web de Statistique Canada :

Il y a beaucoup d’insatisfaction à l’égard de notre moteur de recherche. S’ils inscrivent des mots clés, les gens n’ont pas l’impression qu’ils les mènent directement au genre d’information qu’ils cherchent. Ils trouvent que la structure selon laquelle il faut descendre dans la hiérarchie du site Web n’est pas commode et qu’elle utilise des termes qui ne leur sont pas familiers. On utilise actuellement cette information pour tenter de faire une refonte complète de notre site Web qui rendra la navigation beaucoup plus facile[14].

Il a ajouté plus tard : « En ce moment, nous avons plusieurs bases de données distinctes que les gens doivent consulter séparément. L’idée est de les fusionner en une seule, d’avoir une interface simple et directe, et de rendre le moteur de recherche plus réceptif aux besoins des gens[15]. »

D. Cohérence

La cohérence de l’information statistique reflète la mesure dans laquelle on peut réussir à regrouper cette information avec d’autres renseignements statistiques dans un cadre analytique général. Elle permet de comparer des données connexes pour une même période, de comparer le même type de données pour diverses périodes et de comparer les données canadiennes aux données internationales. Le BVG a constaté que Statistique Canada vérifiait la cohérence des produits de données sélectionnés et appliquait les normes, les définitions et les classifications utilisées à l’échelle internationale[16]. Le BVG a aussi comparé les données de multiples sources pour évaluer la cohérence de ses produits de données[17].

Statistique Canada a déterminé que le passage d’une enquête obligatoire à une enquête à participation volontaire avait réduit la comparabilité des données de l’enquête de 2011 par rapport à celles provenant du questionnaire détaillé du recensement de 2006[18]. Pour cette raison, Statistique Canada a recommandé aux utilisateurs de faire preuve de prudence lorsqu’ils comparaient les données[19].

M. Smith a maintenu que l’Enquête nationale auprès des ménages contenait de l’information utile :

Bien que les taux plus faibles aient entraîné une certaine érosion de la qualité des données, l’Enquête nationale auprès des ménages a tout de même produit une base de données robuste pour tous les niveaux de géographie et pour de nombreuses petites régions et populations. C’est rendre un bien mauvais service aux Canadiens que de chercher, comme certains l’ont fait, à les dissuader d’utiliser cette riche et précieuse source de données[20].

E. Pertinence

La pertinence de l’information statistique reflète la mesure dans laquelle cette information répond aux besoins des clients. Le BVG a constaté, à partir d’éléments de preuve, que les produits de données sélectionnés étaient largement utilisés par une variété d’utilisateurs[21]. Statistique Canada recueille des commentaires et de la rétroaction sur ses produits statistiques à l’aide de divers mécanismes, comme des comités consultatifs, des relations bilatérales et des rencontres avec les utilisateurs[22]. Le BVG a remarqué que Statistique Canada consulte surtout les gouvernements fédéral, provinciaux et territoriaux, au détriment du secteur privé, des municipalités et des organisations non gouvernementales[23]. Le BVG a donc recommandé à Statistique Canada d’obtenir, de consigner et d’analyser de façon continue la rétroaction des divers utilisateurs de ses données[24].

En réponse à cette recommandation, M. Smith a dit au Comité que « Statistique Canada documentera ce processus de sensibilisation de manière systématique et démontrera clairement la manière dont le processus est pris en considération dans la planification des programmes de l’organisme[25] ». Il a aussi noté qu’il rencontre régulièrement des organisations d’entreprises[26].

Le BVG a aussi constaté que les membres des comités consultatifs d’experts de Statistique Canada, qui sont dans de nombreux cas en place depuis longtemps, proviennent en majeure partie du milieu universitaire. Le secteur privé et les organisations non gouvernementales y sont peu représentés[27]. Le BVG a donc recommandé à Statistique Canada de mettre en place un processus officiel et systématique pour faire en sorte que l’éventail complet des utilisateurs soit représenté dans les comités consultatifs et pour assurer le remplacement de leurs membres[28].

M. Smith a souligné que les comités consultatifs de Statistique Canada jouent deux rôles. Certains comités fournissent des conseils d’experts sur la méthodologie, et d’autres, sur la conception d’enquêtes particulières ou de programmes ou sur les lacunes au chapitre des données[29]. Statistique Canada cherche à améliorer la diversité des membres du dernier type de comité. M. Smith a signalé que Statistique Canada a « entrepris d’officialiser le processus de renouvellement des divers comités consultatifs de l’organisme pour veiller à ce qu’ils soient dûment constitués compte tenu de leur mandat respectif, de façon à aider l’organisme à rester au fait des besoins et des méthodes statistiques en évolution et de s’y adapter[30] ». De plus, Statistique Canada met en œuvre un mandat limité à trois ans pour les membres des comités[31].

En ce qui a trait au Conseil national de la statistique, qui fournit des conseils sur les priorités, M. Smith a indiqué :

Pour recevoir des conseils efficaces concernant les priorités — les priorités en matière de données, celles au chapitre des programmes en général — j’ai besoin d’un ensemble de voix qui sont représentatives des intervenants au sein du système statistique. La domination du comité par les universitaires, comme cela a été le cas, dans une certaine mesure, par le passé, donne à la discussion une saveur qui est quelque peu biaisée du point de vue de certains intérêts et de certaines priorités. L’ajout d’un plus grand nombre de membres provenant d’entreprises et de représentants des administrations municipales me permet d’avoir une perspective plus équilibrée. J’entends un plus grand nombre de points de vue et de voix. Le résultat est donc plus équilibré du point de vue des intérêts de tous les Canadiens[32].

Le BVG a observé que les besoins en données concernant de petites régions et sous‑populations n’étaient pas comblés. Par exemple, les données de l’Enquête sur l’emploi, la rémunération et les heures de travail sont publiées uniquement à l’échelle nationale, provinciale et territoriale[33]. Il est donc impossible de déterminer les endroits précis où se trouvent les postes vacants, dans une province ou un territoire[34]. De plus, Statistique Canada n’a pas diffusé les données de l’Enquête nationale auprès des ménages provenant de 25 % des subdivisions de recensement pour des raisons de qualité; les données de 15 % d’autres subdivisions n’ont pas été diffusées pour d’autres raisons, notamment la confidentialité[35]. Statistique Canada estime donc qu’il y avait un manque de données nationales fiables pour 3 % de la population du Canada, comparativement à moins de 1 % pour le recensement de 2006[36]. Les utilisateurs qui ne font pas partie du gouvernement fédéral ont fait valoir au BVG que les données de Statistique Canada leur étaient d’une utilité limitée lorsqu’elles ne portent pas sur les régions qui les intéressent[37]. Le BVG a recommandé à Statistique Canada d’évaluer s’il est possible de mieux répondre aux besoins des utilisateurs en matière de données sur les petites régions et sous‑population[38].

En réponse aux critiques touchant l’impossibilité d’obtenir des données fiables sur certaines subdivisions de recensement, M. Smith a soutenu que ce sont surtout les petites communautés et les communautés éloignées qui sont concernées :

Les préoccupations relatives à la qualité surviennent en réalité dans les provinces et dans les régions où il y a de très petites municipalités de cette nature, voire même de quelques centaines de personnes. Il est certain que l’ensemble de ces préoccupations — ou presque — concernent des municipalités de moins de 5 000 personnes et, dans la plupart des cas, de moins de 1 000 personnes. Dans les provinces qui ont fusionné leurs municipalités en municipalités plus grandes, nous n’avons pas vraiment eu de problèmes importants. Dans les provinces où il y a encore un grand nombre de très petites municipalités, c’est là que nous avons rencontré la difficulté. La Saskatchewan, par exemple, a été très durement touchée par ce problème[39].

M. Smith a aussi reconnu que Statistique Canada n’a pu obtenir d’information auprès des ménages de 36 réserves des Premières Nations parce que celles‑ci ont refusé l’accès au personnel de l’agence[40]. En outre, compte tenu des coûts qu’entraînent le nombre et l’emplacement des réserves, il est difficile de publier et garder à jour les données sur les taux d’emploi dans ces communautés[41].

M. Smith a maintenu que les données en question pourraient quand même servir, mais seulement sous la forme de données regroupées. Il a indiqué à ce sujet : « Pour que ce soit clair, les données concernant les régions en question sont incluses dans le portrait national et dans le portrait provincial. Elles sont incluses dans le portrait des divisions de recensement. Il est tout à fait possible de combiner plusieurs régions pour générer une région au sujet de laquelle nous sommes en mesure de fournir des données. Ça s’est déjà fait[42]. » Il a ajouté : « Je ne veux pas banaliser le fait qu’un nombre important de municipalités qui se seraient attendues à recevoir des données n’en ont pas reçu. Ce n’est pas quelque chose que je voulais qui arrive, et c’est quelque chose que je vais chercher à éviter le plus possible en 2016[43]. »

Afin de répondre aux besoins en matière de données régionales et de données sur les petites populations, Statistique Canada veut recourir à de nouvelles méthodes et sources afin de recueillir des données plus étendues :

Statistique Canada réalise d’importants progrès en mettant au point et en exploitant des techniques de pointe comme la simulation de microdonnées et l’estimation sur de petits domaines pour tirer le maximum des ensembles de données existants. Notre utilisation croissante de données administratives augmente aussi notre capacité de fournir des données sur de petites régions et populations. Ces techniques nous permettent de produire, à un coût abordable, des estimations plus détaillées que ce qu’une enquête à elle seule peut produire, sans imposer un fardeau de réponse supplémentaire aux Canadiens et à leurs entreprises[44].

Pour aider les petites régions à disposer de données sur les postes vacants, Statistique Canada travaille à la conception d’une nouvelle enquête conjointement avec Emploi et Développement social Canada. M. Smith a dit au Comité :

Nous avons conçu une enquête qui nous permettra de publier des données par profession, avec les salaires, à un échelon géographique assez détaillé. Cette enquête pourrait répondre en grande partie aux genres de besoins qui ont été soulignés en ce qui a trait à l’information. Elle représente, comme le ministre Kenney l’a indiqué dans une déclaration publique, un investissement d’environ 14 millions de dollars; c’est pourquoi Statistique Canada n’aurait jamais pu l’entreprendre seul[45].

Statistique Canada prévoit commencer à recueillir les données au début de 2015 et les publier plus tard au cours de la même année[46]. M. Smith a aussi signalé au Comité que Statistique Canada planifie une enquête nationale annuelle sur les salaires, l’objectif consistant à publier des données par profession pour les petites régions, sous l’échelon provincial[47].

F. Intelligibilité

L’intelligibilité concerne le besoin de fournir aux utilisateurs l’information nécessaire pour qu’ils puissent interpréter les statistiques correctement, et ainsi les comprendre et les utiliser de la bonne façon. Le BVG a constaté que Statistique Canada publiait de l’information pour aider les utilisateurs à interpréter les données; cependant, les directives à l’intention des utilisateurs ne sont pas toujours complètes et à jour[48]. Le BVG a donc recommandé à Statistique Canada de s’assurer que ses directives sont complètes et à jour[49].

Dans le plan d’action présenté au Comité, Statistique Canada a indiqué qu’il avait amorcé un examen de la qualité des documents relatifs aux programmes, et qu’il aura déterminé, d’ici 2015, les programmes statistiques qui exigent un guide d’utilisateur technique plus détaillé et à jour[50].

UTILISATION EFFICIENTE DES RESSOURCES

Statistique Canada s’emploie à réduire ses coûts de fonctionnement permanents en coupant le moins possible dans les programmes de statistique et d’analyse. Le BVG a remarqué que l’agence avait établi un certain nombre d’initiatives qui l’aideraient à utiliser les ressources de manière plus efficiente[51]. Des 37 initiatives prévues entre 2010‑2011 et 2012‑2013, 15 ont été mises en œuvre; celles‑ci ont permis des économies de 6,7 millions de dollars. La mise en œuvre des 22 autres initiatives est prévue pour plus tard[52]. L’agence fait le suivi des économies réalisées à l’échelle de l’organisme, mais elle ne le fait pas pour chacun des programmes statistiques[53].

M. Ferguson a fait remarquer au Comité que « Statistique Canada avait élaboré et mis en œuvre un certain nombre d’approches lui permettant d’utiliser les ressources de manière plus efficiente. Il a notamment utilisé les services ministériels communs et trouvé d’autres sources de données[54] ». Il a plus tard ajouté : « Nous étions satisfaits de voir que l’organisme avait le projet de mettre en place des initiatives d’amélioration de l’efficience. Il a fait des progrès à cet égard. Il reste du travail à faire[55]. »

ÉTABLISSEMENT ET MISE EN ŒUVRE DES PRIORITÉS

Pour que son travail reste pertinent, Statistique Canada doit établir les nouveaux besoins en données socioéconomiques et en tenir compte. Le BVG a constaté que l’agence avait élaboré un plan de dix ans qui prévoit des investissements dans la continuité des opérations et le maintien de la qualité[56]. Statistique Canada a répondu aux nouveaux besoins, par exemple, en effectuant une refonte de l’Indice des prix à la consommation et de l’Enquête sur la population active, et en menant des études de faisabilité pour comprendre les besoins en données financières concernant les Premières Nations[57].

Statistique Canada effectue aussi des travaux à recouvrement de coûts pour répondre aux demandes provenant d’autres ministères fédéraux et ordres de gouvernement. Le BVG a observé que l’agence avait poursuivi certaines de ses activités à recouvrement de coûts à même son budget de base, mais qu’elle ne vérifiait pas de manière systématique s’il convenait de continuer ces travaux[58]. Pour cette raison, le BVG a recommandé à Statistique Canada d’évaluer de manière systématique s’il y avait lieu de continuer les travaux à recouvrement de coûts après l’arrêt du financement extérieur[59].

En réponse à cette recommandation, M. Smith a fait valoir, devant le Comité :

L’organisme a maintenant intégré à son processus de planification annuel un mécanisme d’examen officiel des programmes à recouvrement des coûts dont le financement est appelé à disparaître, afin de déterminer s’il est nécessaire d’y allouer des fonds ou d’essayer d’obtenir un financement permanent. En l’absence de nouveaux financements externes, il va sans dire que le maintien d’un ancien programme à recouvrement des coûts au moyen de fonds existants nous obligerait à abandonner d’autres programmes[60].

RAPPORT SUR LES PROGRÈS

Statistique Canada a établi un plan d’action en réponse aux recommandations du BVG. Pour s’assurer que Statistique Canada exécute son plan d’action tel que prévu et qu’il continue de publier de manière efficiente des produits statistiques de grande qualité, le Comité formule la recommandation suivante :

RECOMMANDATION

Que, d’ici le 30 avril 2015, Statistique Canada présente au Comité permanent des comptes publics un rapport sur les progrès qu’il a réalisés dans la mise en œuvre des recommandations formulées par le Bureau du vérificateur général dans le chapitre 8 du rapport du printemps 2014.

CONCLUSION

Statistique Canada fournit un service de première importance aux gouvernements, aux entreprises, aux organisations non gouvernementales et aux chercheurs en produisant des données statistiques sur divers aspects démographiques, sociaux et économiques du Canada. Statistique Canada a acquis une solide réputation pour la qualité de ses données, de même que pour ses méthodes de travail et son efficacité. Pour qu’elle puisse maintenir cette réputation, l’agence doit veiller à ce que son cadre d’assurance de la qualité reste à jour et qu’il soit mis en œuvre.

Dans son rapport de vérification, le BVG a conclu que Statistique Canada avait appliqué son cadre d’assurance de la qualité pour vérifier la qualité de ses programmes statistiques. M. Ferguson a résumé ainsi les conclusions de l’exercice :

Nous avons constaté que beaucoup de bonnes choses se font par rapport à plusieurs de ces aspects. Là où nous avons eu quelques préoccupations, c’est à l’égard de la pertinence et de l’intelligibilité, et surtout de la mise à jour des lignes directrices visant à permettre aux gens de comprendre les données et de la tenue de conversations avec les utilisateurs, comme on en a déjà parlé aujourd’hui, dans le but de cerner certains des besoins que les utilisateurs ont exprimés[61].

Statistique Canada s’est engagé à apporter des améliorations afin de répondre aux recommandations du BVG, et le Comité s’attend à pouvoir suivre les efforts que déploiera Statistique Canada pour mettre en œuvre son plan d’action.