PACP Rapport du Comité
Si vous avez des questions ou commentaires concernant l'accessibilité à cette publication, veuillez communiquer avec nous à accessible@parl.gc.ca.
INTRODUCTION Les récents changements apportés à la loi et à la politique ont fait ressortir l’importance de l’évaluation au sein de l’administration fédérale. La Loi fédérale sur la responsabilité de 2006 apporte une modification à la Loi sur la gestion des finances publiques qui oblige à évaluer ou à examiner tous les cinq ans la pertinence et l’efficacité de tous les programmes de subventions et de contributions non prévues par la loi[1]. En vertu de la Politique sur l’évaluation du Conseil du Trésor, qui a été mise à jour en 2009, les grands ministères doivent veiller à ce que l’ensemble des dépenses de programmes directes soit évalué tous les cinq ans[2]. Pour pouvoir se conformer à ces exigences, il est essentiel que les ministères disposent des moyens, du soutien et des systèmes nécessaires pour procéder aux évaluations prévues par la loi et par la politique du Conseil du Trésor. Dans son rapport de l’automne 2009, le Bureau du vérificateur général (BVG) a vérifié la façon dont les unités d’évaluation de six ministères (Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada et Ressources humaines et Développement des compétences Canada) s’y prennent pour définir les besoins liés à l’évaluation de l’efficacité et y donner suite, et les mesures prises pour se doter de la capacité nécessaire pour satisfaire ces besoins[3]. Le BVG a aussi examiné le rôle de surveillance et de soutien que joue le Secrétariat du Conseil du Trésor du Canada (le Secrétariat) pour suivre et améliorer la fonction d’évaluation au sein du gouvernement. Puisque le Comité des comptes publics est depuis longtemps favorable à un recours accru aux évaluations de l’efficacité au sein de l’administration fédérale, il a consacré une séance à ce rapport de vérification le 4 mai 2010[4]. Du Bureau du vérificateur général, le Comité a reçu : Sheila Fraser, vérificatrice générale du Canada; Neil Maxwell, vérificateur général adjoint; et Tom Wileman, directeur principal. Du Secrétariat du Conseil du Trésor du Canada, le Comité a entendu : Michelle d'Auray, secrétaire du Conseil du Trésor du Canada, et Alister Smith, secrétaire adjoint, Secteur de la gestion des dépenses. Le Comité a aussi recueilli les témoignages de représentants de deux des ministères visés par la vérification. De Citoyenneté et Immigration Canada, le Comité a accueilli : Neil Yeates, sous-ministre, et Elizabeth Ruddick, directrice générale, Recherche et évaluation. D’Environnement Canada, le Comité a reçu : Ian Shugart, sous-ministre, et William Blois, directeur associé, Direction de la vérification et évaluation. RAPPORT ANNUEL
Le Comité a décidé de rencontrer des représentants d’Environnement Canada et de Citoyenneté et Immigration Canada, car il aurait été trop compliqué d’inviter des représentants de chacun des six ministères vérifiés. Avant la réunion, ces deux ministères ont fourni au Comité un plan d’action sur la façon dont ils comptent s’y prendre pour donner suite aux recommandations du BVG; Agriculture et Agroalimentaire Canada et Pêches et Océans Canada ont fait de même après la réunion. Le Comité espère que ces ministères mettront en œuvre ces plans et s’efforceront d’améliorer leur capacité d’évaluer l’efficacité des programmes. Toutefois, le Comité n’a reçu de plan d’action ni de Patrimoine canadien ni de Ressources humaines et Développement des compétences Canada. C’est pourquoi il recommande :
Les conclusions de la vérification donnent également à penser que l’évaluation de l’efficacité doit être améliorée dans tous les ministères et non seulement dans ceux visés par la vérification. Au sein de l’administration fédérale, la responsabilité d’exercer une surveillance sur la fonction d’évaluation à l’échelle du gouvernement incombe à un organisme central — le Secrétariat du Conseil du Trésor du Canada. Le Secrétariat a mis à jour la Politique sur l’évaluation, dans le but de remédier aux lacunes relevées dans la portée et la nature des évaluations ainsi que dans la gouvernance et l’indépendance de la fonction d’évaluation, et au manque de clarté de la collecte de données. Le Secrétariat dispose de différents mécanismes pour surveiller la fonction d’évaluation, par exemple, l’enquête annuelle d’évaluation des capacités, les examens périodiques de la qualité des rapports d’évaluation et les examens de la qualité et de l’utilisation des évaluations dans les ministères, qui se fondent sur le Cadre de responsabilisation de gestion (CRG). Le Secrétariat a aussi un centre d’excellence en évaluation (le Centre), qui offre l’orientation et le soutien nécessaires aux ministères dans le contexte de l’évaluation. Les vérificateurs ont constaté que le Centre n’avait pas fait de progrès en vue d’élaborer des outils pour aider les ministères à régler le problème relatif à l’insuffisance des données servant à appuyer les évaluations de l’efficacité, problème de longue date qui persiste toujours. Au moment de la vérification, le Secrétariat n’avait pas publié de lignes directrices sur la mise en œuvre de la Politique sur l’évaluation à l’intention des ministères[6]. La secrétaire du Conseil du Trésor, Michelle d'Auray, a dit au Comité que le Centre avait depuis publié une ébauche de guide pour l’élaboration des plans d’évaluation des ministères et des stratégies de mesure du rendement. Le Centre a établi une communauté de praticiens en matière d'évaluation pour l’échange de conseils pratiques[7]. Alister Smith, secrétaire adjoint qui dirige les activités d’évaluation du Secrétariat, a indiqué que ces documents d’orientation seraient parachevés d’ici la fin de l’exercice en cours[8]. La vérificatrice générale a dit au Comité qu’elle était heureuse que le gouvernement ait pris des mesures à la suite de la vérification[9]. Normalement, le Comité fait un suivi des progrès accomplis par les ministères à l’égard des recommandations du BVG dans le cadre d’un rapport d’étape. Dans ce cas-ci, le Comité remarque que le Secrétariat a publié par le passé un rapport sur la fonction d’évaluation intitulé « La santé de la fonction d’évaluation au gouvernement du Canada, Rapport pour l’exercice 2004-2005 ». Selon les vérificateurs, c’est le seul rapport à avoir été publié; bien que le Secrétariat continue de mener des enquêtes sur l’évaluation des capacités[10]. Dans sa déclaration préliminaire, la secrétaire a tenu les propos suivants : Il est difficile de savoir si le Secrétariat compte publier ce rapport annuel. Le Comité croit que ce rapport devrait être rendu public parce qu’il offrirait aux parlementaires et aux Canadiens un outil de reddition de comptes utile pour suivre les progrès accomplis à l’égard de la mise en œuvre des nouvelles exigences du gouvernement en matière d’évaluation. Par conséquent, le Comité recommande :
INFORMATION SUR LE RENDEMENT Le sous-ministre de Citoyenneté et Immigration Canada, Neil Yeates, a reconnu que la collecte de données sur le rendement représente un grand défi pour son ministère, en partie parce que le travail de collecte est souvent très coûteux[13]. Le sous-ministre d’Environnement Canada, Ian Shugart, a quant à lui affirmé que souvent ce ne sont pas les données sur le rendement qui manquent, c’est plutôt qu’elles ne sont pas suffisantes pour répondre à toutes les questions de l’évaluation. Son ministère a un cadre de mesure du rendement, mais il n’est pas complet[14]. La Politique sur l’évaluation exige que les ministères veillent à ce que des mesures permanentes du rendement soient en place à l'échelle du ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes[15]. Le Secrétariat surveille la gestion ministérielle par le biais des évaluations annuelles fondées sur le CRG, dont une partie porte sur l’« utilité du cadre de rendement ministériel[16] ». Pour les évaluations de 2008, trois des six ministères visés par la vérification — Citoyenneté et Immigration Canada, Patrimoine canadien et Agriculture et Agroalimentaire Canada — ont reçu le commentaire suivant : « Les indicateurs de rendement ne sont pas clairs et ne peuvent pas servir à recueillir des données permettant de fournir des renseignements fiables sur l’efficacité des programmes ». Environnement Canada et Pêches et Océans Canada ont reçu le commentaire : « Le cadre de mesure de rendement élaboré par l’organisation est de piètre qualité ». Enfin, Ressources humaines et Développement des compétences Canada a reçu le commentaire : « Le cadre de mesure de rendement élaboré par l’organisation est incomplet ou inadéquat ». Quatre de ces ministères ont reçu une cote « acceptable » pour l’utilité du cadre de rendement ministériel, et deux ont obtenu la cote « possibilité d’amélioration ». Un cadre de mesure du rendement se doit d’être solide pour qu’il soit possible de procéder à des évaluations significatives. Par conséquent, le Comité recommande :
Il est clair que les ministères devront améliorer considérablement leurs cadres de mesure du rendement et la collecte de données subséquente pour pouvoir évaluer judicieusement l’efficacité. La collecte et l’évaluation permanentes de renseignements fiables sur le rendement sont également importantes pour permettre aux gestionnaires de surveiller le rendement des programmes, et aux ministères, de rendre compte au public des résultats des programmes. Même si le Secrétariat assure un suivi à cet égard grâce aux évaluations fondées sur le CRG, ces dernières ne précisent pas dans quelle mesure l’information sur le rendement dont disposent les ministères est suffisante aux fins de l’évaluation de l’efficacité. Le Comité aimerait éviter que les évaluations soient entravées par un manque d’information sur le rendement, c’est pourquoi il recommande :
RESPECT DES EXIGENCES IMPOSÉES PAR LA LOI ET PAR LA POLITIQUE Les vérificateurs ont constaté que les ministères avaient établi des plans fondés sur les risques pendant la période visée par la vérification[17]. Toutefois, le pourcentage moyen des dépenses de programmes évaluées entre 2004-2005 et 2007-2008 oscille entre 5 % et 13 %[18]. Pour arriver à évaluer l’ensemble des dépenses de programmes directes tous les cinq ans, les ministères devront hausser leur moyenne annuelle à 20 %. Même s’il leur reste encore du temps pour accroître leur capacité d’évaluation, les ministères ont beaucoup de pain sur la planche avant de pouvoir dire qu’ils ont atteint l’objectif fixé en ce qui concerne le pourcentage annuel de dépenses de programmes évaluées. Le Comité aimerait faire un suivi des progrès accomplis par les ministères pour voir s’ils respectent les exigences en matière d’évaluation, c’est pourquoi il recommande :
DOTATION Toutefois, si tous les ministères doivent augmenter dans la même proportion l’effectif de leurs unités d’évaluation, il sera peut-être difficile de trouver des évaluateurs compétents et expérimentés. Les vérificateurs ont souligné que la pénurie d’évaluateurs de programme chevronnés au sein de l’administration fédérale est un problème de longue date, qui a empêché les ministères de recruter le personnel dont ils ont besoin et a incité d’autres unités d’évaluation fédérales à convaincre des évaluateurs de quitter leur emploi pour se joindre à leur service[22]. Afin de disposer d’un effectif suffisant, les ministères devront préparer des stratégies de recrutement et de maintien en fonction pour leurs unités d’évaluation. La secrétaire du Conseil du Trésor a dit au Comité qu’il y avait actuellement au-delà de 500 évaluateurs à l’emploi de l’administration fédérale[23], et Alister Smith a décrit la collaboration établie par le Secrétariat avec les universités et l’École de la fonction publique pour faciliter la constitution d’un bassin d’évaluateurs compétents[24]. Malgré tout, le Comité s’inquiète de la capacité des ministères d’attirer et de garder en poste des évaluateurs compétents et expérimentés, puisque leur capacité d’effectuer les évaluations supplémentaires maintenant exigées en est largement tributaire. Le Comité aimerait faire un suivi de cette question, c’est pourquoi il recommande :
L’autre sujet de préoccupation touchant la dotation a trait au fait que les ministères font largement appel à des sous-traitants. Les vérificateurs ont en effet constaté qu’environ 90 % des évaluations avaient été exécutées en tout ou en partie par des sous-traitants[25]. Même si les sous-traitants auront toujours un rôle important à jouer, puisqu’ils peuvent offrir une expertise qui n’est pas disponible à l’interne et renforcent la capacité d’évaluation, une trop forte dépendance à leur égard risque d’inhiber la capacité des unités d’évaluation internes de devenir des spécialistes en la matière et de les obliger plutôt à consacrer l’essentiel de leur temps à gérer des contrats. Le Comité espère que cette dépendance à l’égard des sous-traitants diminuera à mesure que les ministères renforceront leurs unités d’évaluation. Le Comité aimerait qu’il en soit ainsi, c’est pourquoi il recommande :
SUIVI Étant donné les lacunes actuelles de l’évaluation de l’efficacité, dont fait état le rapport de vérification, et les difficultés que pourrait poser le respect des exigences imposées par la loi et par la politique, le Comité croit qu’il serait utile d’effectuer une vérification de suivi avant la fin du premier cycle quinquennal en 2017-2018. Le Comité remarque que les ministères ont accru sensiblement les ressources financières et humaines consacrées à la fonction d’évaluation. Le Comité croit qu’il importe que le gouvernement parvienne à optimiser ces ressources et que ces dernières soient utilisées de façon économique et efficiente. C’est pourquoi il recommande :
Le Comité remarque également que la Politique sur l’évaluation exige que le Secrétariat veille à ce qu’une évaluation de la politique soit menée tous les cinq ans[28]. Cette évaluation devrait aider à établir si les nouvelles exigences en matière d’évaluation de l’efficacité des programmes procurent effectivement des résultats. CONCLUSION
[1] Voir l’article 260 de la Loi fédérale sur la responsabilité de 2006 et l’article 42.1 de la Loi sur la gestion des finances publiques. « Sous réserve des instructions que le Conseil du Trésor peut donner et sauf disposition contraire de celles-ci, chaque ministère procède à un examen quinquennal de chaque programme (de subventions et de contributions) en cours relevant de sa responsabilité afin d'en évaluer l'utilité et l'efficacité. » [2] Conseil du Trésor du Canada, Politique sur l’évaluation, avril 2009, article 6.1.8.a. [3] Vérificatrice générale du Canada, Rapport de l’automne 2009, chapitre 1 — Évaluation de l’efficacité des programmes. [4] Comité des comptes publics de la Chambre des communes, 40e législature, 3e session, réunion no 12. [5] Chapitre 1, page 2. [6] Chapitre 1, paragraphes 1.79-1.81. [7] Réunion no 12, 0910. [8] Ibid., 1005. [9] Ibid., 1050. [10] Chapitre 1, paragraphe 1.71. [11] Réunion no 12, 0910. [12] Chapitre 1, paragraphe 1.34. [13] Réunion no 12, 0935. [14] Ibid., 0945. [15] Politique sur l’évaluation, article 6.1.10. [16] L’échelle d’évaluation du Cadre de responsabilisation de gestion et les résultats des évaluations se trouvent sur le site Web du Secrétariat à l’adresse suivante : http://www.tbs-sct.gc.ca/maf-crg/index-fra.asp. [17] Chapitre 1, paragraphe 1.22. [18] Ibid., pièce 1.4. [19] Ibid., pièce 1.7. [20] Réunion no 12, 1045. [21] Chapitre 1, paragraphe 1.91. [22] Ibid., paragraphes 1.52-1.54. [23] Réunion no 12, 0930. [24] Ibid., 1030. [25] Chapitre 1, paragraphe 1.61. [26] Chapitre 1, paragraphe 1.91. [27] Réunion no 12, 1040. [28] Politique sur l’évaluation, article 7.4. |