|
Le
gouvernement est d’accord avec le Comité permanent des comptes publics (CPCP) sur l’importance de l’évaluation des
programmes pour fournir une information fiable sur l’efficacité des programmes
aux fins de la prise de décision, et il apprécie le soutien du Comité à l’égard
de l’évolution soutenue de l’évaluation de l’efficacité au sein du gouvernement
fédéral et des exigences de la politique qui ont été renforcées récemment pour
l’évaluation.
Le gouvernement
reconnaît que l’évaluation de programme est une importante source d’information
sur l’optimisation des ressources des programmes, y compris leur efficacité,
leur efficience, leur rentabilité et leur pertinence. En tant qu’outil de
gestion, l’évaluation soutient l’amélioration des politiques et des programmes,
la gestion des dépenses, la prise de décision du Cabinet et les rapports
publics car il en découle une information fiable et neutre sur l’optimisation
des ressources des programmes gouvernementaux.
Dans le cadre du renouvellement du système de gestion des dépenses
du gouvernement du Canada de 2007, et conformément à la réponse du gouvernement
au quatrième rapport du Comité permanent des comptes publics (CPCP), lequel fut
déposé en juillet 2008 et fait mention de l’acceptation d’une recommandation
selon laquelle le Secrétariat du Conseil du Trésor du Canada rehausserait
l’importance que revêt l’évaluation en ajoutant l’évaluation des programmes
comme exigence clé du système de gestion des dépenses, l’évaluation joue un
rôle de plus en plus important en vue d’assurer une gestion efficace des
dépenses publiques. En appui à ce rôle, la Politique sur l’évaluation de 2009 a instauré des changements majeurs en ce qui a trait à la fonction d’évaluation
dans les ministères et à l’échelle du gouvernement du Canada. Ces changements
visent à élargir la portée de l’évaluation des programmes, à axer l’évaluation
sur les questions relatives à l’optimisation des ressources financières, à
assurer la collecte continue des données sur le rendement afin de soutenir les
évaluations, et à rehausser la gouvernance et la neutralité de la fonction.
Vu les
changements de taille qu’apporte la Politique sur l’évaluation de 2009,
un plan de mise en oeuvre graduelle sur quatre ans a été adopté pour donner aux
ministères suffisamment de temps pour s’adapter aux nouvelles exigences et
renforcer leur capacité d’évaluation pour satisfaire aux exigences de la
politique.
Pendant la
mise en œuvre de la Politique sur l’évaluation et de la Politique sur
la structure de la gestion, des ressources et des résultats, le SCT continuera
de fournir des conseils et un soutien aux ministères pour qu’ils améliorent
leurs fonctions d’évaluation ainsi que leur mesure permanente du rendement. Le
rapport annuel La santé de la fonction d’évaluation sera rendu public après son
approbation par le Conseil du Trésor, et il fera état de la progression de la
fonction d’évaluation.
Recommandation
1
Que d’ici au 31 décembre 2010,
Patrimoine canadien et Ressources humaines et Développement des compétences
Canada présentent chacun au Comité permanent des comptes publics un plan
d’action expliquant comment ils entendent donner suite aux recommandations
formulées dans le chapitre 1 du rapport de l’automne 2009 de la vérificatrice
générale du Canada
La recommandation est acceptée.
Dans
sa réponse au Quatorzième rapport du Comité permanent des comptes publics sur
le Chapitre 2 du Rapport de la vérificatrice générale du Canada de décembre
2008, intitulé La gouvernance des petites entités fédérales, le gouvernement
fait remarquer que les ministères et les organismes conserveront leur attitude
réceptive aux demandes du Comité et continueront de prendre toutes les mesures
raisonnables pour s’assurer que le Comité possède l’information dont il a
besoin pour tenir ses audiences. Dans ce contexte, les ministères et organismes
du gouvernement continuent de fournir au Comité toute l’information pertinente
lorsqu’ils sont appelés à comparaître devant lui.
Avant
de se présenter devant le Comité au sujet du Chapitre 1 du Rapport de la
vérificatrice générale du Canada de l’automne 2009, intitulé
« L’évaluation de l’efficacité des programmes », tous les ministères
dont il est question dans le Chapitre ont préparé des plans d’action.
Toutefois, Patrimoine canadien et Ressources humaines et Développement des
compétences Canada n’ont pas été appelés à se présenter devant le Comité et,
par conséquent, n’ont pas fourni leurs plans d’action au Comité.
Afin
de fournir au Comité des documents existants qui pourraient aider ses membres à
mieux comprendre les efforts déployés par le gouvernement dans ce domaine, le
gouvernement est heureux de fournir une information additionnelle pour
compléter celle déjà fournie au Comité. Ainsi, les plans d’action ministériels
préparés par Patrimoine canadien et Ressources humaines et Développement des
compétences Canada sont joints en annexes à la réponse du gouvernement.
En
bref, les plans d’action de ces deux ministères, qui s’ajoutent aux plans que
le Comité a déjà reçus, témoignent de l’engagement du gouvernement à améliorer
l’information sur le rendement, pour renforcer les fonctions d’évaluation dans
tout le gouvernement et améliorer la capacité de celui-ci à gérer d’après les
résultats.
Recommandation 2
Qu’à partir de 2010-2011, le
Secrétariat du Conseil du Trésor prépare un rapport annuel sur l’état de la
fonction d’évaluation et le rende accessible au public
La
recommandation est acceptée.
Le
SCT préparera son rapport annuel La santé de la fonction d’évaluation, comme
l’exige la Politique sur l’évaluation de 2009, et il le rendra public
sur le site Web du Conseil du Trésor du Canada, lorsqu’il aura été approuvé par
celui-ci. Le rapport contiendra de l’information sur l’état de divers aspects
de la fonction d’évaluation du gouvernement du Canada, y compris la progression
de la mise en œuvre de la Politique sur l’évaluation de 2009.
Le
rapport fera largement état de la fonction surveillée par le SCT et donnera de
l’information sur les activités menées par le SCT à l’appui de la fonction à
l’échelle du gouvernement et pour soutenir les administrateurs généraux et
d’autres intervenants en formulant des propositions pour améliorer la fonction
d’évaluation fédérale et, par conséquent en faire un outil d’information pour
les parlementaires et les Canadiens et les Canadiennes pour suivre de près
l’évolution de la fonction.
Recommandation 4
Que d’ici au 31 janvier 2011,
Environnement Canada, Pêches et Océans Canada et Ressources humaines et
Développement des compétences Canada présentent au Comité permanent des comptes
publics une stratégie d’amélioration de leur cadre de mesure du rendement.
La
recommandation est acceptée et l’information demandée est fournie de la manière
présentée ci-dessous.
Le
Conseil du Trésor a renouvelé la Politique sur la structure de la gestion,
des ressources et des résultats (SGRR) en février 2010. Initialement
instaurée en avril 2005, la Politique énonce une approche commune concernant la
collecte, la gestion et la communication de l’information financière et non
financière sur le rendement.
Essentiellement, la Politique
sur la SGRR vise à établir un lien entre les ressources (prévues et
réelles) et les résultats escomptés pour toutes les dépenses de programmes, et
elle contribue à l’amélioration de la prise de décision en permettant d’accéder
à une information financière et non financière exacte sur le rendement.
Les
ministères assujettis à la Politique sont tenus d’établir une SGRR réunissant
les composantes suivantes, lesquelles servent de base pour leurs rapports au
Parlement :
- des
résultats stratégiques (RS) : avantages à long terme, durables et
mesurables pour les Canadiens et les Canadiennes;
- une
architecture des activités de programmes (AAP) : répertoire des programmes
liés à des résultats stratégiques, y compris un cadre de mesure du rendement
(CMR) à l’appui, qui énonce les résultats escomptés à obtenir ainsi que les
résultats spécifiques devant découler d’un programme, accompagnés de mesures du
rendement;
- une
structure de gouvernance : mécanismes de prise de décision,
responsabilités et responsabilisation au sein d’un ministère.
Le
cadre de mesure du rendement est la composante clé de la Politique sur la
SGRR. Les organisations sont tenues de définir les mesures du rendement
pour chaque résultat stratégique et programme faisant partie de leur AAP.
Le
gouvernement reconnaît qu’un cadre de mesure du rendement solide est un facteur
important pour faciliter les évaluations. Comme l’exige la Politique sur
l’évaluation de 2009, les chefs de l’évaluation de tous les grands
ministères et organismes examinent les cadres et les stratégies de mesure du
rendement des ministères et fournissent des conseils à leur sujet, et ils
prépareront des rapports annuels qu’ils soumettront au comité d’évaluation de
leur ministère, qui feront état de la mesure du rendement au sein de leur
ministère et précisément de la façon dont elle soutient l’évaluation. Ces
rapports aideront les ministères à définir les améliorations qu’il faut
apporter à la mesure du rendement pour soutenir la conduite des évaluations.
L’élaboration
de l’information sur le rendement est un processus permanent et d’importants
progrès ont été accomplis dans les trois ministères depuis que la vérification
a été faite. Les trois ministères participent toujours et travaillent avec le
Secrétariat du Conseil du Trésor du Canada pour améliorer leurs cadres de
mesure du rendement et l’information connexe sur la mesure du rendement afin de
mieux soutenir la gestion et la prise de décision.
Comme on le précise dans les
paragraphes qui suivent, Environnement canada, Pêches et Océans Canada et
Ressources humaines et Développement des compétences Canada ont tous apporté
des modifications depuis la vérification pour continuer d’améliorer et de
renforcer la qualité de leurs CMR.
Pêches
et Océans Canada
Pêches et Océans Canada
a entrepris un remaniement complet de sa Structure de la gestion, des
ressources et des résultats (SGRR) pour 2011-2012, dont une composante clé est
le Cadre de mesure du rendement (CMR).
Pêches et Océans
Canada a fait beaucoup d’efforts pour rehausser le niveau de précision et la
qualité des indicateurs de rendement pour disposer d’un moyen plus efficace et
fiable d’évaluer le rendement et d’en faire rapport aux Canadiens.
De plus, les
indicateurs de rendement de Pêches et Océans Canada pour 2011-2012 ont été
élaborés avec l’information fournie par la Direction de l’évaluation du
Ministère, pour s’assurer qu’ils faciliteront les futures évaluations, et ils
seront soumis régulièrement à des examens internes et externes pour en assurer
l’amélioration continue.
Pêches et Océans
Canada a également lancé un plan d’action sur la mesure du rendement, qui est
une approche exhaustive progressive pour s’assurer que des stratégies de mesure
du rendement sont élaborées et mises en œuvre pour tous les programmes du
Ministère d’ici décembre 2011. Ces stratégies soutiendront à la fois le Cadre
de mesure du rendement du Ministère ainsi que chacune des évaluations.
Environnement
Canada
Depuis que le BVG a
mené sa vérification, Environnement Canada a amorcé une révision majeure de son
Architecture des activités de programme (AAP) et de son Cadre de mesure du
rendement (CMR). Le CMR en vigueur pour l’exercice 2010-2011prévoit l’examen de
tous les programmes de l’AAP.
Des stratégies de
mesure du rendement sont en cours de renouvellement ou d’élaboration pour tous
les programmes de l’AAP et les travaux se déroulent sur plusieurs années et de
façon progressive. Le moment est choisi en fonction du calendrier des
évaluations de programmes.
On est en train de
répertorier les indicateurs de rendement utilisés dans tout le Ministère en
plus de ceux du CMR. Ils serviront de référence pour évaluer les changements
qu’il est proposé d’apporter aux indicateurs, et ce travail permettra de
déceler d’importantes lacunes à combler.
À mesure que les
programmes se déroulent pour mettre en place les systèmes permettant de
collecter et d’analyser des données sur le rendement, les domaines où il faut
apporter des révisions pour assurer la pertinence, la fiabilité et l’utilité de
l’information communiquée sont repérés au moyen d’un processus d’examens et de
remises en question réguliers.
La Direction de la
vérification et de l’évaluation d’Environnement Canada examinera la mise en
œuvre du CMR et des stratégies de mesure du rendement à l’aide de plusieurs
mécanismes. Par exemple, des évaluations de l’évaluabilité seront effectuées
deux ans avant chaque évaluation prévue et décèleront d’éventuels problèmes
liés à la disponibilité ou à la qualité de l’information sur le rendement ainsi
que d’autres questions concernant l’évaluabilité. La mise en œuvre des réponses
de la direction aux recommandations découlant des évaluations, en particulier
celles qui traitent de la mesure du rendement, continuera de faire l’objet
d’une surveillance régulière.
Ressources humaines et
Développement des compétences Canada
En 2009, RHDCC a
entrepris un vaste examen de son Cadre de mesure du rendement (CMR) en
utilisant les tableaux de planification des résultats stratégiques du
sous-ministre adjoint comme moyen d’échange de vues. Il en a résulté un CMR
2010-2011 renforcé, allié à des énoncés des résultats et des indicateurs de
rendement améliorés.
Dans le cadre de la
mise à jour annuelle de sa SGRR, RHDCC cherchera à améliorer à nouveau des
indicateurs spécifiques du CMR pour 2011-2012, après un examen de la haute
direction et du Comité de vérification ministériel. Comme dans le passé, la
Direction de l’évaluation a contribué à l’élaboration des indicateurs de
rendement ministériels pour 2011-2012. En prévision de 2012-2013, le Ministère
procédera à un vaste examen de son CMR.
RHDCC soutient
l’élaboration de politiques et de programmes, des exercices de diagnostic, des
prévisions et des évaluations qui reposent sur des données probantes, ainsi que
la collecte et l’analyse de données à l’appui de l’amélioration de la fiabilité
des indicateurs et des données. Pour soutenir cette fonction et renforcer la
gestion de l’information liée au CMR, RHDCC est en train de mettre au point une
application Web pour l’entreposage et le partage de l’information et des
données sur la mesure du rendement. Ce dépôt central de données courantes et
historiques sur le CMR accroîtra la souplesse en matière de rapport et la
comparabilité des données sur le rendement sur plusieurs années.
Recommandation 3 Que le
Secrétariat du Conseil du Trésor inclue dans son rapport annuel sur l’état de
la fonction d’évaluation une mise à jour sur ses activités de surveillance et
de soutien de l’évaluation de l’efficacité.
Recommandation 5 Que le
Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de
la fonction d’évaluation le nombre d’évaluations de l’efficacité effectuées et
quels ministères ont eu de la difficulté à établir avec exactitude le degré de
succès des programmes en raison de l’insuffisance de l’information sur le
rendement.
Recommandation 6 Que le
Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de
la fonction d’évaluation le pourcentage des dépenses de programmes directes et
des programmes de subventions et de contributions ayant fait l’objet d’une
évaluation au cours de l’exercice, ainsi que le pourcentage des dépenses et des
programmes évalués au cours du cycle quinquennal.
Recommandation 7 Que le Secrétariat
du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction
d’évaluation le nombre d’évaluateurs à l’emploi des grands ministères au sein
de l’administration fédérale.
Recommandation 8 Que le
Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de
la fonction d’évaluation le pourcentage des évaluations effectuées par des
sous-traitants.
Les recommandations sont acceptées, et des éclaircissements
sont fournis sur les rôles et les responsabilités.
Comme le prescrit
la Politique sur l’évaluation de 2009, des évaluations doivent
être menées pour déterminer l’optimisation des ressources des programmes, y
compris la mesure dans laquelle les programmes sont efficaces, efficients,
rentables et pertinents. Comme l’indique la réponse du gouvernement à la
recommandation 2, le SCT préparera un rapport annuel La santé de la fonction
d’évaluation, pour se conformer à la Politique sur l’évaluation. Le
rapport contiendra de l’information sur l’état de la fonction d’évaluation, sa
progression au regard des exigences législatives pour l’évaluation permanente
des programmes de subventions et contributions aux termes de la Loi sur la
gestion des finances publiques, et son évolution dans le cadre de la mise
en œuvre de la Politique sur l’évaluation de 2009. Le rapport La santé
de la fonction d’évaluation contiendra aussi des renseignements provenant des
recommandations du CPCP, notamment sur :
- les
activités de surveillance et de soutien du SCT à l’égard de la fonction d’évaluation;
- le
nombre d’évaluations reçues par le SCT en provenance des ministères;
- le
pourcentage des dépenses de programmes directes et des programmes de
subventions et de contributions ayant fait l’objet d’une évaluation au cours de
la période sur laquelle porte le rapport, ainsi que le pourcentage évalué au
cours du cycle quinquennal;
- le
nombre d’évaluateurs au service des grands ministères de l’administration
fédérale;
- l’utilisation
de sous-traitants dans la conduite des évaluations;
- le
pourcentage de grands ministères évalués selon le Cadre de responsabilisation
de gestion, dont les rapports font état de la difficulté à évaluer l’efficacité
des programmes en raison de l’insuffisance de l’information sur le rendement.
Il incombe à chaque ministère de rendre compte des
situations dans lesquelles ils ont eu de la difficulté à établir le degré de
succès des programmes en raison de l’insuffisance de l’information sur le
rendement, car selon les Normes d’évaluation pour le gouvernement du Canada,
tous les rapports d’évaluation ministériels doivent présenter les
« limites de l’évaluation par rapport aux mandats, méthodes et
consultations ». Par ailleurs, les chefs de l’évaluation des grands
ministères et organismes sont tenus, conformément à la Directive sur la fonction
d’évaluation, de soumettre à leur Comité d’évaluation ministériel un
rapport annuel sur « l’état de la mesure du rendement des programmes à
l’appui de l’évaluation ».
Recommandation 9
Que le Bureau du vérificateur
général fasse une vérification de suivi d’ici cinq ans après la vérification
initiale pour voir si les ministères arrivent à satisfaire aux exigences en
matière d’évaluation de l’efficacité et s’ils effectuent leurs évaluations de
façon économique et efficiente
La
réponse du gouvernement ne donne pas suite aux recommandations qui ne relèvent
pas de sa compétence. Ainsi, le gouvernement n’est pas en mesure de répondre à
la recommandation 9 du Comité, qui s’adresse au Bureau du vérificateur général.
La vérificatrice générale du Canada est habilitée à présenter sa propre réponse
à la recommandation en tant que mandataire indépendante du Parlement.
MINISTÈRE DU
PATRIMOINE CANADIEN
Plan d’action pour la mise en
oeuvre des recommandations de la Vérificatrice générale sur
«L’évaluation de l’efficacité des
programmes»
RECOMMANDATION |
RÉPONSE DU MINISTÈRE |
PLAN D’ACTION / ÉTAT |
1.37 Agriculture et
Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement
Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines
et Développement des compétences Canada devraient élaborer et mettre en œuvre
des plans d’action pour s’assurer que l’information sur le rendement des
programmes est recueillie de façon continue en vue d’appuyer l’évaluation de
l’efficacité des programmes. |
ACCEPTÉE
1.
Recommandation acceptée. Patrimoine canadien applique son Plan d’action pour
la mise en œuvre de la Politique sur la structure de gestion, des
ressources et des résultats (SGRR) afin de veiller à ce que le personnel
chargé des programmes soit en mesure de s’acquitter de ses responsabilités à
l’égard de l’élaboration et de l’application de stratégies de mesure du
rendement. Le Plan d’action prévoit, entre autres :
l’organisation de séances
d’information et d’ateliers;
la définition d’indicateurs et
de cibles connexes;
l’établissement de méthodes
efficaces pour étayer les résultats;
la création d’un « centre
d’expertise » sur la mesure du rendement au sein du Ministère;
la conception et la mise en
œuvre d’outils et de directives appropriés;
la mise au point de systèmes et
de technologies de l’information pertinents;
l’analyse périodique des
données recueillies et la présentation de rapports à cet égard.
La
mise en œuvre du Plan d’action devrait s’achever à la fin de 2011-2012. |
MISE
EN OEUVRE PARTIELLE
EN
COURS –
Des
ajustements on été apportés au Plan d’action pour la mise en œuvre de la SGRR
compte tenu des réductions du budget ministériel et du lancement de
l’Initiative de transformation. Ce plan d’action sera mis à jour une fois
l’Initiative de transformation complétée, plus particulièrement, la mise en
œuvre de la Revue des Services Internes.
Entre
temps, le ministère continue de réaliser des progrès dans l’amélioration de
l’état de la mesure du rendement.
Organisation
de séances d’information et d’ateliers : En août 2009, la Sous-ministre
de PCH identifiait la mesure du rendement comme priorité de formation. En
septembre 2009, la Direction de la planification stratégique (DPS) livrait
des séances d’information et des ateliers sur la mesure du rendement à
l’ensemble des gestionnaires de programmes, aux directions et agents de
programmes. Le site Intranet des ressources humaines affiche la formation sur
la mesure du rendement comme priorité de formation pour tous les employés de
PCH pour 2010-2012. C’est dans ce contexte que la DPS offrira deux sessions
de formation en novembre 2010. Une formation plus approfondie pourrait être
offerte au printemps 2011. Entre temps, la |
| |
|
DPS collabore avec le Centre
d’expertise en subventions et contributions, la Direction des services
d’évaluation (DSÉ) et la Direction générale de la gestion financière (DGGF)
en vue d’adopter une terminologie commune pour la gestion du rendement à
travers le ministère. La DPS fournit aussi des avis aux secteurs et programmes
sur les stratégies de mesure du rendement et leur alignement avec le Cadre de
mesure du rendement (CMR).
Définition d’indicateurs et de
cibles connexes : PCH
continue d’améliorer son Cadre de mesure du rendement. Le CMR évolue et gagne
en maturité. La version de 2011-2012 fait état d’indicateurs peaufinés et de
l’augmentation du nombre de cibles. Dépendant des changements
organisationnels engendrés par l’Initiative de transformation, le plan
d’action présentera les grandes lignes des prochaines étapes et l’envergure
des modifications au CMR pour les mois à venir.
Établissement de méthodes
efficaces pour étayer les résultats : À l’été 2009, PCH a entrepris
un exercice de développement d’une méthodologie pour le CMR résultant dans le
raffinement des indicateurs et résultats attendus au niveau des résultats
stratégiques (RS) de même que pour les activités de programmes (AP). De plus,
des cibles ont été identifiées pour la plupart des AP et des sous-activités
de programmes (SAP).
Création
d’un « centre d’expertise » sur la mesure du rendement au sein du
Ministère : PCH s’est doté d’un gestionnaire et d’un analyste pour le dossier de la
mesure du rendement. La création d’un centre d’expertise est en suspens étant
donné le contexte présent de restrictions budgétaires et dépendant des
décisions à venir sur les modèles de livraison pour les fonctions
corporatives. On s'attend à ce que ces |
| |
|
décisions soient mises en œuvre
début 2011. De plus, la DPS a mis en œuvre un réseau de planification formel,
notamment la mise sur pied du Groupe de travail de niveau IV (directeur ou
gestionnaire), qui supporte le Comité de Planification Intégré de niveau III
dans la structure de gouvernance.
Conception et mise en œuvre
d’outils et de directives appropriés : PCH a développé des fiches
méthodologiques pour fournir des détails sur les résultats attendus et les
indicateurs pour les résultats stratégiques (RS) et des activités de
programmes (AP). Ces fiches étaient très utiles pour répondre aux exigences
de reddition de compte tel que le RPP 2009-2010. Le développement du niveau
de sous-sous-activité de programmes, laissé à la discrétion des ministères, a
été retardé en raison d'autres priorités; cependant, il sera revisité à une
date ultérieure.
Mise au point de systèmes et de
technologies de l’information pertinents : Ce projet a été annulé en
raison des contraintes budgétaires. Une nouvelle orientation sera donnée une
fois que les résultats de l'Initiative de transformation auront été mis en
œuvre. Plus de détails seront fournis en temps et lieu.
Analyse périodique des données
recueillies et présentation de rapports à cet égard : PCH a exploré un
processus de collecte de données dans le Groupe du Patrimoine (Activité de
programme 3) pendant deux exercices, utilisant 2008-2009 comme une année de
référence. La collecte de données de 2009-2010 a contribué à l'amélioration de la capacité de reddition de compte du ministère.
PCH se prépare à étendre la
collecte de données, l’analyse et les rapports durant l’exercice 2011-2012. |
| |
2.
Le Bureau du dirigeant principal de la vérification et de l’évaluation du
Ministère fournit en permanence des conseils et apporte de façon continue son
concours aux gestionnaires qui s’emploient à mettre en œuvre le Plan
d’action. Conformément à la Politique sur les paiements de transfert,
ce bureau fournit également, en temps opportun, des avis et une aide pour ce
qui est de la conception des programmes et des stratégies de mesure du
rendement lorsqu’il examine les documents d’approbation officiels pour la
création de nouveaux programmes et le renouvellement de programmes en
vigueur. |
COMPLÉTÉE – Le BDPVÉ de PCH
continue de revoir systématiquement toutes les présentations au Conseil du
Trésor et contribue au processus d’approbation afin d’assurer la qualité et
la validité des informations relatives à l’évaluation, de même qu’aux
stratégies de mesure du rendement.
Les
gestionnaires d’évaluation poursuivent aussi la revue des modèles logiques,
des indicateurs de rendement et stratégies d’évaluation pour les programmes
de leur portfolio. Cette structure favorise la couverture entière de
l’Architecture d’activités de programmes et permet de surveiller de façon
efficace la qualité des mesures de rendement à travers le ministère. |
| |
3.
Enfin, conformément à l’obligation qui lui est faite aux termes de la Politique
sur l’évaluation, le bureau présentera, en 2010-2011, son premier rapport
annuel sur l’état de la mesure du rendement des programmes au comité
d’évaluation ministériel. |
MISE
EN OEUVRE PARTIELLE
Phase
I – Étude préliminaire
Le
Dirigeant principal de la vérification et de l’évaluation a complété une
étude préliminaire sur l’état de la mesure du rendement des programmes à
l'appui de l'évaluation à PCH. L'objectif principal était d'évaluer l’adéquation
et la disponibilité de données rassemblées selon des programmes pour des
évaluations d'efficacité. Des résultats généraux ont été présentés au Comité
d’évaluation ministériel fin juin 2010.
Phase
II – Étude approfondie
Cette
phase comprend la conduite actuelle de l’évaluation. Les principaux enjeux
comprennent :
un portrait de la disponibilité
de données sur les résultats et les méthodes de collecte;
les actions entreprises par les
gestionnaires de programmes et de services corporatifs pour la mise en œuvre
et l’amélioration de la mesure du rendement;
les
facteurs ayant une incidence sur la mise en œuvre |
| |
|
d’une culture du rendement à
PCH, incluant l’appui fourni par les cadres supérieurs de PCH;
la formation offerte au
personnel des programmes et la formation requise;
la clarté des rôles et
responsabilités au sein du ministère afin d’assurer la mise en œuvre adéquate
des stratégies de mesure du rendement.
Livrable : Un rapport final
qui comprend :
le rapport annuel sur l’état de
la mesure du rendement des programmes de PCH en appui à l’évaluation;
des recommandations et
suggestions de méthodologies à l’attention des cadres supérieurs et
gestionnaires de programmes pour améliorer et renforcer la mesure du
rendement à PCH.
Échéancier : Mars 2011. |
1.43 Agriculture et
Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement
Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines
et Développement des compétences Canada devraient examiner les avantages
d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le
Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce
sujet à l’intention des ministères. |
ACCEPTÉE
Au
sein de Patrimoine canadien, c’est le Comité des politiques stratégiques, de
la planification et de l’évaluation (CPSPÉ), sous la présidence de
l’administrateur général, qui surveille la fonction d’évaluation. Cette
structure permet une meilleure intégration entre les fonctions
d’établissement des politiques, de planification et d’évaluation au
Ministère. De même, Patrimoine canadien présente déjà les rapports
d’évaluation clés, au besoin, à son comité de vérification ministériel pour
qu’il les examine et en discute. Le Ministère collaborera avec le Centre
d’excellence en évaluation du Secrétariat du Conseil du Trésor pour
déterminer la valeur ajoutée que représente l’intégration des avis d’experts
de l’évaluation externes pour éclairer les travaux des comités d’évaluation
ministériels. |
COMPLÉTÉE
1.
Le Dirigeant principal de la vérification et de l’évaluation du ministère
continuera, à l’avenir, de soumettre tous les rapports d’évaluations clés au
comité de vérification du ministère pour revue et discussion.
2.
PCH collabore déjà avec le Centre d’excellence en évaluation (CEE) du
Secrétariat du Conseil du Trésor sur plusieurs questions relatives à
l’évaluation. Le ministère est bien représenté et contribue activement à tous
les groupes de travail interministériels mis en place par le CEE pour la mise
en œuvre de la Politique sur l’évaluation (2009). PCH a participé à la
consultation du CEE et aux discussions avec les ministères pour clarifier le
rôle des experts d'évaluation externes au sein des comités d'évaluation
ministériels. PCH a fourni au CEE des commentaires sur les défis liés à la
mise en œuvre de cette recommandation à PCH, commentaires qui ont aidé à
développer des conseils sur cette question. |
1.48 Agriculture et
Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine
canadien, Pêches et Océans Canada, et Ressources humaines et Développement
des compétences Canada devraient instaurer des processus systématiques pour
déterminer si leurs évaluations de l’efficacité répondent aux exigences
établies pour l’ensemble du gouvernement et aux besoins ministériels
internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil
du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire
qu’il juge nécessaire à la mise en œuvre de ces processus |
ACCEPTÉE
Patrimoine
canadien reconnaît qu’il est nécessaire d’établir des processus systématiques
pour déterminer si les évaluations de l’efficacité répondent aux besoins. La
Direction des services d’évaluation s’emploie actuellement à élaborer un
cadre de mesure du rendement et une stratégie de gestion en vue d’établir des
attentes précises à l’égard du rendement ainsi que des normes visant la
fonction d’évaluation du Ministère. Un processus systématique pour
recueillir, analyser et communiquer les données sur le rendement et sur la satisfaction
des clients sera mis en œuvre en vue de recenser les secteurs susceptibles
d’être améliorés. À la lumière des données qui seront recueillies pendant la
première année de la mise en œuvre (2010-2011), des rapports périodiques
devraient être présentés au comité d’évaluation ministériel dès le début de
2011-2012. Cette information sur le rendement viendra compléter des données
qui sont déjà communiquées dans le cadre des examens fondés sur le Cadre
de responsabilisation de gestion qui sont menés par le Secrétariat du
Conseil du Trésor. |
MISE
EN OEUVRE PARTIELLE
Exigences
établies pour l’ensemble du gouvernement :
COMPLÉTÉE – 1. La première
ébauche de rapport final d’évaluations menées par la Direction des services
d’évaluation de PCH fait l’objet d’une revue interne par les pairs. Un
gabarit normalisé est systématiquement utilisé pour évaluer différents
critères et saisir les commentaires pertinents conformément aux normes du
Gouvernement du Canada pour l’évaluation, de même qu’aux critères de qualité
des évaluations du CRG du Secrétariat du Conseil du Trésor.
Répondre
aux besoins ministériels internes et procéder aux améliorations
recensées :
COMPLÉTÉE – 1. Les
gestionnaires de programme, les directeurs généraux, les sous-ministres
adjoints et le Sous-ministre sont toujours consultés pour la mise à jour du
plan quinquennal afin d’assurer une programmation appropriée qui répond
adéquatement aux besoins de reddition de compte. Dans le cas de programmes
identifiés à haut risque, le mandat et les questions d’évaluations sont
discutés et approuvées par le Comité ministériel d’évaluation présidé par le
Sous-ministre.
EN
COURS – 2. La Direction des services d’évaluation a revu son modèle logique et
développé un cadre de mesure du rendement pour assurer un suivi des progrès
vers l’atteinte des résultats attendus. Des mesures claires sont identifiées
et intégrées au Plan d’affaires intégré du Bureau du dirigeant principal de
la vérification et de l’évaluation pour 2010-11 / 2012-13. L’exercice
2011-2012 sera consacré à développer les données de base, 2011-2012 pour
mettre en œuvre le système de collecte de données, et |
| |
|
avant
le 1er avril 2012, la Direction de Services d'évaluation passera
en revue et mettra à jour sa charte de service et informera ses clients du
ministère. Une fois mis en œuvre, la livraison de service sera suivie pour
évaluer la conformité et des ajustements seront faits au besoin.
EN
COURS – 3.
La Direction de Services
d'Évaluation a développé et expérimenté un questionnaire d'enquête pour
rassembler des données sur la satisfaction des clients après la conduite
d'une évaluation. Le questionnaire a été mis à jour et programmé pour être
complété en ligne. À compté de janvier 2011, cet outil sera systématiquement
utilisé pour colliger des données sur le rendement et permettre d’identifier
des mesures d’amélioration.
Toujours à compter de janvier
2011, la Direction des Services d’Évaluation procédera systématiquement à la
tenue de sessions de leçons apprises documentées, en collaboration avec les
gestionnaires de programmes, à l’issue de chaque évaluation. Le but de ces
sessions est de revoir le processus d’évaluation, d’évaluer dans quelle
mesure les besoins des gestionnaires ont été comblés, souligner les pratiques
efficaces et identifier des améliorations possibles.
La Direction des Services
d’Évaluation développe un questionnaire annuel à l’attention de ses clients
afin de recueillir des données additionnelles sur la qualité et l’opportunité
des services conseils et avis, de même que sur l’utilisation des résultats
d’évaluation. Cet outil sera mis en œuvre durant l’exercice 2011-2012. |
Ministère des
Ressources humaines et Développement des compétences
Plan d’action pour la mise en
oeuvre des recommandations de la Vérificatrice générale sur
«L’évaluation de l’efficacité des
programmes»
RECOMMENDATIONS DE
LA VÉRIFICATRICE GÉNÉRALE DU CANADA |
RÉPONSE
DE LA DIRECTION |
PLAN DE
GESTION
|
|
|
Recommandation 1.37
Agriculture
et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement
Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines
et Développement des compétences Canada devraient élaborer et mettre en œuvre
des plans d’action pour s’assurer que l’information sur le rendement des
programmes est recueillie de façon continue en vue d’appuyer l’évaluation de
l’efficacité des programmes. |
Réponse
de Ressources humaines et Développement des compétences Canada
Recommandation
acceptée. Ressources humaines et Développement des compétences Canada accepte
cette recommandation puisqu’elle reflète l’esprit de diverses politiques du
Secrétariat du Conseil du Trésor, y compris la Politique sur
l’évaluation de 2009. Ainsi, le Ministère recueille et surveille
déjà de façon continue les données sur le rendement pour appuyer l’évaluation
de l’efficacité, notamment en menant les actions suivantes :
• suivre la mise en œuvre des
mesures annoncées dans les réponses de la direction aux évaluations
antérieures qui ont relevé des problèmes relatifs aux données pour les
programmes actuels; |
Élaborer
et présenter un rapport annuel sur la situation de la mesure du rendement,
tel qu’exigé par la Politique sur l’évaluation.
Le
7 juillet 2009, en guise de réponse, la direction a présenté au comité
d’évaluation ministériel une étude de suivi (pour la période de 2004-2005 à
2006-2007). La fréquence et la méthode des mesures de suivi qui seront
utilisées dans l’avenir feront l’objet de discussions au CEM. |
Mars 2010
(mises à jour annuelles)
8 décembre 2009
(établissement de rapports périodique) |
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche |
RECOMMENDATIONS DE
LA VÉRIFICATRICE GÉNÉRALE DU CANADA |
RÉPONSE
DE LA DIRECTION |
PLAN DE
GESTION
MESURE(S)
À PRENDRE |
|
|
| |
• entreprendre des travaux
d’évaluation préliminaires, avant le début officiel des évaluations de
l’efficacité dans le cadre du processus de planification des évaluations,
pour examiner l’état des données sur le rendement et des modèles logiques;
• suivre la mise en œuvre des
nouveaux programmes (p. ex., les initiatives lancées dans le cadre du Plan
d’action économique) pour veiller à ce que soient disponibles les données
administratives et les données sur le rendement nécessaires au soutien des
activités d’évaluation futures.
Le
Ministère entreprend aussi un examen exhaustif ainsi qu’une mise au point et
une validation complètes de son Cadre de mesure du rendement pour le rendre
plus solide et complet, en vue d’appuyer la planification, la surveillance et
la gestion continues en fonction des résultats. La Direction de l’évaluation
participe activement à ce projet. Les progrès réalisés à l’égard du Cadre de
mesure du rendement du Ministère favoriseront le suivi du rendement ainsi que
l’évaluation de la pertinence et de l’efficacité des programmes. |
En
cours
En
cours
Effectuer
un examen exhaustif ainsi qu’une mise au point et une validation complètes du
Cadre de mesure du rendement (CMR), auxquels des SMA de l’ensemble du
Ministère participeront.
Collaborer
avec le Secrétariat du Conseil du Trésor afin de poursuivre le renforcement
continu du CMR. |
En
cours
En
cours
Septembre
2009 (terminé)
Mises à jour annuelles |
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche
DG, Planification
et imputabilité ministérielles, Direction générale de la politique
stratégique et de la recherche |
RECOMMENDATIONS DE
LA VÉRIFICATRICE GÉNÉRALE DU CANADA |
RÉPONSE
DE LA DIRECTION |
PLAN DE
GESTION
MESURE(S)
À PRENDRE |
|
|
Recommandation 1.43
Agriculture
et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement
Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines
et Développement des compétences Canada devraient examiner les avantages
d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le
Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce
sujet à l’intention des ministères. |
Réponse de Ressources humaines et
Développement des compétences Canada
Recommandation
acceptée. Ressources humaines et Développement des compétences Canada a déjà
invité des membres de l’extérieur du Ministère à siéger à son comité
d’évaluation. Le Ministère envisagera de nouveau l’inclusion officielle
d’experts externes à l’actuel Comité d’évaluation du Ministère et se tournera
vers le Secrétariat du Conseil du Trésor du Canada pour obtenir des
recommandations sur ce volet de la Politique sur l’évaluation. |
Discuter
de la possibilité d’inviter des personnes extérieures au Ministère à siéger
au comité d’évaluation ministériel, et modifier le mandat du comité, s’il y a
lieu. |
17 novembre 2009 |
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche |
RECOMMENDATIONS DE
LA VÉRIFICATRICE GÉNÉRALE DU CANADA |
RÉPONSE
DE LA DIRECTION |
PLAN DE
GESTION
MESURE(S)
À PRENDRE |
|
|
Recommandation 1.48
Agriculture
et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine
canadien, Pêches et Océans Canada, et Ressources humaines et Développement
des compétences Canada devraient instaurer des processus systématiques pour
déterminer si leurs évaluations de l’efficacité répondent aux exigences
établies pour l’ensemble du gouvernement et aux besoins ministériels
internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil
du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire
qu’il juge nécessaire à la mise en œuvre de ces processus. |
Réponse de Ressources humaines et
Développement des compétences Canada
Recommandation
acceptée. Ressources humaines et Développement des compétences Canada emploie
actuellement divers processus systématiques pour assurer la qualité et la
pertinence de ses évaluations par rapport aux besoins internes et
gouvernementaux. Le recours à des examens externes par des pairs et à
l’expertise de comités d’évaluation consultatifs fait obligatoirement partie
de nos travaux d’évaluation, en vue de faire en sorte que les évaluations
répondent aux besoins d’information. Nous planifierons des travaux plus
poussés pour déterminer systématiquement si les évaluations répondent aux
besoins du gouvernement et des cadres supérieurs, en s’appuyant sur le
processus annuel d’examen fondé sur le Cadre de responsabilisation de
gestion, qui est dirigé par le Secrétariat du Conseil du Trésor. Le
Ministère recensera les secteurs susceptibles d’être améliorés et fera
rapport à cet égard au comité d’évaluation ministériel. |
En
consultation avec la haute direction, élaborer un plan ministériel
d’évaluation afin d’établir l’orientation, l’ampleur et l’enchaînement des
ressources d’évaluation, de même que les aspects susceptibles d’être
améliorés
Recenser les
aspects susceptibles d’être améliorés au moyen de l’évaluation annuelle
relative au Cadre de responsabilisation de la gestion. Ces lacunes feront
l’objet d’une présentation et de discussions dans le cadre d’une rencontre du
comité d’évaluation ministériel. |
Avril 2010
(mises à jour annuelles)
Avril/mai 2010
(processus annuel) |
DG, Évaluation,
Direction générale de la
politique stratégique et de la recherche |
|