INST Rapport du Comité
Si vous avez des questions ou commentaires concernant l'accessibilité à cette publication, veuillez communiquer avec nous à accessible@parl.gc.ca.
|
CHAPITRE CINQ : LES AMÉLIORATIONS AU SYSTÈME D’ATTRIBUTION DES FONDS DE Le Comité est d’accord avec la formule de l’évaluation par les pairs pour attribuer les fonds de recherche fédéraux, mais croit qu’un certain nombre d’améliorations peuvent être apportées au système. Le présent chapitre porte sur cette question et s’inspire des témoignages entendus durant les audiences au sujet des meilleures pratiques d’évaluation par les pairs et, d’une manière plus générale, de la répartition des fonds de recherche fédéraux. Les faiblesses décelées dans le système Outre les doléances générales déjà exprimées dans les chapitres antérieurs, le Comité déplore d’autres déficiences dans le système d’attribution des fonds de recherche fédéraux : l’insuffisance de la rétroaction donnée aux candidats et des mécanismes d’appel; le manque de données sur l’efficacité de l’évaluation par les pairs en général; l’insuffisance des examens de programmes au sein des organismes; la saturation des pairs évaluateurs; et l’insuffisance des efforts faits par les organismes subventionnaires pour mesurer et communiquer l’impact de la recherche financée par le gouvernement fédéral dans la société canadienne. Le manque d’uniformité ou l’insuffisance de la rétroaction donnée aux candidats Le Comité croit que les organismes subventionnaires pourraient chercher davantage à améliorer et à harmoniser les différents types de rétroaction que les candidats reçoivent à la suite d’une décision de financement, et à se doter d’un mécanisme d’appel officiel et transparent pour traiter les plaintes concernant les décisions. Le Comité signale que les trois organismes donnent une forme quelconque de rétroaction aux candidats après une recommandation de financement, mais que la rétroaction varie à l’intérieur des programmes et entre les programmes, ainsi qu’en fonction de l’organisme concerné. On a dit au Comité que la rétroaction obtenue des organismes subventionnaires n’était pas toujours très utile : [La rétroaction] n’est jamais pareille. Dans certains cas, les auteurs des demandes reçoivent des commentaires qui leur permettent d’améliorer leur proposition et de faire accepter leur demande une prochaine fois. Dans d’autres cas, les informations ne sont pas aussi utiles qu’elles devraient l’être. Je suis certain que cela reflète en partie les pressions qu’exerce le personnel auprès des organismes subventionnaires pour obtenir des commentaires. La situation est particulièrement difficile lorsqu’une ou deux évaluations de l’extérieur sont très positives, mais que la décision du jury est négative. Il est alors impossible de savoir quoi faire pour améliorer la proposition. [Wayne Marsh, président de l’Association canadienne d’administrateurs de recherche universitaire, 43:10:15] De par la loi, les candidats ont accès à leur dossier de demande (mais en vertu de la Loi sur la protection des renseignements personnels, l’opinion écrite d’un évaluateur au sujet d’une demande peut être communiquée à son auteur, mais pas le nom de l’évaluateur). Dans son important Programme de subventions à la découverte, le CRSNG avise les candidats de la décision de financement et envoie peu après les commentaires du jury de sélection, s’il y en a. Les commentaires sont accompagnés du rapport de l’arbitre externe. En l’absence de commentaires du jury de sélection, le candidat peut demander par écrit au CRSNG le rapport de l’arbitre externe. Quant aux Subventions ordinaires de recherche du CRSH, les candidats reçoivent une copie de toute l’information ayant servi à prendre la décision, y compris les évaluations écrites externes et les délibérations du comité. Pour ses principaux programmes de financement de la recherche, les IRSC remet une copie des rapports des arbitres externes, s’il y en a, une double des évaluations des examinateurs internes (une de chacun des deux principaux lecteurs affectés à la demande), et un résumé de la discussion du comité, s’il y en a un, avec la notification de la décision de financement. Au CRSNG et au CRSH, un processus d’appel officiel a été mis en place pour les candidats qui estiment avoir été lésés dans le processus d’évaluation par les pairs. Au CRSNG, les appels doivent être fondés sur une preuve flagrante d’erreur ou de discrimination dans le processus d’examen il incombe au candidat de démontrer l’erreur. Le processus peut varier selon le programme, mais pour le Programme de subventions à la découverte, des consultants externes, haut placés dans le milieu de la recherche et connaissant déjà l’évaluation par les pairs au CRSNG, examinent les appels : Il arrive que des erreurs se produisent et si un candidat estime que sa proposition n’a pas été évaluée adéquatement, il peut se prévaloir de notre processus d’appel et demander une révision de la décision. À ce moment‑là, le CRSNG exige qu’un chercheur éminent qui n’a pas été partie prenante à la décision originale procède à Au CRSH, les appels doivent reposer sur une erreur de procédure ou de fait. Si le CRSH détermine qu’il existe des motifs suffisants d’appel, la demande et toute nouvelle information fournie sont examinées par le comité qui a pris la décision initiale. Les deux organismes reçoivent un nombre relativement faible d’appels chaque année (voir le tableau 2). Tableau 2.
Les IRSC n’ont pas de mécanisme d’appel proprement dit. Toutefois, dans ses principaux programmes de financement de la recherche, les candidats non retenus à un concours peuvent présenter de nouveau leur demande (ou une demande semblable) à un autre concours, et peuvent l’accompagner d’une réfutation de deux pages concernant les points soulevés par les examinateurs ou les critiques que les candidats estiment non fondées. Le Programme de subventions de fonctionnement des IRSC tient deux concours par année (contrairement aux grands programmes de subventions du CSRNG et du CRSH qui en tiennent un par année); l’intervalle entre la réception de l’avis et la présentation d’une nouvelle demande n’est donc que de quelques mois. Le Comité se réjouit du processus en place aux IRSC, car il permet aux candidats de présenter une réfutation des commentaires des examinateurs avec une demande ultérieure, mais déplore que l’organisme ne possède pas de véritable processus d’appel pour ses programmes. Le Comité remarque que certains organismes subventionnaires étrangers, comme l’Australian Research Council, permettent aux candidats de répliquer aux commentaires des arbitres externes avant qu’une recommandation de financement soit faite. Il signale également que le Cross Council Research Forum des conseils de recherche du Royaume-Uni estime qu’il faut offrir aux candidats un « droit de réplique » aux commentaires des arbitres dans le cadre des programmes inter-conseils qui sont saisis de propositions interdisciplinaires. Le Comité encourage les organismes subventionnaires canadiens à envisager la possibilité d’incorporer un tel « mécanisme de réplique » dans leurs grands programmes de subventions importants. Le Comité est conscient qu’un processus de rétroaction et d’appel nécessite passablement d’efforts de la part des organismes et des comités de sélection, et qu’un coût financier y est associé. Il pense néanmoins que les organismes devraient s’efforcer de donner aux candidats le plus de rétroaction possible après une recommandation de financement. Comme les trois organismes travaillent de plus en plus par voie électronique, le fardeau administratif et le coût de la rétroaction pourraient diminuer à mesure que s’implantera la pratique des « affaires électroniques » et que la technologie le permettra (le Comité reconnaît que les gains d’efficacité que pourrait permettre l’envoi électronique de la rétroaction risquent d’être neutralisés jusqu’à un certain point par la question de la protection des renseignements personnels). Le Comité recommande par conséquent : RECOMMANDATION 9 Que le gouvernement du Canada veille à ce que les organismes subventionnaires communiquent au candidat toute l’information figurant au dossier qui a rapport à une recommandation de financement en plus de l’informer de la décision. Un processus d’appel véritable, se limitant aux erreurs perçues de procédure ou de fait, devrait également être en place pour les candidats de tous les programmes d’examen par les pairs, et une tierce partie, autre que le comité de sélection initial, devrait étudier les appels. L’évaluation par les pairs : un mécanisme non éprouvé L’examen par les pairs est souvent décrit comme un mécanisme « rigoureux » ou « une pierre d’assise de l’excellence ». Selon un témoin, toutefois, la valeur de l’examen par les pairs pour attribuer les fonds de recherche est matière de foi, car ce système a été très peu éprouvé : …Nous avons bien peu de preuves scientifiques démontrant l’efficacité générale de l’évaluation par les pairs[…]À tout le moins, un bon travail scientifique suppose des recherches fiables et répétées sur la cohérence des études antérieures et les impacts des décisions prises. [Bryan Poulin, professeur, Université Lakehead, 58:09:30] Le témoin a fait valoir que les bases de données des organismes devraient être ouvertes aux chercheurs intéressés afin qu’ils puissent voir si le système fonctionne bien, et il a ensuite suggéré ce qui suit : Il faudrait diversifier nos investissements tant que nous n’aurons pas déterminé si le système d’évaluation par les pairs est vraiment efficace. Si l’on conclut qu’il ne l’est pas, il faudra le revoir. [Bryan Poulin, professeur, Lakehead University, 58:09:30] Le Comité constate lui aussi la pauvreté des données sur l’efficacité et l’impact de l’évaluation par les pairs dans le système canadien. Il signale toutefois que des études détaillées ont été menées dans des pays comme les États-Unis44 et l’Australie45. Un témoin a laissé entendre qu’il existait une documentation abondante sur l’évaluation par les pairs : La documentation sur l’évaluation par les pairs est vaste et éparpillée. Depuis la naissance des conseils de financement, les commentaires se sont multipliés sur les forces et les faiblesses de l’évaluation par les pairs. Certains ont un caractère L’évaluation interne des programmes et des pratiques des organismes est peut-être insuffisante Le Comité est d’avis que les organismes devraient faire davantage pour évaluer leurs programmes et leurs pratiques, y compris l’évaluation par les pairs, et s’assurer ainsi qu’ils sont efficaces, transparents et adaptés aux besoins du milieu de la recherche. Le Comité note que les organismes mènent des études d’évaluation interne de leurs programmes, mais que l’intervalle entre les évaluations est souvent trop long, dans certain cas, plus de 10 ans46, même pour les principaux programmes de financement. En ce moment, le Programme de subventions à la découverte du CRSNG et le Programme de subventions de fonctionnement des ISRC47 (les principaux programmes de subventions de recherche des deux organismes) font l’objet d’une évaluation. Le Comité donne en exemple, aux fins de l’évaluation de programme interne, le plan proposé par les IRSC. L’organisme compte évaluer tous les programmes à intervalles réguliers : le but est d’examiner les programmes continus tous les cinq ans, les programmes stratégiques de durée déterminée à la fin du mandat (normalement cinq ans), et les programmes en partenariat, qui durent également cinq ans d’habitude, à la fin du protocole d’entente. Par ailleurs, toute l’organisation fera l’objet d’une étude internationale aux cinq ans, et le rendement de chaque institut sera évalué au moment de la nomination (ou de la reconduction) des directeurs scientifiques (aux quatre ans). Le Comité suggère que les examens internes de l’évaluation par les pairs soient effectués seuls et qu’ils n’aient pas à faire partie d’évaluations de programmes plus approfondies. Il signale à ce sujet que le directeur de la National Science Foundation aux États-Unis doit présenter un rapport annuel sur le système d’étude des propositions de la Fondation. Le rapport contient des donnés sommaires sur le nombre de propositions reçues et les sommes attribuées ainsi que sur la formule d’examen des propositions et d’attribution des fonds. Le rapport est affiché sur le site Web de l’organisme chaque année48. Dans les autres pays, les organes de financement (comme l’Economic and Social Research Council au Royaume-Uni) mènent des études indépendantes et périodiques de leurs méthodes d’évaluation par les pairs. Le Comité souligne que les conseils subventionnaires fédéraux du Canada ont parfois étudié les pratiques en matière d’évaluation par les pairs (voir l’annexe 3). Ainsi, le Comité recommande : RECOMMANDATION 10 Que le gouvernement du Canada exige que les organismes subventionnaires effectuent des examens internes plus réguliers de leurs programmes et de leurs pratiques, y compris l’évaluation par les pairs, et à examiner périodiquement les processus de décision des autres organismes canadiens et des organismes étrangers pour s’assurer de disposer des meilleures pratiques d’attribution des fonds de recherche. Les résultats de ces évaluations internes devraient être facilement accessibles au milieu de la recherche et au grand public. La saturation des pairs évaluateurs Comme nous l’avons déjà mentionné au chapitre trois, il est souvent difficile de trouver des arbitres externes ou des jurés de sélection qui soient compétents et indépendants pour évaluer les propositions dans les domaines nouveaux et interdisciplinaires en raison du petit nombre de chercheurs qui travaillent dans ces domaines. Les membres de ces milieux restreints se connaissent et travaillent ensemble généralement; les organismes fédéraux canadiens ont tous des lignes directrices destinées à empêcher qu’un chercheur entre en conflit d’intérêt avec un candidat. Le milieu de la recherche étant relativement exigu au Canada, il peut même être problématique de trouver des examinateurs impartiaux pour les projets de recherche ordinaires. De plus, la création de nouveaux programmes d’évaluation par les pairs dans les organismes fédéraux, les ministères et d’autres organisations (comme la Fondation canadienne pour l’innovation) a fait augmenter le besoin d’évaluateurs et contribue à un phénomène de « fatigue des évaluateurs par les pairs » aux dires de certains. Les organismes subventionnaires ont tenté de réduire les problèmes associés à l’exiguïté du bassin d’évaluateurs en faisant appel à des examinateurs internationaux : La possibilité que l’on se retrouve devant une fatigue des pairs est tout à fait réelle. Et cette situation est particulièrement vraie dans un pays comme le Canada, par comparaison avec les États-Unis, où il y a un nombre limité d’experts qualifiés qui peuvent siéger à ces comités d’examen. Dans des pays comme la Suède, l’Australie et la Nouvelle-Zélande, on utilise abondamment les experts internationaux afin de garantir l’indépendance des processus d’examen ainsi que pour compenser pour la fatigue des pairs. Bien entendu, je sais que des experts internationaux participent aux examens canadiens, et je pense qu’il s’agit d’une tendance de plus en plus répandue. [Alan Winter, président et chef de la direction, New Media Innovation Centre et Conseil d’experts en sciences et en technologie, 55:09:35] Les organismes fixent également une limite au nombre de fois qu’une personne peut être invitée à servir d’arbitre externe dans le cadre d’un programme d’un organisme. Cependant, comme tous les organismes subventionnaires de la planète connaissent les mêmes problèmes, d’autres solutions au manque d’examinateurs s’imposent probablement. Une des options retenues par certains organismes consiste à offrir une forme quelconque d’incitatifs pour remercier les évaluateurs ou leurs universités : Dans le passé, les évaluateurs par les pairs n’étaient généralement pas rémunérés. Il est donc intéressant de noter qu’un certain nombre de conseils subventionnaires envisagent de plus en plus de rémunérer les examinateurs. Au Royaume-Uni, l’Engineering and Physical Sciences Research Council illustre bien ce phénomène. Cette tendance est née de la demande excédentaire des services d’examinateurs : leur temps étant très sollicité, une mesure d’incitation s’impose pour attribuer une valeur aux évaluations reçues. [Fiona Wood, University of New England, Australie, 79:19:55] Dans le programme d’incitatifs à l’intention des arbitres du EPSRC, qui a commencé à titre de projet pilote de trois ans en 2001, les départements universitaires accumulent des points pour les rapports d’arbitre « utiles » renvoyés à temps à l’EPSRC par les chercheurs. En décembre de chaque année, à compter de 2002, les points accumulés par les départements par rapport à l’année universitaire précédente seront convertis en une part du fonds associé au programme, qui se situe à 750 000£ (environ 1,7 million de dollars) pour la première année. Cet argent sera versé globalement aux établissements pour le compte des départements, et les chefs de département pourront s’en servir pour toute utilisation que l’EPSRC considérerait normalement comme une dépense légitime dans le cadre d’une subvention. D’autres organismes subventionnaires recourent eux aussi à une certaine forme de rémunération pour reconnaître et rétribuer le travail des évaluateurs. Au Canada, par exemple, l’Alberta Heritage Foundation for Medical Research rémunère les arbitres externs: Il me faudrait souligner que parce que nous travaillons à l’extérieur de la province, en d’autres termes, parce que des pairs de partout dans le monde participent à nos évaluations, il n’y a vraiment aucune raison pour eux d’aider l’Alberta sauf par altruisme, et l’altruisme a ses limites. Nous devons donc payer cela, ce qui vient ajouter aux coûts de notre système d’évaluation par les pairs, mais je pense que cela en augmente la qualité, car nous formulons une opinion internationale. [Matthew Spence, président et chef de la direction, Alberta Heritage Foundation for Medical Research, 66:10:50] Les trois organismes subventionnaires fédéraux ne rémunèrent généralement pas les membres des comités de sélection, mais ils remboursent les dépenses engagées pour assister aux réunions des comités. Une enquête non officielle sur la question de la « fatigue des pairs évaluateurs », menée par le CRSNG en 2000, donne à penser, qu’en ce moment, ce ne soit pas un problème majeur49. Le Comité est conscient des difficultés associées à la recherche d’arbitres pour les demandes de subventions. Il remarque en revanche que les organismes fédéraux fonctionnent de plus en plus par voie électronique et que, pour les pairs évaluateurs, un des objectifs déclarés de ce médium est de réduire la quantité de travail. Étant donné que la rémunération des arbitres entraîne des dépenses considérables, et que la charge de travail des pairs évaluateurs ne semble pas ingérable en ce moment, le Comité hésite à faire une recommandation de rémunération des arbitres. Il encourage plutôt les organismes à continuer de chercher des moyens de réduire le travail d’évaluation par les pairs sans trop alourdir leurs budgets administratifs. Il faudra peut-être envisager d’autres options, comme payer des arbitres, si ces efforts ne donnent pas le résultat escompté, ou si le travail d’évaluation par les pairs continue d’augmenter. Les résultats et l’impact de la recherche ne sont pas bien mesurés et déclarés Le Comité déplore que les organismes subventionnaires canadiens ne cherchent pas assez à mesurer et à communiquer les extrants, les résultats et les impacts des programmes de recherche fédéraux50. Partout dans le monde, les organismes de financement sont invités à mieux mesurer et déclarer ces données. L’absence de compte rendu des résultats par les organismes subventionnaires peut être lié à plusieurs éléments dissuasifs relatifs aux rapports sur le rendement : Dans le cas de la recherche très risquée, et même de la recherche moins risquée, il arrive souvent que les objectifs initiaux ne sont pas atteints. Certains organismes de contrôle jugeraient que ce sont des échecs. De plus, des études bibliométriques ont démontré que […] peu de chercheurs font de la recherche créatrice. Le résultat varie selon que le critère d’évaluation est le nombre d’articles publiés, le nombre de brevets, le nombre de citations, etc. Cela revient à quantifier les résultats produits lorsque la recherche arrive à terme. Pourquoi les organismes seraient-ils motivés à démontrer la concentration de la productivité chez un petit groupe de chercheurs? [Ronald N. Kostoff, 88:11:10] Un certain « suivi du rendement » est effectué par les organismes subventionnaires canadiens dans les Rapports sur le rendement des ministères déposés au Parlement. Depuis 2001, ces rapports sont censés insister davantage sur le lien entre les ressources et les résultats (c.‑à‑d., les avantages pour les Canadiens) plutôt que de rendre compte globalement des activités des ministères. Le suivi du rendement se fait également à l’interne dans les organismes au moyen des évaluations ponctuelles des programmes. En outre, le Bureau du vérificateur général conduit, au nom du Parlement, des vérifications indépendantes du rendement, de même que des vérifications financières et des vérifications de la conformité, de manière à s’assurer de l’optimisation des ressources consacrées à certains des programmes de ces organismes. Au niveau des candidats, l’évaluation par les pairs considère les extrants et les résultats, mais rarement l’impact, du financement accordé dans le passé par l’organisme. Au niveau de l’organisme, d’autres mesures et d’autres types d’évaluation du rendement sont nécessaires. Il existe différentes sortes de mesures : leur utilité varie en fonction du type de recherche et de la discipline et elles peuvent servir d’indicateurs du rendement de l’organisme. La bibliométrie, ou étude des données quantitatives concernant la publication des articles, revues spécialisées et ouvrages afin d’analyser les tendances et de faire des comparaisons à l’intérieur d’un corpus51, est utilisée par certains chercheurs et quelques organismes pour mesurer les extrants, les résultats et les impacts des programmes de recherche. En bibliométrie, le nombre de publications sert à mesurer l’extrant de la recherche, et les citations (le nombre de fois qu’un document est cité dans les ouvrages) sert à mesurer l’impact. La bibliométrie permet de suivre ou d’évaluer la productivité et l’impact des travaux de recherche d’un groupe donné, comme un établissement, un organisme ou un pays. Le directeur d’une organisation canadienne qui effectue des études bibliométriques a informé le Comité de ce qui suit : Le CRSNG nous a demandé, l’an dernier, d’évaluer les résultats au cours des dix dernières années de son programme subventionnaire. Nous examinons donc la production scientifique et la qualité des rapports publiés par les chercheurs qui ont reçu des subventions[…] C’est la première fois que les IRSC nous demande de réaliser une nouvelle étude et je dirais que les autres conseils le font de façon très sporadique. [Benoît Godin, Observatoire des sciences et des technologies, 66:09:25] Le Comité reconnaît qu’aux fins de l’évaluation des programmes, les données produites par les études bibliométriques doivent faire l’objet de certaines réserves et être mises en contexte puisqu’il existe des problèmes associés à ces données52. Pour les travaux de recherche ayant un potentiel ou un objectif commercial, d’autres mesures de l’incidence économique des travaux de recherche (comme le nombre de brevets et de licences, la création d’entreprises dérivées, etc.) peuvent être examinés à la place ou en plus des indicateurs bibliométriques traditionnels permettant d’évaluer l’impact de la recherche. Certains diront qu’il est difficile, voire impossible, de mesurer l’incidence des recherches en sciences humaines ou sociales, et que les indicateurs de rendement sont davantage conçus pour mesurer l’impact des recherches en sciences appliquées et en technologie. La conception et l’utilité des indicateurs de rendement dans les sciences sociales fait l’objet d’un débat dans ce milieu. Malgré la difficulté de mesurer l’incidence des recherches en sciences sociales, un témoin a suggéré de rehausser d’un cran les efforts de conception et d’utilisation des indicateurs du rendement : Il y a vingt ans, il y a eu un intérêt pour la mesure des impacts, mais on semble s’être dit que c’était trop difficile à mesurer. Cela exige des instruments qui sont inexistants et, il y a des défis méthodologiques importants. Certes, ce n’est pas facile de mesurer les impacts sociaux ou culturels des activités scientifiques, mais nous croyons qu’un effort de la communauté, probablement appuyé par des programmes gouvernementaux, doit être fait pour cette question importante qu’est la mesure des impacts autres que scientifiques[…] [Benoît Godin, Observatoire des sciences et des technologies, 66: 09:50] Le Comité signale que le CRSNG a fourni une certaine quantification des résultats et des impacts de la recherche financée dans son Rapport sur le rendement des ministères 2000-200153 sous la forme de données bibliométriques et du nombre de brevets, de licences et d’entreprises dérivées à la suite des travaux de recherche parrainés par le CRSNG. Bon nombre des chiffres fournis concernent le rendement à l’échelle du pays de sorte qu’il est difficile de cerner la part exacte de la recherche financée par le CRSNG dans ces chiffres et l’incidence des programmes particuliers. Les rapports sur le rendement des ministères produits par le CRSH et les IRSC pour la même année donnent moins de données quantitatives et, dans le cas du CRSH, des données qualitatives moins concrètes sur le lien entre le financement accordé et les résultats et les impacts de ce financement. Le Comité signale que le CRSH a l’intention d’introduire un « Rapport de recherche final » que les bénéficiaires des subventions seront tenus de remplir à la fin de chaque période de subvention. Ce formulaire permettra de recueillir des données sur la productivité des travaux, la dissémination et le transfert des connaissances, la formation, la collaboration internationale et l’effet de levier des ressources financières. L’information recueillie à partir de ces rapports permettra au CRSH de tenir un meilleur relevé des extrants de ses programmes de recherche. Le rapport sera mis à l’essai dans le cadre d’un projet pilote à la fin du printemps 2002, et le CRSH compte lancer officiellement le rapport à la fin juin 2002. Ces formulaires de rapport final sont utilisés par certains organismes étrangers (comme l’Economic and Social Research Council au Royaume-Uni). Les organismes estiment qu’il est difficile de mesurer les résultats ou l’incidence de certains types de travaux puisque l’intervalle entre le financement d’un projet ou d’un programme de recherche et la constatation des retombées socioéconomiques est souvent long. Le Comité en est bien conscient, mais signale que dans ce cas, les organismes devraient mettre l’accent sur des évaluations globales à long terme de l’incidence de leurs programmes de recherche en effectuant des « analyses rétrospectives » en plus des efforts de suivi à plus court terme. Un témoin a affirmé qu’en plus du problème de temps écoulé, il y a celui de calculer les résultats et l’incidence à long terme : En science et en technologie, le suivi des résultats à long terme est difficile. […] La recherche est effectuée à un endroit, elle évolue et devient technologie. Elle est alors développée ailleurs, [et...] peut être commandité par un autre organisme. […] Ça continue jusqu’à son application […] Bref, il est très difficile de suivre un projet de recherche financé et réalisé au départ par un organisme puis de suivre son évolution et son application. [Ronald N. Kostoff, 88:11:10] Bien que le Comité reconnaisse les difficultés associées à l’évaluation des résultats et des impacts de la recherche financée par les organismes, surtout dans des domaines des sciences humaines, il croit que les organismes subventionnaires devraient, dans toute la mesure du possible, lier le budget au rendement et mieux expliquer l’incidence économique, sociétale ou environnementale de la recherche qu’ils financent. Les rapports sur le rendement des ministères, les évaluations de programme internes et le matériel de relations publiques devraient contenir des données d’ordre qualitatif et quantitatif sur les extrants, les résultats et les impacts de la recherche financée par les organismes. Ceux‑ci ont la responsabilité de prouver au gouvernement et aux contribuables qu’il y a « optimisation des ressources » dans les investissements relativement importants dont ils font l’objet. Ces données pourraient également aider les organismes à décider dans quels domaines de recherche il y a lieu de privilégier le financement à l’avenir. Le Comité félicite les organismes d’essayer d’améliorer le suivi du rendement, mais croit qu’ils peuvent faire plus en ce sens. À cette fin, il recommande : RECOMMANDATION 11 Que le gouvernement du Canada veille à ce que les organismes subventionnaires fédéraux prennent des mesures pour mieux mesurer et déclarer les résultats et si possible les impacts de leurs programmes de recherche au profit du grand public. Solutions de rechange à l’évaluation par les pairs Selon les témoignages entendus par le Comité, l’évaluation par les pairs est le moyen le plus efficace d’attribuer les fonds de recherche fédéraux. Certains témoins ont indiqué que sans évaluation par les pairs, des travaux scientifiques de qualité moindre seraient peut-être financés par les organismes subventionnaires : En l’absence d’un bon mécanisme d’évaluation par les pairs, on risque d’avoir un niveau scientifique médiocre, de gaspiller les ressources et, à long terme, de choisir de mauvaises orientations. J’ai des confrères étrangers qui ont réfléchi à l’absence d’évaluation par les pairs dans certains domaines de la science et aux problèmes que cela entraîne. [Peter Johnson, président, Commission canadienne des affaires polaires, 75:09:15] Le Comité a entendu une autre opinion à savoir qu’il fallait plutôt améliorer et même transformer l’évaluation par les pairs. Différentes formules ont été avancées ces dernières années, notamment la méthode de financement en fonction du rendement , la bibliométrie, les prix en argent, les loteries, les subventions globales aux universités (la prise de décisions passe des organismes subventionnaires aux universités), le financement discrétionnaire et l’examen bicaméral. Trois des principales options, qui ont été discutées durant les audiences, sont reprises plus en détail ci‑dessous. Certains chercheurs estiment que la bibliométrie, soit par l’analyse des données de citation ou par les facteurs d’impact des revues spécialisées (le nombre moyen de citations d’un travail de recherche contenues dans chaque revue spécialisée), pourrait compléter l’évaluation par les pairs : L’autre façon dont la bibliométrie peut nous rendre service est en aidant les pairs dans leur décision de financer ou non des travaux de recherche. J’ajouterais que cela ne remplace pas le jugement des pairs, mais peut néanmoins servir d’outil pour aider les chercheurs, la bibliométrie pouvant éclairer les chercheurs en les renseignant quant à la qualité des revues spécialisées qu’ils évaluent et dans lesquelles les rapports des chercheurs sont publiés. [Benoît Godin, Observatoire des sciences et des technologies, 66: 09:25] Utiliser les facteurs d’impact des revues spécialisées comme outil d’information pour évaluer et comparer la qualité du dossier de publication d’une personne ne fait pas l’unanimité car les facteurs d’impact n’ont pas été conçus pour évaluer le travail des particuliers54. Par ailleurs, un facteur supplémentaire de coût et de temps doit être pris en compte si la bibliométrie fait partie du processus d’évaluation : De plus, dès qu’on commence à utiliser les données bibliométriques, il faut commencer à engager des fonds pour obtenir cette information, s’assurer qu’elle est exacte et fiable et qu’elle est bien utilisée par les examinateurs, documenter les problèmes, comment vous les abordez et comment vous les réglez. Un tel ordre de complexité dépasse probablement un certain nombre d’organismes de financement en ce moment. [Fiona Wood, University of New England, Australie, 79:20:20] En 1999, le Medical Research Council (MRC) du Royaume-Uni a lancé une étude pilote pour examiner la possibilité d’incorporer les données bibliométriques dans son processus d’évaluation par les pairs. L’étude pilote a révélé qu’il existait une bonne corrélation entre les résultats de l’évaluation bibliométrique et l’évaluation par les pairs conventionnelle de la progression passée. Cependant, la corrélation des évaluations bibliométriques avec la décision finale a été plutôt faible. La MRC a conclu qu’il n’y avait pas lieu d’utiliser couramment la bibliométrie dans le cadre des évaluations du MRC, puisque les avantages obtenus ne justifieraient pas les coûts et le temps nécessaire pour bien utiliser les données55. L’utilisation des données bibliométriques dans l’évaluation par les pairs a été adoptée par le Wellcome Trust, la plus grande œuvre de bienfaisance axée sur la recherche médicale. Le groupe d’experts neuroscientifiques du Trust (budget annuel d’environ 20 millions de £ ou 45 millions de dollars) se sert des facteurs d’impact modifiés des revues spécialisées, des analyses de citations et du nombre de travaux scientifiques pour aider le jury dans l’étude du dossier scientifique des candidats. Ces données ne sont pas considérées seules, et en fait, certains candidats ayant un excellent dossier ont vu leur demande de financement rejetée pour d’autres raisons (comme une proposition de recherche médiocre)56. Le Comité encourage les organismes subventionnaires à explorer l’utilité et la faisabilité d’incorporer les mesures bibliométriques à l’évaluation par les pairs. Un témoin a dit au Comité que le système actuel d’attribution des fonds de recherche était très imparfait, et a cité des cas précis pour le démontrer. Il a ensuite présenté une autre solution appelée l’examen bicaméral : On pourrait penser que les procédures actuelles d’évaluation par les pairs, en dépit de leurs imperfections, valent mieux que l’allocation des fonds par tirage au sort. Mais, au moins, le tirage au sort donne à l’excellence une chance de s’en tirer. En fait, le système actuel est pire que le tirage au sort, puisqu’il élimine l’excellence par sélection[…] Dans le système bicaméral, la première décision relève du comité des pairs, qui n’évalue que le parcours du candidat, et non le projet proposé par ce dernier. La deuxième décision est prise à l’interne par les spécialistes de l’organisme de financement qui, tout en respectant les fourchettes budgétaires, n’évaluent que le projet proposé par le candidat, et non le parcours de ce dernier. [Donald Forsdyke, professeur, Université Queen’s, 58: 09:50] Dans le système proposé par le témoin, un ratio est établi entre les réalisations des candidats et les fonds reçus. L’organisme prend la cote du candidat fournie par le comité d’évaluation par les pairs, puis décide des fonds dont le candidat a besoin. Ceux‑ci sont alloués suivant une échelle progressive : les candidats en haut de l’échelle reçoivent 100 % de ce qu’on estime être leurs besoins, et ceux de l’échelon suivant reçoivent une proportion moindre. Il en va ainsi jusqu’à ce qu’on atteigne le bas de l’échelle où le candidat peut toucher seulement 10 % de ses besoins. Formule de financement basée sur le rendement Cette solution de rechange à l’examen par les pairs repose sur l’hypothèse que les succès antérieurs sont le meilleur indicateur de réussite future. Selon la formule de financement basée sur le rendement, les chercheurs seraient subventionnés en fonction de leur dossier. En vertu d’un tel mécanisme, les fonds seraient octroyés en fonction d’un algorithme (c.‑à‑d. le montant accordé serait proportionnel au nombre pondéré de publications, de diplômes d’études supérieures, etc.). Un témoin a signalé qu’il existe de grandes similitudes entre l’évaluation bicamérale et la formule de financement basée sur le rendement : Ces deux solutions insistent fortement sur les subventions aux chercheurs établis qui possèdent un excellent dossier, mais elles diffèrent quant à l’évaluation des dossiers. Les deux réduisent au minimum le recours à des experts techniques dans l’évaluation de la partie recherche d’un projet. [Ronald Kostoff, 88:10:10] Le témoin a poursuivi en disant que, étant donné que l’évaluation traditionnelle par les pairs tient surtout compte du dossier du chercheur au moment de recommander ou non une subvention, les deux solutions de rechange sont, en pratique, semblables à l’évaluation traditionnelle par les pairs. La principale différence réside dans l’absence d’experts techniques pour évaluer le projet proposé dans la demande de subvention. Le Comité accueille avec plaisir les suggestions concrètes de modification du système d’attribution des fonds de recherche fédéraux. Il entretient quelques réserves toutefois au sujet du système d’évaluation bicamérale la formule de financement basée sur le rendement. Premièrement, l’absence d’évaluation de la qualité et de la faisabilité de la recherche proprement dite par un groupe d’experts est préoccupant, surtout dans le contexte des propositions axées sur un projet par opposition à un programme. Deuxièmement, l’idée de donner de l’argent à chaque candidat en fonction d’un système d’évaluation bicamérale nous laisse perplexes parce que les fonds sont rares et que des sommes qui pourraient aller à des candidats bien cotés au moment de l’évaluation initiale iraient à des candidats moins bien cotés. Le Comité croit que cette méthode n’est ni efficace ni judicieuse pour répartir l’argent des contribuables. Néanmoins, le Comité encourage les organismes à étudier ces options et les autres formules ou améliorations qui sont proposées au moment d’effectuer des évaluations internes de l’examen par les pairs (voir la recommandation 10). Les solutions de rechange proposées ne manquent pas, mais dans le milieu de la recherche, on ne considère pas que ces options pourraient remplacer tout à fait l’évaluation par les pairs parce que la plupart ne présentent pas l’élément voulu d’indépendance et d’assurance de la qualité. Le consensus général est plutôt que l’évaluation par les pairs peut être perfectionnée mais non remplacée : On ne voit pas vraiment comment les organismes de financement peuvent obtenir autrement l’expertise scientifique nécessaire pour prendre leurs décisions. Tout ce qu’on peut regarder, c’est si la bibliométrie peut faciliter le processus dans les organismes de financement. [Fiona Wood, University of New England, Australie, 79:20:20] En fin de compte, quoique l’évaluation par les pairs aient ses défauts et ses limites, rien ne semble indiquer que les meilleurs chercheurs et les meilleurs projets n’obtiennent pas de financement et que les solutions de rechange proposées puissent améliorer la situation. [Ronald Kostoff, 88:10:10] Le Comité est d’accord et croit que l’évaluation par les pairs est le moyen le plus efficace d’attribuer les fonds de recherche fédéraux. Toutefois, le système peut et doit être amélioré et les organismes doivent absolument examiner et perfectionner régulièrement leurs pratiques d’examen par les pairs pour que l’attribution des fonds de recherche fédéraux soit efficace et transparente et réponde aux besoins changeants du milieu de la recherche et des autres intervenants.
|
