INST Réunion de comité

37^e LÉGISLATURE, 1^re SESSION

Comité permanent de l'industrie, des sciences et de la technologie

TÉMOIGNAGES

TABLE DES MATIÈRES

Le mardi 4 juin 2002

À

1000

Le président (M. Walt Lastewka (St. Catharines))

M. Ronald Kostoff (témoignage à titre personnel)

À

1005

À

1010

À

1015

À

1020

À

1025

Le président

M. Rajotte

M. Ronald Kostoff

M. James Rajotte

M. Ronald Kostoff

À

1030

M. James Rajotte

M. Ronald Kostoff

M. James Rajotte

M. Ronald Kostoff

À

1035

M. James Rajotte

M. Ronald Kostoff

Le président

M. Larry Bagnell (Yukon, Lib.)

M. Ronald Kostoff

M. Larry Bagnell

M. Ronald Kostoff

À

1040

M. Larry Bagnell

M. Ronald Kostoff

M. Larry Bagnell

M. Ronald Kostoff

À

1045

Le président

M. Stéphane Bergeron (Verchères—Les-Patriotes, BQ)

M. Ronald Kostoff

À

1050

M. Stéphane Bergeron

M. Ronald Kostoff

M. Stéphane Bergeron

M. Ronald Kostoff

M. Stéphane Bergeron

M. Ronald Kostoff

M. Stéphane Bergeron

À

1055

M. Ronald Kostoff

M. Stéphane Bergeron

M. Ronald Kostoff

Le président

M. Brent St. Denis (Algoma--Manitoulin, Lib.)

Á

1100

M. Ronald Kostoff

Á

1105

M. Brent St. Denis

M. Ronald Kostoff

Á

1110

M. Brent St. Denis

Le président

Mme Cheryl Gallant (Renfrew—Nipissing—Pembroke, Alliance canadienne)

M. Ronald Kostoff

Mme Cheryl Gallant

M. Ronald Kostoff

Á

1115

Mme Cheryl Gallant

Á

1120

Le président

M. Ronald Kostoff

Mme Cheryl Gallant

M. Ronald Kostoff

Á

1125

Le président

M. Ronald Kostoff

Le président

---

CANADA

Comité permanent de l'industrie, des sciences et de la technologie

---

NUMÉRO 088

l

1re SESSION

l

37e LÉGISLATURE

---

TÉMOIGNAGES

Le mardi 4 juin 2002

[Enregistrement électronique]

À  (1000)  

[Traduction]

    Le président (M. Walt Lastewka (St. Catharines)): À l'ordre, s'il vous plaît.

    Au nom du Comité permanent de l'industrie, des sciences et de la technologie, je tiens à vous remercier d'avoir pris le temps de venir ce matin nous faire part de votre expérience et de vos réflexions sur l'évaluation par les pairs. Je crois comprendre que nous vous avons envoyé un certain nombre de questions et je suis persuadé que le comité en aura d'autres.

    Pour votre information, je précise que le comité se compose de députés du gouvernement et de députés de l'opposition représentant quatre partis. Quand nous nous penchons sur les questions touchant l'industrie, les sciences et la technologie, il semble que nous soyons en mesure de collaborer plus étroitement pour le bien de la science. Nous aurons peut-être des divergences de vues de temps à autre, mais j'espère que nous nous nous en tiendrons au sujet de la séance, l'évaluation par les pairs.

    M. Kostoff, je suggère que nous entendions d'abord votre exposé, puis que nous passions aux questions.

    M. Ronald Kostoff (témoignage à titre personnel): Monsieur le président, mesdames et messieurs les membres du comité, je vous remercie de m'avoir invité à témoigner devant votre comité.

    Tel que convenu avec le personnel du comité, je témoigne à titre de simple citoyen et non pas en tant que représentant d'une quelconque agence fédérale du gouvernement des États-Unis. Dans mon exposé, je vais résumer mes idées sur l'utilisation du système de l'examen par les pairs pour l'octroi des fonds destinés à la recherche. Mon exposé comporte trois parties principales. La première est une brève biographie, tel que demandé par le Dr Acharya. La deuxième est une très brève réponse aux sept questions posées par le Dr Acharya. La troisième partie est une très brève discussion de mes principes pour un examen par les pairs de grande qualité. Je vous ai remis le texte écrit de l'exposé. Je vais me contenter de passer en revue les points saillants du texte écrit.

    J'ai obtenu un doctorat en sciences aérospatiales et mécaniques de Princeton en 1967. J'ai travaillé chez Bell Laboratories pendant neuf ans. J'ai mené des études techniques pour le quartier général de la NASA et des études économiques et financières pour l'administration centrale de AT&T. J'ai passé les huit années suivantes au département de l'énergie des États-Unis. J'ai dirigé la division du développement de la technologie nucléaire, le programme d'études des systèmes à fusion, et un programme de technologie avancée touchant tous les domaines de la production d'énergie. À la même époque, toujours au département de l'énergie, j'ai dirigé un certain nombre d'exercices de grande envergure d'évaluations et d'examens par les pairs.

    Je travaille au Office of Naval Research depuis 1983. J'ai été directeur de l'évaluation technique pendant une décennie. Durant la plus grande partie des années 1980, j'étais chargé de la sélection, de l'attribution des ressources et de l'examen périodique du programme Accelerated research initiatives. Il s'agit de projets multidisciplinaires d'une durée de cinq ans qui représentaient à cette époque environ 40 p. 100 du budget de l'ONR.

    En 1997, j'ai lancé un nouveau projet d'exploration de données textuelles, c'est-à-dire l'extraction d'informations utiles dans un texte. L'objet de l'exercice était d'améliorer l'utilisaiton de la documentation technique mondiale dans l'ensemble du cycle de développement des sciences et de la technologie. En octobre 2000, j'ai prononcé le discours principal à la conférence TTCP International Technology Watch Partnership, tenue à Farnborough (Grande-Bretagne). J'ai signalé à cette occasion les obstacles techniques qui doivent être surmontés pour assurer la réussite du projet de veille technologie mondiale.

    Je vais maintenant répondre aux questions posées par le Dr Acharya.

    Premièrement, la recherche interdisciplinaire est-elle traitée de façon appropriée dans le cadre du processus d'examen par les pairs et du système actuel pour l'attribution des fonds consacrés à la recherche? De nombreux problèmes sont associés à la sélection, la direction, la gestion et l'examen de la recherche interdisciplinaire. Le recours à l'examen par les pairs dans le cadre des processus de sélection et d'examen de la recherche ne représente qu'un seul de ces problèmes. Un article récent aborde cette question plus générale de la recherche interdisciplinaire. J'ai joint cet article au courriel renfermant le texte de mon exposé. Comme on l'explique dans l'article, la recherche interdisciplinaire présente beaucoup plus d'inconvénients que d'avantages, mais l'examen par les pairs peut traiter la recherche interdisciplinaire de manière appropriée, pourvu que l'on prenne soin d'inclure parmi les évaluateurs des représentants de chacune des disciplines de recherche constituantes.

À  (1005)  

    Les organismes subventionnaires devraient-ils avoir des programmes visant à renforcer la capacité de recherche des petites institutions, de manière que leurs chercheurs puissent mieux rivaliser avec les grandes universités pour l'obtention des fonds de recherche? Les États-Unis commanditent des programmes de recherche qui visent à appuyer un certain nombre d'entités sous-représentées, d'institutions sous-représentées, d'États sous-représentés, etc. Le but de ces programmes est d'accroître la participation des entités sous-représentées à l'entreprise de recherche. Ce sont des buts intrinsèquement politiques. Il y a également lieu de se demander si le financement de programmes de ce genre aboutit à de la recherche de grande qualité. Personnellement, je n'ai jamais examiné de données permettant d'établir une comparaison rigoureuse de la performance de ces groupes et institutions subventionnés par rapport à celle des principales institutions, et je n'ai donc rien à ajouter sur l'opportunité, sur le plan technique, d'instituer de nouvelles subventions.

    Est-ce que l'on accorde suffisamment d'argent à la recherche dans des domaines ciblés qui sont d'importance nationale? Comment les États-Unis s'y prennent-ils pour cibler l'attribution des fonds? La plupart des agences ont des conseils consultatifs composés d'éminents scientifiques et spécialistes. Ces groupes identifient des domaines stratégiques d'importance nationale et établissent un ordre de priorité, habituellement de concert avec la direction de l'agence en question. Ces priorités sont ensuite mises en oeuvre par l'établissement de programmes spéciaux, au besoin, ou bien par des conseils et une orientation dispensés à la communauté en question. Certains membres de la communauté américaine de la recherche ont exprimé des préoccupations, craignant que des objectifs stratégiques ciblés puissent établir des paramètres trop contraignants pour la recherche vraiment fondamentale, mais il n'y a pas de consensus sur ce point précis.

    Les extrants, les résultats et les répercussions de la recherche financée par les autorités fédérales sont-ils suffisamment bien mesurés et consignés dans des rapports? Dans la plupart des organisations, la mesure de la performance fait l'objet de présentations très médiocres dans les rapports. Là encore, il y a peu d'avantages à faire rapport de la performance, tandis qu'il y a de nombreux éléments de dissuasion. Faire rapport sur les résultats et les répercussions présente des problèmes différents, par rapport au rapport sur les extrants. Comme les résultats et les répercussions se font sentir sur le long terme, les problèmes sont différents et sont associés au traçage des données et à l'écoulement du temps. Dans le domaine des sciences et de la technologie, il est très difficile de tracer des données sur les extrants sur de longues périodes. L'autre problème associé aux résultats et au temps découle de l'observation que dans la plupart des cas, la recherche exige des années ou même des décennies avant que l'on puisse réaliser des résultats ou des répercussions sur une grande échelle. À ce moment-là, ceux qui ont dirigé ou exécuté la recherche au départ peuvent être disparus depuis longtemps. Quel serait le but pratique de telles données sur les résultats, surtout pour l'évaluation des dirigeants et des chercheurs?

À  (1010)  

    Un témoin a soutenu devant le comité que le système de l'examen par les pairs est inéprouvé. Est-ce vrai? Y a-t-il des solutions de rechange viables à l'examen par les pairs pour l'attribution des fonds de recherche? Inéprouvé est peut-être un mot trop fort. Il n'y a pas eu beaucoup d'effort pour établir une corrélation entre les scores et les recommandations des évaluateurs de propositions dans le cadre de l'examen par les pairs et la qualité et l'impact à long terme des programmes effectivement financés. La plupart des organisations ont une attitude prospective, et non pas rétrospective. De plus, il n'y a pas de consensus quant à la manière de mesurer le succès. Des mesures quantitatives peuvent avoir de multiples interprétations et donner lieu à des pratiques de simulation. Si l'examen par les pairs est également utilisé pour évaluer en aval la qualité et l'impact d'un projet, une méthode subjective est utilisée pour évaluer l'efficacité d'une autre méthode subjective. Après des années d'expérience et des centaines d'examens par les pairs pour la sélection, la direction et l'évaluation de programmes, je peux dire avec assurance que l'examen par les pairs est une aide décisionnelle très utile si les résultats sont utilisés comme il faut et ne sont pas simplement appliqués aveuglément.

    Quant aux solutions de rechange, j'ai écrit en 1997 un livre intitulé Handbook of Research Impact Assessment. Dans ce livre, j'aborde la question des solutions de rechange à l'examen par les pairs. Je vais maintenant résumer deux des principales solutions de rechange. La première est l'examen bicaméral.

    Il y a une association de scientifiques canadiens qui a promulgué l'examen bicaméral. Les demandes de subventions sont divisées en une partie rétrospective majeure, en fait le bilan des auteurs de la proposition, et une partie prospective mineure, à savoir les travaux qui sont proposés, et les deux sont examinés séparément. La partie rétrospective est la seule à faire l'objet d'un examen par les pairs. La partie prospective est examinée à l'interne par l'organisation en question, uniquement au chapitre de la justification du budget. Les fonds sont accordés selon une échelle mobile, remplaçant le système actuel, selon lequel le financement est accordé au complet ou pas du tout. La fraction des fonds demandés qui est effectivement accordée varie en fonction du mérite relatif des projets.

    L'autre principale solution de rechange, qui a été proposée autour de 1997, est une formule fondée sur la productivité. Le principe de base est que le succès antérieur est le meilleur indicateur prévisionnel de la performance future. Les tenants de cette solution proposent que les chercheurs soient financés essentiellement en fonction de leurs réalisations passées, et proposent un algorithme pour l'attribution des fonds.

    Ces deux solutions de rechange favorisent l'octroi de fonds à des chercheurs établis qui ont un dossier solide, bien que la manière d'évaluer le bilan des chercheurs diffère. Dans les deux cas, on minimise le recours à de véritables experts techniques pour l'évaluation de la partie prospective de la recherche proposée. En fin de compte, je suis d'avis que, si l'examen par les pairs comporte des limites et des imperfections, il y a très peu d'indices que les meilleurs chercheurs et les meilleures idées soient laissés en plan, et encore beaucoup moins d'indices que les solutions de rechange décrites ci-dessus permettraient d'améliorer la situation.

    Quels sont les problèmes associés à l'examen par les pairs? Quelles améliorations pourraient être apportées au processus d'examen par les pairs? Les problèmes généralement reconnus peuvent être contrés par mes principes pour un examen par les pairs de grande qualité, décrits dans la partie suivante de mon exposé. Ces problèmes sont le parti pris et l'objectivité des examinateurs, la compétence des examinateurs, la normalisation quand il s'agit de comparer des disciplines très différentes, et la fiabilité. Est-ce que le remplacement d'un jury d'examen par les pairs par un autre jury permettrait d'obtenir des résultats identiques ou semblables? Des améliorations au processus peuvent être obtenues par la stricte application des principes énoncés dans la partie suivante.

    J'en suis venu à la conclusion que le problème le plus grave que présente l'examen par les pairs actuellement est probablement le traitement qui est réservé à la recherche à haut risque. En dépit des nombreuses déclarations des autorités fédérales quant à l'importance d'appuyer la recherche à haut risque potentiellement très rentable, en réalité, il y a très peu d'encouragement et de motivation à promouvoir la recherche vraiment risquée, et il y a par contre beaucoup d'éléments de dissuasion. Les gestionnaires de programme sont rarement et même jamais récompensés pour les échecs qui sont caractéristiques de la recherche à haut risque. L'utilisation de comités pour effectuer l'examen par les pairs, surtout les grands comités qui sont caractéristiques de nombreux organismes subventionnaires, entraîne intrinsèquement des jugements très prudents. L'institution d'encouragements pour le financement de projets à haut risque présentant un potentiel très intéressant en cas de réussite serait une grande amélioration.

À  (1015)  

    Enfin, devrait-il y avoir des évaluations externes ou internes meilleures et plus régulières des programmes et pratiques des organisations? Il faut établir l'équilibre entre la fréquence de l'examen et le ratio coût-efficacité. Depuis l'adoption de la loi intitulée Government Performance and Results Act, on insiste de plus en plus pour évaluer le rendement des organisations et l'on exige de plus en plus l'inclusion de mesures précises pour compléter l'examen par les pairs des travaux de recherche. À un moment donné, le temps et l'effort nécessaires pour se préparer et pour participer à de tels examens deviennent un fardeau trop lourd. Je crois qu'il faut réfléchir davantage et déployer plus d'efforts pour effectuer moins d'évaluations de la recherche, y compris les examens par les pairs, mais de les faire beaucoup mieux.

    Je vais maintenant passer à la dernière partie, les principes d'un examen par les pairs de grande qualité, et je vais m'attarder seulement à deux des principes. Un examen par les pairs de grande qualité comprend deux principaux éléments. Premièrement, il doit faire partie intégrante du processus de gestion stratégique. Deuxièmement, chacune des procédures et chacun des éléments doit être de grande qualité. Dans cette partie, je vais décrire les exigences précises pour que chaque élément soit de grande qualité.

    Il y a d'abord les problèmes associés à la mise en oeuvre. Il y a trois principaux problèmes de mise en oeuvre dans le cas de n'importe quelle aide à la décision de gestion, et l'examen par les pairs n'est que l'un de ces problèmes, à la fois pour la mise en oeuvre concrète et pour la description dans la littérature publiée. Ces problèmes sont que les techniques de soutien de la gestion ont tendance à être considérées comme des accessoires, les techniques de soutien de la gestion sont généralement traitées de façon indépendante, et il y a une grave discordance entre les créateurs des techniques de soutien de gestion et les utilisateurs de ces techniques. J'aborde de façon plus détaillée ces problèmes de mise en oeuvre à l'annexe 1 du mémoire écrit.

    Je vais maintenant parler de quelques-uns des éléments et des procédures.

    L'élément numéro quatre est le rôle, l'objectivité et la compétence des experts techniques dans toute évaluation scientifique et technologique. Chacun des experts doit avoir une compétence technique dans son domaine. La compétence globale de l'équipe d'évaluation doit englober les sciences et la technologie qui ont une importance critique pour le domaine d'intérêt et les disciplines et les technologies qui peuvent potentiellement influer sur les buts et objectifs au niveau le plus élevé de l'évaluation globale. En conséquence, une équipe bien équilibrée doit évaluer ce que j'appelle les aspects du projet de recherche qui consistent à bien accomplir la tâche. Autrement dit, les détails techniques sont-ils abordés comme il faut, les chercheurs s'y prennent-ils bien pour accomplir la tâche qu'ils se sont fixés, et a-t-on choisi les bons programmes pour atteindre les objectifs les plus élevés?

    Il y a encore un autre aspect pour ce qui est de s'assurer que le jury renferme les personnes idoines pour juger si les principaux buts et objectifs sont atteints. Beaucoup d'évaluations par les pairs auxquelles j'ai participé ou que j'ai dirigées, dans un grand nombre d'organismes gouvernementaux fédéraux, ont examiné des programmes de grande envergure en plus de projets individuels. Dans la plupart des présentations, on met l'accent sur les détails techniques et l'on insiste très peu ou même pas du tout sur la stratégie d'investissement. Pourtant, pour des programmes de recherche compétitive faisant appel à un vaste bassin de chercheurs, il y a relativement peu de critiques des détails précis de l'approche technique choisie. Telle a été mon expérience dans la plupart de ces examens. La plupart des chercheurs savent choisir les bonnes équations à résoudre et les meilleures techniques pour résoudre ces équations. La plupart des chercheurs savent quel est le meilleur matériel expérimental à utiliser et savent s'en servir comme il faut. Mais la grande faiblesse qui est invariablement présente dans presque toutes les présentations que j'ai entendues dans le cadre d'évaluations ou d'examens de programmes, c'est la façon dont la stratégie d'investissement est présentée.

À  (1020)  

    Pour présenter de façon complète et crédible la stratégie d'investissement, il faut inclure à la fois un tableau des ressources prévues, la façon dont l'argent sera dépensé dans les différents programmes, mais surtout, le plus important, la raison d'être des priorités qui guident la répartition des fonds. Les présentations que j'ai entendues dans lesquelles on aborde la stratégie d'investissement sont généralement très riches en tableaux, mais très pauvres en raisons d'être.

    Le dernier élément est la connaissance des données à l'échelle mondiale. Il s'agit de comprendre que les projets de science et de technologie créent des systèmes, des activités ou des événements à l'échelle mondiale, et de savoir si ceux-ci sont influencés d'une quelconque façon ou ont un rapport quelconque avec les programmes de science et de technologie à l'étude. Autrement dit, si vous voulez connaître le contexte du programme de S et T que vous examinez, vous devez comprendre ce qui se passe sur la scène mondiale dans le domaine des sciences et de la technologie.

    À l'heure actuelle, il y a de très graves lacunes pour ce qui est d'obtenir une connaissance générale des données mondiales à partir de la littérature technique mondiale, en particulier, et il y a de très sérieuses lacunes pour ce qui est de l'utilisation de la littérature technique dans le cycle complet du développement des sciences et de la technologie, de façon générale. Ces problèmes découlent de lacunes dans les bases de données publiées et dans l'utilisation qui est faite de ces bases de données par la communauté technique. Comme les bases de données mettent en cause la communauté internationale, tout progrès important sur ce front implique la participation de cette communauté. Les raisons de ces lacunes sont présentées de façon plus détaillée à l'annexe 2. L'exposé présenté à l'annexe 2 devrait être d'un intérêt particulier pour le Canada, étant donné que le Canada fait partie intégrante du International Technology Watch Partnership de TTCP, dont l'objectif est d'améliorer la connaissance mondiale des données.

    Cela met fin à mon exposé. Je suis prêt à répondre à vos questions.

À  (1025)  

    Le président: Merci beaucoup. Nous vous sommes très reconnaissants pour votre exposé.

    Pendant la période des questions, nous alternons normalement entre l'opposition et les ministériels.

    Je vais commencer par donner la parole au vice-président du comité et représentant de l'opposition, M. James Rajotte.

    M. James Rajotte (Edmonton-Sud-Ouest, Alliance canadienne): Merci, monsieur le président.

    Merci, docteur Kostoff, d'avoir bien voulu témoigner devant nous aujourd'hui. C'était un excellent exposé, plein de matière. Je tiens absolument à vous en féliciter.

    Vous avez dit pendant votre exposé que pour que l'examen par les pairs soit efficace, les résultats doivent être utilisés comme il faut et ne doivent pas être appliqués à l'aveuglette. Je voudrais que vous nous en disiez plus long là-dessus, notamment comment il faudrait nous y prendre pour bien utiliser ces procédures d'examen par les pairs et ne pas procéder aveuglément.

    M. Ronald Kostoff: Je crois que l'examen par les pairs devrait servir à appuyer le processus décisionnel de la direction, et non pas le remplacer. J'ai vu des organisations où les résultats de l'examen par les pairs étaient primordiaux et, dans une certaine mesure, remplaçaient les prises de décisions par les gestionnaires. On faisait la moyenne des scores obtenus et l'on obtenait ainsi la mesure définitive. J'ai utilisé l'examen par les pairs dans le passé, en particulier quand j'étais au département de l'énergie et que je dirigeais un certain nombre de programmes de grande envergure, mais j'ai toujours considéré les résultats de l'examen par les pairs comme des intrants. J'ai toujours estimé qu'il était de mon devoir, à titre de gestionnaire du programme, de prendre la décision finale. Il est même arrivé à l'occasion que je prenne une décision contraire au consensus qui s'était dégagé pendant l'examen par les pairs, mais je me servais de l'examen par les pairs comme de conseils avisés, plutôt que comme des recommandations catégoriques qu'il faut suivre aveuglément. C'est le sens qu'il faut donner à la déclaration que j'ai faite durant mon exposé.

    M. James Rajotte: L'une des préoccupations que vous avez formulée au sujet de l'examen par les pairs est le problème du parti pris. Supposez que vous, à titre de directeur d'un programme, estimez que le consensus qui s'est dégagé dans le cadre de l'examen par les pairs n'était pas la bonne décision. Comment réfuteriez-vous les perceptions de parti pris de votre part?

    M. Ronald Kostoff: Il y a un certain nombre de façons de contrer les partis pris, à la fois de la part des évaluateurs et de la part du directeur du programme. Dans le cas des évaluateurs, je peux vous dire ce que j'avais coutume de faire; en fait, c'est ce que font bon nombre d'organisations. Pendant le processus de sélection des examinateurs, on a essentiellement une liste de vérification des différentes manières dont l'examinateur pourrait être en conflit avec le promoteur du projet ou le programme qui est proposé. Le fait qu'un examinateur pressenti a un X dans l'une ou plusieurs des cases, autrement dit qu'il ait un quelconque conflit, ne signifie pas nécessairement que la personne en question doit être exclue du jury. Cela dépend de la gravité du conflit, de la perception de la gravité du conflit. Il y a certaines organisations, par exemple les académies nationales, qui effectuent des examens par les pairs et, après qu'un évaluateur pressenti réussit ce premier examen et est choisi pour faire partie du jury d'examen, au début de la procédure, le groupe d'examinateurs se réunit pour faire le point. Chacun des membres du jury décrit le plus complètement possible le conflit dans lequel il se trouve, de sorte qu'au moins, chaque membre du jury connaît les conflits potentiels de tous les autres membres, et ils peuvent en tenir compte pendant les discussions et lors de l'éventuel consensus qui se dégage à la fin.

    Vous soulevez une question intéressante au sujet du parti pris du directeur du programme. Personnellement, je n'ai jamais éprouvé de problème de ce côté. Il est arrivé, surtout lorsque je rejetais une proposition, que le parrain de la proposition n'était pas d'accord avec ma décision. Cela pose toute la question d'un processus d'appel. Quelle sorte de processus d'appel existe-t-il? Quelle sorte de processus d'appel faudrait-il établir? Il est très difficile pour une personne de reconnaître ses propres préjugés. Chacun se croit tout à fait impartial et est convaincu que ce sont tous les autres qui sont affligés de ce problème. C'est pourquoi il est important, à mon avis, d'instituer un quelconque processus d'appel. J'ai eu deux ou trois cas où les gens se sont adressés à l'échelon supérieur de la direction et en ont appelé de ma décision. Dans chaque cas, la direction m'a appuyé dans ma décision. Je sais qu'il y a eu des critiques plus générales relativement à l'absence d'un processus d'appel dans un certain nombre d'organisations, et il y a eu différentes propositions visant à créer de tels mécanismes d'appel, comme il en existe pour les professions juridiques ou médicales.

À  (1030)  

    M. James Rajotte: Merci, docteur Kostoff.

    Je veux faire une observation; je ne sais pas si c'est vraiment une question. Je tiens à vous remercier beaucoup de nous avoir présenté des solutions de rechange à l'examen par les pairs. J'ai trouvé votre analyse excellente à cet égard. Je pense que vous avez raison de dire que les solutions de rechange qui existent, nommément l'examen bicaméral et la formule fondée sur la productivité, sont semblables à l'examen par les pairs. Il n'y a pas autant de différences que l'on pourrait croire. Et vous semblez dire que l'examen par les pairs est la meilleure de ces trois solutions possibles.

    M. Ronald Kostoff: Je crois qu'un examen plus poussé, comme celui que je fais dans mon mémoire écrit, démontre qu'il n'y a pas autant de différence que l'on pourrait croire, parce que les deux solutions de rechange insistent fortement sur les réalisations passées. Or si l'on examine ce qui se passe dans le cas de l'examen par les pairs, si l'on s'attarde aux éléments qui ont pesé de façon importante dans le score final, dans beaucoup de cas que nous avons examinés, c'est la qualité de l'équipe qui est en dernière analyse le critère qui influence le plus les évaluateurs et qui détermine le score obtenu en définitive. Par conséquent, en ce sens, les deux autres solutions et l'examen par les pairs se rencontrent.

    Si vous voulez de plus amples détails sur les solutions de rechange, comme je le signale dans mon mémoire, il y a un certain nombre de scientifiques canadiens dans notre organisation, en particulier Donald Forsdyke et Alex Berezin, et il pourrait être utile de les faire témoigner devant votre comité.

    M. James Rajotte: Dans le cadre de notre étude, nous mettons assurément l'accent sur l'examen par les pairs. Nous discutons aussi de recherche et de développement au Canada, de façon générale. Je voudrais vous poser deux ou trois questions à ce sujet. Cela ne cadre peut-être pas précisément avec votre exposé, mais j'aimerais bien avoir votre avis là-dessus.

    L'une des questions dont nous discutons, c'est la différence de financement entre les sciences naturelles, que l'on appelle communément les sciences exactes, et les sciences sociales et humaines. Les sciences sociales et humaines ont tendance à obtenir moins de fonds, proportionnellement, et d'aucuns disent qu'elles devraient obtenir davantage en proportion des sciences exactes. Est-ce un problème aux États-Unis? Comment composez-vous avec ce problème là-bas?

    M. Ronald Kostoff: C'est en effet un problème. Personnellement, je ne me suis jamais occupé de cette question. Je ne suis probablement pas la meilleure personne à qui poser la question. Ce ne sont pas seulement les sciences sociales. En fait, cela touche toute recherche qui ne semble pas devoir déboucher sur des résultats commerciaux immédiats ou même à long terme. Il y a des éléments, par exemple dans l'étude de la cosmologie et l'étude des planètes extérieures auxquelles se livre la NASA. Quelles seront les retombées commerciales? En fait, les retombées, c'est une meilleure compréhension du monde qui nous entoure. Combien d'argent faudrait-il y consacrer? Il me semble que cela devient presqu'une question d'intuition, plus que quelque chose que l'on pourrait déterminer par une analyse quantitative. Les trois dernières organisations pour lesquelles j'ai travaillé avaient toutes une mission précise. Quand j'examinais le bien-fondé d'une recherche, cela avait toujours à voir avec diverses missions; il s'agissait de comparer l'importance des missions, de comparer l'importance des différentes propositions de recherche par rapport à chacune des missions, et de faire une quelconque analyse quantitative.

À  (1035)  

    M. James Rajotte: Merci.

    Au Canada, nous avons des organisations nationales comme le Conseil national de recherches. Nous avons aussi des organismes de développement régional qui s'occupent de financer la recherche et le développement. Nous faisons un lien avec le développement de diverses régions. Est-ce que les États-Unis financent la recherche et le développement par l'entremise d'organismes chargés du développement régional, ou bien cela se fait-il seulement par l'entremise d'organisations nationales?

    M. Ronald Kostoff: C'est une question que je ne connais pas très bien. Je connais le programme national, mais je ne sais pas très bien ce qui se fait sur le plan régional. Certaines agences peuvent avoir des programmes spéciaux. Cela pose la question des entités spéciales. Il peut y avoir des États sous-représentés, par exemple, et ceux-ci peuvent demander certains fonds spéciaux. S'il y a des programmes plus importants ciblant les régions, je ne les connais pas très bien.

    Le président: Merci, monsieur Rajotte.

    Monsieur Bagnell.

    M. Larry Bagnell (Yukon, Lib.): Merci.

    J'aime bien votre idée au sujet des encouragements à prendre des risques. L'un des principaux problèmes de l'examen par les pairs est le fait que les gens ont une pensée orthodoxe: si quelque chose d'aussi spectaculaire avait été une bonne idée, on l'aurait déjà fait ou bien on y aurait déjà pensé. Les grandes innovations dans l'histoire, les grandes expériences, les grandes découvertes n'auraient probablement jamais été faites si l'on avait appliqué l'examen par les pairs. J'aime bien l'idée du risque. Je suis peut-être en désaccord quant à la raison qui explique l'extrême prudence du groupe. Je pense que c'est pour la raison que j'ai énoncée, par opposition au fait qu'il s'agit d'un groupe nombreux. Les études sur les prises de décisions ont montré que les gens qui sont membres d'un groupe prennent en fait des décisions plus risquées que des particuliers.

    Voulez-vous commenter cela?

    M. Ronald Kostoff: Je ne l'ai pas constaté. J'ai plutôt constaté que lorsqu'un groupe de personnes se réunissent, ils dégagent un consensus qui tend vers la moyenne, et non pas vers le plus risqué. Toute mon expérience m'a appris que les recherches les plus risquées sont plutôt appuyées par un directeur de programme qui dispose d'une grande marge de manoeuvre pour prendre ses propres décisions et qui est prêt à prendre des risques. Je n'ai pas vu de comités, surtout des comités nombreux, qui soient capables et désireux d'appuyer des recherches très risquées. Je pense que c'est la mauvaise manière de procéder si vous voulez vraiment appuyer des recherches à haut risque et à rendement potentiel élevé.

    M. Larry Bagnell: Quels encouragements sont offerts aux États-Unis pour la recherche plus risquée? Ou bien est-ce qu'il incombe au directeur de programme de prendre le risque?

    M. Ronald Kostoff: En un sens, la décision incombe vraiment au directeur de programme. Beaucoup d'organisations, tout au moins dans leur charte, appuient la recherche à risque élevé et à rendement potentiel élevé. On en parle beaucoup. En fait, c'est vraiment l'un des grands rôles de la recherche financée par le gouvernement. À mon avis, s'il y a une chose que le gouvernement fait, surtout dans l'économie d'aujourd'hui, et que l'industrie en moyenne ne fait pas, c'est d'appuyer des programmes qui présentent un risque très élevé. L'industrie est peu encline à courir des risques. S'il y a un rôle pour le gouvernement en partenariat avec l'industrie, c'est de travailler en première ligne pour éliminer une grande partie du risque que l'industrie ne voudrait pas assumer d'elle-même. C'est l'un des véritables problèmes lorsque les organisations gouvernementales ne financent pas les travaux à haut risque. Elles se trouvent à faire essentiellement ce que l'industrie devrait faire.

    À mon avis, il doit y avoir une démarcation très nette entre le rôle du gouvernement dans la recherche et le rôle de l'industrie. Je pense que le niveau du risque constitue une bonne mesure pour déterminer cette ligne de démarcation. Il est vrai que tout cela est bien beau sur papier et qu'il est facile de faire des déclarations, mais le risque, surtout le risque élevé, signifie qu'un grand nombre des programmes qui sont lancés ne réussiront pas à atteindre les objectifs annoncés. Cela ne veut pas dire que les programmes en question ne valent rien, parce qu'ils peuvent s'orienter dans d'autres directions et peuvent déboucher sur des renseignements utiles. Ils peuvent échouer, quel que soit le sens que l'on donne à ce terme, mais on aura au moins obtenu quelques nouvelles informations.

    Le problème, quand on a un grand nombre de programmes qui échouent, c'est de savoir quels gestionnaires de programme il faut récompenser? Car, en un sens, c'est là l'essentiel de la gestion des programmes. Quelles récompenses seront accordées aux gestionnaires de programme? Si un gestionnaire de programme enregistre un certain nombre d'échecs, il n'est habituellement pas récompensé. C'est vraiment le succès qui permet aux gens d'obtenir des récompenses. C'est là le véritable problème. Je n'ai pas vraiment de solution à offrir, sauf la suggestion d'embaucher des gens qui, essentiellement, sont disposés à prendre des risques et à accepter le risque d'échouer. Cela devient une question très personnelle. Je ne vois pas comment on pourrait légiférer pour obliger les organisations à prendre des risques.

À  (1040)  

    M. Larry Bagnell: Je pense que le problème est encore même pire que ce que vous avez dit. Si l'on va encore plus loin, jusqu'au niveau politique, tous ces échecs à l'issue de programmes risqués deviendront évidemment des cibles politiques permettant de s'en prendre aux membres du gouvernement en place; tous s'empresseront de dénoncer le projet ridicule que l'on a accepté de financer. Je ne vois pas comment vous pourriez régler ce problème.

    M. Ronald Kostoff: Cela dépend vraiment du type de personnes qui occupent les postes de surveillance au gouvernement; il s'agit de savoir s'ils ont des motifs politiques ou bien s'ils sont intéressés à faire progresser les sciences et la technologie. C'est là un problème. Plus le programme est important, plus les risques sont élevés, plus l'échec est flagrant, et plus le dossier devient visible. Et cela devient alors une cible privilégiée. C'est un grave problème.

    M. Larry Bagnell: Je viens d'une région rurale et nous avons de petites institutions qui ont donc moins de chances d'obtenir des fonds. Existe-t-il aux États-Unis des programmes quelconques qui garantissent que les collèges plus petits, moins compétents ou moins avancés ont accès aux fonds destinés à la recherche?

    M. Ronald Kostoff: Oui. Comme je l'ai dit, il y a un certain nombre de programmes qui visent à appuyer les entités sous-représentées. J'en avais dressé une liste, mais je l'ai laissée à mon bureau. Le département de la défense a un programme de ce genre; je crois qu'il s'appelle «depth score». Il met l'accent sur les États qui sont sous-représentés dans l'effort national de recherche. Les institutions des ces États peuvent alors présenter des propositions pour obtenir les fonds attribués à ce programme. Il y a aussi d'autres programmes. Il y a des programmes qui ciblent les institutions minoritaires. Il existe des programmes qui visent à aider ces institutions en particulier.

    La révolution de l'Internet a entraîné un phénomène intéressant. Auparavant, surtout dans un endroit comme le Canada, où il y a des territoires très isolés, les chercheurs pouvaient être vraiment isolés des grandes institutions situées peut-être à Toronto ou Québec; aujourd'hui, grâce aux liaisons Internet, beaucoup de chercheurs peuvent travailler presque comme s'ils étaient sur place, dans les grandes institutions. Je pense que l'éloignement géographique de beaucoup de ces institutions plus ou moins isolées peut être surmonté en partie par de meilleures liaisons Internet.

À  (1045)  

    Le président: Merci beaucoup monsieur Bagnell.

    Monsieur Bergeron.

[Français]

    M. Stéphane Bergeron (Verchères—Les-Patriotes, BQ): Merci, monsieur le président.

    Merci beaucoup, monsieur Kostoff, d'avoir accepté notre invitation. Vous nous avez offert un certain nombre d'informations qui sauront certainement enrichir notre réflexion sur la question. Je dois d'ailleurs saluer la façon très méthodique dont vous avez répondu aux questions de notre recherchiste. Nous vous en savons gré.

    Cela étant dit, j'aimerais revenir sur la différence entre les sciences pures et naturelles et les sciences humaines et sociales. Il existe au Canada une disproportion entre le financement de la recherche en sciences pures et naturelles et le financement en sciences humaines et sociales. Cette disproportion s'explique de plusieurs façons, notamment par le fait que les coûts de la recherche en sciences pures et naturelles sont plus élevés que ceux de la recherche en sciences humaines et sociales. Mais cela s'explique peut-être également par cette espèce de jugement qui est porté par la société en général quant à la valeur des sciences pures et naturelles et à celle de la recherche en sciences humaines et sociales. Il y a donc une disproportion dans le financement au Canada, une disproportion que nous tentons de régler d'une certaine façon.

    Est-ce qu'on constate une disproportion semblable entre le financement de la recherche en sciences pures et naturelles et le financement de la recherche en sciences humaines et sociales aux États-Unis?

[Traduction]

    M. Ronald Kostoff: C'est une question que je n'ai pas étudiée personnellement. Je suppose qu'il y a beaucoup plus d'articles publiés dans les sciences naturelles que dans les sciences sociales. Depuis cinq ans, je travaille dans ce domaine de la tomographie de textes, et je passe régulièrement en revue un grand nombre d'importantes bases de données. Parmi les bases de données que j'utilise régulièrement, il y a l'index des citations en sciences et l'index des citations en sciences sociales. Habituellement, le nombre d'articles publiés est deux ou trois fois plus élevé dans les journaux de sciences naturelles. Je suppose que cela reflète essentiellement la disproportion du financement.

    Les sciences naturelles, dans une grande mesure, mais pas complètement, soutiennent l'économie, soutiennent la défense nationale, de sorte qu'une grande partie de l'activité économique dicte le besoin de recherche dans ces domaines particuliers. Pour une bonne part, les sciences sociales, en particulier les sciences humaines, ne sont pas mues par de tels facteurs. La motivation y prend plutôt la forme de la satisfaction personnelle, des connaissances personnelles et des connaissances sociales, mais ces disciplines ne mettent pas en jeu les mêmes intérêts commerciaux et de sécurité nationale qui dictent le mouvement des sciences physiques. Je pense donc qu'il y a un écart important et que cet écart persistera tant et aussi longtemps que cette recherche sera mue par des impératifs commerciaux et de défense nationale.

À  (1050)  

[Français]

    M. Stéphane Bergeron: En ce qui concerne le soutien financier aux petites institutions d'enseignement et de recherche, on a déterminé deux façons de résoudre directement ou indirectement le problème. La première façon, qui est, semble-t-il, celle qui est en vigueur aux États-Unis, consiste à créer des programmes spéciaux pour financer la recherche dans les petites institutions universitaires. Selon moi, le problème que comporte cette orientation est qu'on ne met plus nécessairement l'accent sur l'excellence, mais plutôt sur l'appui à quelques institutions bien ciblées.

    Pour ce qui a trait à l'autre façon que nous avons envisagée pour appuyer la recherche, je reviens à la problématique du sous-financement des sciences humaines et sociales. On a constaté que très souvent, les petites universités se spécialisaient dans les programmes de recherche en sciences humaines et sociales. Or, en élevant au niveau national le financement des sciences humaines et sociales, nous pourrions réussir, par la bande, à soutenir davantage les efforts de recherche dans ces petites institutions universitaires.

    Pensez-vous que c'est une façon pertinente ou positive d'envisager le financement des petites institutions universitaires?

[Traduction]

    M. Ronald Kostoff: Vous proposez donc de subventionner les sciences sociales dans les petites universités afin d'aider celles-ci?

[Français]

    M. Stéphane Bergeron: Ce n'est pas tout à fait cela. En fait, l'idée est simplement d'augmenter le financement accordé aux sciences humaines et sociales, ce qui, par ricochet, devrait avoir pour effet de permettre à de petites institutions d'enseignement universitaire, qui se spécialisent généralement en sciences humaines et sociales, d'accéder plus facilement à du financement. Elles pourraient ainsi se développer en tant qu'institutions de recherche.

[Traduction]

    M. Ronald Kostoff: Cela veut dire que, fondamentalement, vous devez prendre la décision délibérée d'infléchir la proportion du financement accordé aux sciences sociales par rapport aux sciences naturelles. Si l'on prend une telle décision, on se trouve à dire, parce que les petites institutions ont généralement des installations plus limitées pour faire de la recherche en sciences naturelles, qu'elles obtiendraient probablement davantage d'argent si l'on donnait plus d'argent pour les sciences sociales. C'est probablement une façon raisonnable de s'y prendre, si vous voulez injecter davantage d'argent dans les sciences sociales. C'est vraiment une décision qui incombe au législateur. C'est une façon d'injecter davantage d'argent dans ces petites universités.

[Français]

    M. Stéphane Bergeron: Est-ce une chose à laquelle on assiste aux États-Unis? Est-ce qu'on voit ce genre de truc pour soutenir les petites institutions aux États-Unis?

[Traduction]

    M. Ronald Kostoff: Je répète que je suis mal placé pour répondre à des questions sur le financement des sciences sociales. Je ne connais pas vraiment bien ce domaine.

[Français]

    M. Stéphane Bergeron: Je comprends fort bien. J'ai peut-être une façon de lier la question que je viens de poser à une autre.

    Au niveau des organismes subventionnaires au Canada, on a choisi de ne pas financer les coûts indirects liés à la recherche. Pensez-vous qu'il est important pour les organismes subventionnaires de financer également les coûts indirects liés à la recherche? Aux États-Unis, est-ce que les organismes subventionnaires au niveau gouvernemental financent en partie ou en totalité les coûts indirects liés à la recherche?

À  (1055)  

[Traduction]

    M. Ronald Kostoff: À ma connaissance, les coûts indirects font partie intégrante du coût total proposé. Donc, quand des fonds sont accordés, c'est pour le montant total, qui inclut les frais généraux associés aux travaux de recherche en question. Je ne pense pas que les organismes subventionnaires s'occupent de cela.

[Français]

    M. Stéphane Bergeron: Tout comme le Canada, les États-Unis constituent un État fédéral comprenant des États fédérés. Il ne s'agit donc pas d'un État unitaire. Comment la coopération s'organise-t-elle entre les différents niveaux de gouvernement aux États-Unis en matière de recherche et d'enseignement? Comment la collaboration s'établit-elle au niveau du financement de la recherche et des priorités au niveau de la recherche, par exemple? C'est quelque chose qui nous intéresse évidemment. On aimerait avoir un peu d'éclairage sur ce qui se passe à l'étranger, dans d'autres États fédéraux, par rapport à la collaboration fédérale étatique au niveau de la recherche.

[Traduction]

    M. Ronald Kostoff: Il y a de nombreux liens différents, et non pas un seul en particulier. Il y a des programmes spéciaux, par exemple les initiatives de recherche multidisciplinaire. Ce sont généralement des programmes mettant en cause de nombreuses institutions et disciplines. Des montants spéciaux sont mis de côté pour ces projets, qui font l'objet de concours spéciaux. Les principaux chercheurs de différentes institutions sont libres d'établir les liens qu'ils souhaitent et de présenter des propositions conjointes s'ils estiment que c'est à leur avantage. Ainsi, quand je dirigeais des programmes, j'étais saisi de différentes propositions conjointes émanant d'organisations différentes dont les effectifs avaient établi des liens de collaboration. Chaque organisation apportait sa pierre à l'édifice commun et nous financions le projet globalement. Je pense donc que ces liens se créent en grande partie à la base et ne sont pas nécessairement établis par le gouvernement.

    Dans mon introduction, quand j'ai évoqué mes antécédents à l'ONR, j'ai parlé de programmes de recherche accélérée. C'était de grands programmes étalés sur cinq ans et engageant des millions de dollars. Chacun de ces projets mettait en cause plusieurs disciplines différentes. Habituellement, un certain nombre d'organisations différentes avaient uni leurs forces pour lancer le projet parce qu'elles avaient besoin de spécialistes dans de nombreuses disciplines pour effectuer leurs travaux et qu'aucun des groupes en question ne possédait à lui seul les compétences voulues. C'est donc un autre exemple d'institutions qui avaient uni leurs forces au niveau de la base afin d'aborder un problème sous tous les angles avec différents intervenants.

    Donc, pour répondre à votre question, il y a à la fois des programmes officiels qui réunissent différentes institutions, et aussi des institutions qui joignent leurs forces de leur propre initiative pour proposer des programmes d'assez grande envergure.

    Le président: Merci beaucoup, monsieur Bergeron.

    Monsieur St. Denis.

    M. Brent St. Denis (Algoma--Manitoulin, Lib.): Merci, monsieur le président, et merci beaucoup à vous, docteur Kostoff, d'avoir pris le temps de discuter avec nous.

    La communauté de l'examen par les pairs, les gens qui aident nos gouvernements, ainsi que le vôtre et ceux d'autres pays à faire les meilleurs choix quant aux projets qu'il y a lieu de financer, pourriez-vous nous parler un peu de cette communauté, de votre point de vue? S'agit-il d'une communauté de gens qui travaillent isolément? Je pose l'hypothèse qu'aucun de mes collègues ici présents à la table n'a jamais été membre d'un jury d'examen par les pairs; moi, en tout cas, je ne l'ai jamais été. Travaillent-ils isolément, chacun de leur côté? Se rencontrent-ils à des conférences? Existe-t-il une norme qu'un tel examinateur doit respecter? Présente-t-on sa candidature pour être choisi comme examinateur? Je suppose que l'on se fait payer en fonction du montant qui est demandé pour financer le projet. Pourriez-vous nous dire quelques mots sur la communauté des examinateurs? Car tout ce système est fondé sur la qualité et la nature de cette communauté.

Á  (1100)  

    M. Ronald Kostoff: Il y a différents types d'examens par les pairs et différents types de demandes. Il y a l'examen par les pairs des propositions, il y a l'examen par les pairs des professeurs d'université candidats à la titularisation, et il y a l'examen par les pairs de projets. Il y a aussi divers types de gens dans cette communauté. Il y a ceux qui dirigent les examens par les pairs, et il y a un certain nombre d'organisations qui ont été établies à cette fin, la plus connue aux États-Unis étant l'Académie nationale des sciences. En fait, c'est plutôt le Conseil national de recherche, qui est le bras administratif de l'Académie nationale des sciences. Ils ont des gens qui dirigent divers conseils et commissions, qui mettent sur pied des jurys d'examen. Ils s'occupent d'examiner des programmes, parfois des promoteurs de projets de grande envergure.

    Je ne crois pas que les gens soient payés pour le temps qu'ils consacrent à cette tâche. Par exemple, dans notre département en particulier, nous avons un examen annuel qui est mené sous les auspices du Conseil national de recherche et son office des études navales. Ils réunissent un groupe d'experts et ils défraient ces experts de leurs coûts de déplacement et leur versent une indemnité quotidienne, mais pas d'honoraires comme tels. Je dirigeais des examens par les pairs à l'ONR et au département de l'énergie. Personnellement, je n'ai jamais payé d'honoraires à un examinateur. Je versais une indemnité journalière et je payais les frais de déplacement.

    Il y a donc les gens et les organisations qui dirigent ces examens. Il y a aussi des gens qui font des études sur le système d'examen par les pairs, notamment Fiona Woods, qui a déjà témoigné devant votre comité. J'ai fait moi-même quelques études de ce genre. La plupart sont des universitaires et ils font des études sur l'efficacité de l'examen par les pairs et proposent des améliorations.

    Le dernier groupe, qui est le groupe le plus important, est celui des examinateurs eux-mêmes. Ces gens-là, pour la plupart, par exemple dans le domaine des sciences naturelles, sont généralement des spécialistes techniques dans le domaine précis qui fait l'objet de l'examen. Constituent-ils une communauté? Ils sont des experts reconnus dans leur communauté. Ce sont des gens qui jouissent d'un certain prestige dans la communauté scientifique. De là l'utilisation du mot «pair»: ce sont des gens qui ont un certain prestige dans leur secteur de la communauté scientifique et technique. Il y a différentes manières de définir ce qui constitue un pair. Si vous regardez dans le dictionnaire, vous verrez qu'un pair est une personne semblable quant à la fonction, la situation sociale. Donc l'examen par les pairs, c'est un examen effectué par des personnes qui occupent le même rang que d'autres personnes. Cela ne veut pas nécessairement dire que ces personnes sont dans la même discipline technique précise.

    Quand je procède à l'examen par les pairs de technologies données, je fais appel à titre d'examinateur non seulement à des experts dans ces technologies, mais aussi à des gens qui peuvent être des spécialistes des opérations, des gens qui ont une expertise dans le développement de la technologie de pointe. Si j'examine des travaux de recherche, par exemple, je vais recruter des technologistes ausis bien que d'autres chercheurs. D'habitude, je recrute un groupe de gens divers qui, d'une façon ou d'une autre, seront tous à un moment donné touchés par cette recherche. L'interprétation que je donne du mot «pair», c'est que les personnes en question occupent toutes un rang égal dans leur communauté respective.

    Il y a un certain nombre d'organisations qui donnent une interprétation beaucoup plus étroite du mot «pair». Pour certains, un pair est une personne qui possède une connaissance technique précise égale à celle du promoteur du projet. C'est là une interprétation très restrictive, et le problème, quand on recrute seulement ce type de pair, comme je l'ai dit dans mon exposé, c'est qu'un examen comporte deux aspects: il faut voir d'abord si le travail sera bien fait, mais ensuite s'il s'agit bien du bon travail. Si l'on recrute seulement des gens qui possèdent des connaissances techniques égales à celles du proposeur, ces gens-là seront très bons pour évaluer la proposition sous l'angle «le travail sera-t-il bien fait?», mais ce ne sont peut-être pas les personnes les mieux placées pour évaluer l'aspect «est-ce bien le bon travail à faire?», parce qu'ils s'attachent trop étroitement à un détail en particulier ou à une approche précise et qu'ils ne prendront peut-être pas en compte les différentes approches qui sont nécessaires pour atteindre les objectifs plus généraux.

Á  (1105)  

    J'ai donné une longue réponse à votre question. Les pairs sont en fait des gens bien connus dans la communauté technique qui peuvent faire des observations à valeur ajoutée sur les propositions ou programmes en question.

    M. Brent St. Denis: Je vous remercie. La comparaison pourra sembler étrange, mais cela me fait penser à la controverse du patin artistique aux Jeux olympiques. Les juges du patin artistique sont des bénévoles, et il est question d'instituer un système de juges rémunérés pour tenter d'éliminer certains problèmes qui étaient flagrants, du moins d'après ce qu'on en dit dans les médias. Il est possible qu'il n'y ait aucun problème dans le système d'examen par les pairs, peut-être bien que ce système qui est plus ou moins bénévole fonctionne assez bien. Si je comprends bien, cela doit fonctionner relativement bien.

    M. Ronald Kostoff: C'est une observation intéressante. Je n'ai pas vraiment abordé la question de la rémunération. Je n'ai pas vraiment perçu de problème majeur relativement à la rémunération dans l'examen par les pairs. Quelle qu'en soit la raison, les gens, tout au moins au niveau des administrations centrales, sont tout à fait disposés à faire un examen sans toucher aucun salaire. Certains de nos laboratoires se chargent d'examens par les pairs. Ils versent alors une certaine indemnité aux personnes bénévoles. Ils peuvent leur donner quelques centaines de dollars pour une comparution d'une journée.

    Pour ce qui est de l'examen par les pairs de documents manuscrits, pour autant que je sache, il n'y a aucune rémunération pour cela, et je suis moi-même examinateur pour un certain nombre de journaux scientifiques. En un sens, du moins hypothétiquement, il pourrait y avoir un problème associé à l'absence de rémunération. Si quelqu'un présente un article destiné à la publication et qu'il fait l'objet d'un examen par les pairs, on est en présence d'une personne qui peut avoir passé des centaines ou même des milliers d'heures à rédiger cet article. Cette personne connaît la question dans les moindres détails. Les examinateurs, par contre, peuvent passer une heure ou quelques heures par jour, pendant deux jours, à faire l'évaluation. Il y a un déséquilibre majeur dans l'effort qui est consacré à la rédaction de cet article, en comparaison de l'effort consacré à l'évaluer, mais il n'en demeure pas moins qu'un examen négatif peut ruiner tout le travail positif qui a été déployé pour écrire l'article, alors que les évaluateurs auront passé beaucoup moins de temps à réfléchir à la question.

    La rémunération permettrait, tout au moins dans le cas de l'examen d'un manuscrit, de forcer les examinateurs, du moins il faut l'espérer, à consacrer davantage de temps à l'étude de l'article en question. L'un des problèmes qui se posent dans toute cette question des examens, c'est que toutes les organisations, qu'il s'agisse de revues ou d'agences fédérales, veulent les meilleures personnes possible pour se charger des examens. Quand ils rédigent un rapport, ils aiment pouvoir dire qu'ils ont recruté les meilleurs cerveaux. En conséquence, il y a un effet non linéaire. Il y a un nombre relativement restreint de personnes qui sont bombardées de demandes de journaux et d'agences fédérales qui réclament leur participation à une foule d'examens. Les meilleurs scientifiques passent beaucoup de temps à refuser toutes sortes de demandes et, quand ils décident de participer, leur temps est très limité.

    La nature même du système veut que l'on obtienne pour ces examens une très petite partie du temps des meilleures compétences. C'est parce qu'on ne les paye pas. La rémunération permettrait d'obtenir que les meilleures compétences consacrent un peu plus de temps à la tâche qu'on leur confie, pour que ce temps soit davantage compatible avec le temps que l'auteur a passé à rédiger la proposition ou l'article. C'est un problème qui n'est pas vraiment abordé dans la littérature que j'ai consultée.

Á  (1110)  

    M. Brent St. Denis: Merci beaucoup, monsieur.

    Le président: Merci, monsieur St. Denis.

    Madame Gallant.

    Mme Cheryl Gallant (Renfrew—Nipissing—Pembroke, Alliance canadienne): Quand vous nous avez parlé du financement des petites institutions, vous avez dit que les objectifs sont intrinsèquement politiques. Pourriez-vous nous en dire plus long là-dessus?

    M. Ronald Kostoff: Quand les objectifs sont purement techniques, on n'a pas vraiment besoin de programmes spéciaux ou de subventions. La concurrence en elle-même débouchera sur les meilleurs résultats techniques. À chaque fois que j'ai vu de tels programmes destinés à certaines institutions spéciales ou groupes particuliers, ce sont généralement des subventions et quelqu'un a pris la décision politique que ces groupes ont besoin d'un financement plus généreux pour qu'il y ait un meilleur équilibre entre eux et les groupes ou institutions les plus réputés. C'est mon interprétation du terme politique, c'est-à-dire une décision prise dans un contexte autre qu'une concurrence libre et purement technique.

    Mme Cheryl Gallant: Au sujet des rapports sur le rendement, vous avez dit qu'il y a beaucoup de facteurs de dissuasion à cet égard. Pourriez-vous nous en énumérer quelques-uns?

    M. Ronald Kostoff: Dans le cas de la recherche à haut risque, et même de la recherche moins risquée, il arrive très souvent que les objectifs initiaux de la recherche ne sont pas atteints. Certaines organisations de surveillance peuvent percevoir cela comme un échec. De plus, les études bibliométriques effectuées par notre organisation et d'autres organisations ont montré que les recherches les plus fécondes sont le fait d'un nombre relativement restreint de chercheurs, et ce résultat est obtenu peu importe que l'on mesure le nombre d'articles publiés, le nombre de brevets, le nombre de citations, etc. En particulier dans le cas des extrants, c'est-à-dire la quantification des produits à court terme, pourquoi les organisations seraient-elles motivées à montrer la concentration de la productivité parmi un nombre relativement restreint de chercheurs?

    Quand il s'agit par contre des résultats et des répercussions, auxquels bien des gens semblent maintenant accorder beaucoup d'attention, le problème est différent. Les résultats et les répercussions ont une portée beaucoup plus vaste que celle des extrants. Ces facteurs convergent vers des intervenants individuels et contribuent dans une certaine mesure à réduire les écarts de productivité entre les intervenants. À cause de la nature à long terme des résultats et des répercussions, les problèmes sont différents et sont associés au suivi des données et à la chronologie. C'est un problème critique auquel nous sommes confrontés régulièrement.

    Pour les sciences et la technologie, il est difficile de faire le suivi à long terme des extrants. Quand on fait de la recherche, celle-ci est menée dans une organisation donnée. Elle débouche sur un développement technologique. Celui-ci peut se faire dans une autre organisation, il peut être parrainé par un autre intervenant. Cela débouche ensuite sur du développement au niveau du génie. Et le dossier chemine jusqu'à l'application finale. De multiples intervenants contribuent donc au fil du temps. Il y a de multiples organisations et de multiples promoteurs. Chacune de ces étapes, surtout au niveau du développement, n'est pas bien documentée. Si l'on considère la documentation qui est généralement disponible au grand public, elle est quasi non existante. De plus, ce que j'appellerais le patrimoine technique dans la documentation qui existe, c'est-à-dire les références et les renvois aux travaux antérieurs, ont tendance à mettre l'accent sur la contribution de l'organisation qui fait la documentation et à minimiser l'apport des autres organisations. Bref, il est très difficile de faire un suivi de la recherche qui a été parrainée et exécutée par des organisations au départ et qui a débouché ensuite sur des applications concrètes.

    Certaines études ont tenté d'examiner les résultats à long terme découlant de la science et de la technologie. J'en ai énuméré quelques-unes ici: Project Hindsight, Project Traces, une étude que nous avons faite avec le département de l'énergie en 1983. Nous avons constaté que le principal outil utilisé pour faire le suivi à long terme de ces résultats, c'est la mémoire institutionnelle. On trouve des gens qui travaillent au même laboratoire depuis 30 ou 40 ans. Ils étaient là au début d'une recherche en particulier ou d'un projet technologique et, parce que cela les intéressait personnellement, ils ont suivi le cheminement du projet. Ils sont devenus l'outil utilisé pour suivre l'évolution jusqu'à l'application. C'est un processus très incomplet, parce qu'il est fondé seulement sur les personnes qui incarnent la mémoire institutionnelle. C'est un processus faussé au départ et très incomplet.

    Ce qu'il faudrait vraiment, c'est une sorte de base de données qui recueillerait les extrants de chacune des étapes du développement et qui serait diffusée largement. Tant qu'on n'aura pas une telle base de données, il sera quasi impossible de faire le suivi des résultats.

Á  (1115)  

    Il y a un autre problème tout aussi grave, associé au temps. Vous entendrez probablement des témoins devant votre comité qui insisteront lourdement sur l'importance des résultats par opposition aux extrants. En un sens, c'est vrai. Le résultat est l'impact sur l'objectif sociétal plus général, tandis que l'extrant n'est qu'une étape intermédiaire. On ne finance pas de la recherche pour obtenir comme résultat un certain nombre d'articles publiés; les articles sont un moyen pour atteindre une fin. On le fait parce que l'on veut améliorer la santé dans une région, la sécurité, les transports, etc. Le problème, c'est que la plupart des travaux de recherche exigent des années et même des décennies avant d'espérer déboucher sur des résultats ou des répercussions sur une plus grande échelle. À ce moment-là, les gestionnaires et les chercheurs qui se sont chargés du projet ne sont plus là depuis longtemps. Il faut alors se demander quelle est l'utilisation pratique de ces données, surtout en ce qui a trait aux gestionnaires et aux chercheurs. Habituellement, il y a une raison de faire un examen. On le fait pour remédier aux problèmes qui existent dans la recherche qui est menée. Cela comprend le rendement à la fois du chercheur et du gestionnaire. Les longs délais qui caractérisent la mesure du résultat excluent toute correction en temps réel du rendement. Cette absence d'utilité de l'analyse des résultats pour ce qui est d'améliorer le fonctionnement d'une organisation est un puissant facteur de dissuasion pour ce qui est de réaliser de telles études.

    Voilà ce que je voulais dire en fait au sujet des facteurs de dissuasion.

    Mme Cheryl Gallant: Bien.

    J'ai appris avec intérêt que vous avez travaillé au département de l'énergie. J'ai deux ou trois questions. Ma première a trait à la fusion et la suivante porte sur la fission. Comme vous le savez, il faudra probablement 50 ans avant que nous ayons ne serait-ce qu'un prototype d'une centrale à fusion. Comment le gouvernement des États-Unis justifie-t-il auprès du grand public les énormes dépenses qui sont nécessaires dans ce domaine? Applique-t-on une formule pour l'attribution des fonds, étant donné que les retombées ne viendront peut-être pas avant encore un siècle, ou bien y consacre-t-on un pourcentage du PIB? Comment le président et son cabinet en arrivent-ils à la décision de financer un tel projet?

Á  (1120)  

    Le président: Madame Gallant, je veux m'assurer que l'on ne perde pas de vue que le Dr Kostoff témoigne ici à titre personnel. Je tenais seulement à le consigner officiellement.

    M. Ronald Kostoff: J'ai travaillé à la fois au programme de fusion contrôlée et au programme de fission. Pourquoi suis-je passé au programme de fusion? Il y a là toute une problématique. En 1973, les États-Unis vivaient une grave crise de l'énergie, et la même crise sévissait probablement au Canada. Je ne m'en rappelle pas les raisons, mais il y a eu une pénurie d'essence pendant des mois. Il y avait d'interminables queues pour acheter de l'essence et bien des gens, dont moi-même, ont commencé à s'inquiéter de l'épuisement éventuel des sources d'énergie fossile. Nous avons cherché des solutions de rechange. À l'époque, je pensais que la fusion présentait beaucoup de potentiel comme solution de rechange, et c'est peut-être encore le cas, on ne sait jamais. On ne savait pas trop à l'époque combien de temps il faudrait pour que la fusion puisse devenir une source d'énergie commerciale. J'avais publié des articles sur la fusion. En 1954, le professeur Lyman Spitzer de Princeton a proposé à la Commission de l'énergie atomique un projet qu'il avait baptisé «stellerator», affirmant qu'en cinq ans, il pouvait réaliser un prototype de centrale commerciale utilisant la fusion. Il y a 48 ans de cela, et nous n'en sommes toujours pas là.

    Ce qu'il y a, avec la fusion, c'est que si jamais cela fonctionne, le rendement sera gigantesque, au point que tous les coûts de développement, aussi considérables puissent-ils être, en paraîtront minimes. Les montants d'argent qui y sont consacrés ont fluctué au fil des années. Au tout début des années 70, on y consacrait plus ou moins 100 millions de dollars par année. Quand je suis arrivé au programme, c'était de l'ordre de 300 à 350 millions de dollars par année. À un moment donné, les dépenses ont atteint environ 500 millions de dollars par année. Je n'ai pas suivi cela de près, mais le budget a baissé à quelques centaines de millions de dollars par année. Il y a donc des cycles et l'un des problèmes est qu'il s'agit d'un programme à long terme et que l'appui des législateurs connaît des hauts et des bas. Mais si jamais on réussit, cela peut devenir une solution de rechange très attrayante.

    Il n'y a pas de formule, à ma connaissance. Quand le Congrès étudie le budget, l'approvisionnement en énergie, notre dépendance envers le pétrole du Moyen-Orient, et évalue les solutions de rechange possibles, les concepts comme la fusion sont rangés dans la catégorie des recherches à très haut risque et à rendement potentiel très élevé. Je pense que c'est la promesse ou la possibilité de retombées intéressantes qui continue d'alimenter la source du financement.

    Mme Cheryl Gallant: On peut obtenir beaucoup plus facilement des avantages en faisant de la recherche visant à améliorer l'efficience de la production d'énergie nucléaire par la fission. Dans quelle mesure les États-Unis continuent-ils de financer la science pure sur laquelle repose la fission nucléaire, peut-être pour les réacteurs de la prochaine génération? Le gouvernement américain continue-t-il de s'y intéresser; dans l'affirmative, cela se fait-il par l'entremise du ministère de la Défense? Comment cela fonctionne-t-il?

    M. Ronald Kostoff: Je ne sais pas très bien ce que le gouvernement fait actuellement. Ces recherches sont financées par le département de l'énergie. La dernière fois que je m'y suis intéressé, au milieu des années 80, on finançait des concepts avancés de fission nucléaire et, à cette époque, la sécurité était l'une des grandes sources de motivation. Les problèmes éprouvés à la centrale de Three Mile Island ont suscité des inquiétudes chez beaucoup de gens à propos de la fission, et l'on a fait du travail pour trouver des solutions de rechange aux réacteurs à eau ordinaire, pour mettre au point des réacteurs qui seraient intrinsèquement plus sûrs. C'est là-dessus que l'on mettait l'accent quand je suis parti, et je soupçonne que ce n'est probablement pas très différent aujourd'hui, que la sécurité est encore une grande préoccupation, ainsi que l'élimination des déchets nucléaires. C'est un problème qui, à mon avis, n'a toujours pas été résolu et il y a beaucoup de problèmes politiques associés à ce dossier, en plus des problèmes techniques.

Á  (1125)  

    Le président: Nous nous sommes un peu éloignés du sujet, mais c'était très intéressant.

    Docteur Kostoff, nous approchons lentement de notre limite de temps. Avant qu'on nous coupe la parole, je tiens à vous remercier chaleureusement, au nom du comité de l'industrie, des sciences et de la technologie, d'avoir bien voulu prendre le temps d'être avec nous ce matin et de nous avoir fait profiter de vos lumières sur l'examen par les pairs et de nous avoir fait part de votre expérience. Si vous avez quelque chose à ajouter, vous pouvez le faire maintenant.

    M. Ronald Kostoff: Je n'ai rien à ajouter. Je vous remercie encore une fois de m'avoir invité à témoigner. L'expérience a été très enrichissante pour moi.

    Le président: Eh bien, docteur Kostoff, merci beaucoup d'être avec nous aujourd'hui. Je vous souhaite une bonne journée. Au revoir.

    Bon, cela met fin à la partie téléconférence de notre réunion. Nous allons poursuivre la réunion à huis clos.

    [Note de la rédaction: La séance se poursuit à huis clos]