L’UQAM fait maintenant partie des quelque 21 000 individus et organisations à travers le monde à avoir signé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA/Declaration on Research Assessment). Cette déclaration vise, notamment, à mettre un terme à l’utilisation d’indicateurs basés sur les revues scientifiques, comme les facteurs d’impact, dans le financement de la recherche, les nominations et les promotions. Elle a été adoptée pour la première fois en 2012 par un groupe de rédacteurs en chef et d’éditeurs de revues qui s’était réuni à San Francisco dans le cadre du congrès annuel de l’American Society for Cell biology.
«L’utilisation, depuis plusieurs années, d’outils visant à quantifier la valeur de la recherche et ses résultats a amené une forme d’industrialisation de la recherche», commente le vice-recteur à la Recherche, à la création et à la diffusion Christian Agbobli, qui critique les critères utilisés pour mesurer la qualité de la recherche.
«La quintessence, en recherche, c’est d’être publié dans Nature, poursuit le vice-recteur. Mais est-il préférable d’être publié dans Nature et lu par 10 000 personnes ou de faire de la recherche qui améliore la vie de dizaines de milliers de personnes?» À l’instar des signataires de la DORA, Christian Agbobli croit qu’il est temps de trouver de nouvelles façons d’évaluer la recherche pour tenir compte de toutes les retombées des travaux des chercheuses et chercheurs.
Des insuffisances méthodologiques
Le facteur d’impact des revues est souvent utilisé comme principal paramètre pour comparer la production scientifique individuelle et celle des établissements. Pourtant, ce n’était pas sa vocation de départ. En effet, cet outil a d’abord été conçu pour aider les bibliothécaires à sélectionner les revues à acheter, non pour mesurer la qualité scientifique des articles qui y sont publiés. De plus, il a été démontré que les divers facteurs d’impact comportent des insuffisances méthodologiques. Ils peuvent aussi être manipulés et les données pour les calculer ne sont ni transparentes ni accessibles au public.
Le vice-recteur signale que le professeur du Département d’histoire Yves Gingras a publié un ouvrage intitulé Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie (aux éditions Raisons d’agir, de Paris, en 2014, et en traduction aux éditions MIT Press en 2016), qui a grandement contribué à sa réflexion sur ce sujet complexe. Dans son ouvrage, le professeur démontre que l’utilisation de facteurs d’impact peut conduire à dévaloriser l’étude de sujets locaux, marginaux ou peu à la mode, notamment en sciences humaines et sociales, dont les objets d’étude sont par nature plus locaux que ceux des sciences de la nature ou des sciences biomédicales.
La Déclaration de San Francisco préconise d’évaluer la recherche sur sa valeur intrinsèque plutôt qu’en fonction de la revue où elle est publiée. Il faut, selon ses signataires, tenir compte de la valeur et de l’impact de tous les résultats des travaux de recherche et envisager un large éventail de mesures d’impact. De plus, ils recommandent que les critères utilisés pour évaluer la recherche soient toujours indiqués de manière explicite.
Ces recommandations visent les agences de financement de la recherche et les éditeurs de revues scientifiques, mais aussi les établissements, appelés à faire preuve de la même transparence dans leurs décisions de recrutement, de titularisation ou de promotion.
L’UQAM à l’avant-garde
«Toujours à l’avant-garde, l’UQAM est l’une des premières universités canadiennes à signer cette Déclaration, aux côtés des trois Fonds de recherche du Québec ainsi que des principales agences fédérales. Si l’on souhaite améliorer les méthodes d’évaluation des résultats de la recherche, enrichir les analyses et ne plus limiter le regard au seul facteur d’impact, il nous faut rallier autour de cette Déclaration le plus grand nombre de partenaires possible», indique la rectrice Magda Fusaro.
La Déclaration soulève des débats. «D’aucuns considèrent que l’excellence est liée aux facteurs d’impact et au fait de publier dans les meilleures revues», note le vice-recteur. Les chercheuses et chercheurs sont divisés sur le sujet. Mais, selon lui, «c’est l’occasion d’avoir une conversation et de réfléchir aux critères utilisés».
Christian Agbobli salue, entre autres, les discussions qui ont débuté au sein des Fonds de recherche du Québec sur la pertinence d’inclure des critères d’équité, de diversité et d’inclusion (EDI) dans l’évaluation des projets. Il évoque aussi la nécessité de mieux reconnaître la valeur de certaines formes de recherche, comme celles qui sont menées en lien direct avec les communautés par le Service aux collectivités de l’UQAM.
Selon lui, la conversation sur les critères d’évaluation de la recherche doit aussi se tenir au sein des établissements. «La titularisation, qui est un peu le saint Graal d’une carrière universitaire, est liée à une évaluation de l’excellence qui est souvent basée sur des éléments quantitatifs», mentionne Christian Agbobli.
Il y a lieu de problématiser et d’interroger la notion de l’excellence en recherche, croit le vice-recteur. «Qu’est-ce que l’excellence? Encore une fois, est-ce de publier dans Nature? Dans Science? Ou d’accompagner les changements qui ont cours dans la société? Est-ce qu’il y a moins d’excellence dans le fait de publier des résultats de recherche en français plutôt qu’en anglais, même si le facteur d’impact est moins grand? Aller vers des formes autres d’évaluation de la recherche, cela ne veut pas dire sacrifier l’excellence, mais cesser de la définir de façon aussi restreinte.»