Le 5 mars prochain, le Cœur des sciences accueillera l’historien et sociologue des sciences Yves Gingras, professeur au Département d’histoire, qui parlera de son dernier ouvrage, Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, paru récemment en France, aux éditions Raisons d’agir. Quelques jours plus tard, le 21 mars, il donnera une conférence sur le même sujet au prestigieux Collège de France, à Paris.
Dans ce livre, le titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences montre qu’une fièvre de l’évaluation affecte le monde de la recherche et de l’enseignement supérieur. «On veut tout évaluer : les professeurs-chercheurs, les programmes de formation, les universités, dit Yves Gingras. Les indicateurs d’excellence se multiplient sans que l’on ne sache toujours sur quelles bases ils ont été construits.»
Un des outils les plus utilisés dans ce domaine est la bibliométrie, une méthode de recherche consistant à calculer le nombre de publications scientifiques – articles, ouvrages, thèses, rapports de recherche – et de citations qu’elles obtiennent.
«J’ai voulu brosser le portrait le plus complet possible des bons et des mauvais usages de la bibliométrie», explique le professeur. Selon lui, l’application mécanique de critères d’évaluation purement quantitatifs engendre des effets pervers, notamment le développement d’une logique de compétition entre les chercheurs et entre les universités. Ces critères servent à l’établissement de classements mondiaux et nationaux des meilleures universités, tels ceux de Shanghai et du magazine canadien Maclean’s, lesquels n’ont aucune valeur scientifique, soutient Yves Gingras.
Un outil indispensable
Le chercheur décrit l’évolution de la bibliométrie au XXe siècle et montre dans quelle mesure celle-ci constitue un outil indispensable pour analyser à l’échelle macroscopique la dynamique globale de la science, toutes disciplines confondues.
Une base de données bibliométriques comme le Science Citation Index (SCI), créée en 1963, contient les titres des articles scientifiques et des revues dans lesquelles ils ont été publiés, les noms des auteurs, leur adresse institutionnelle et la liste complète des références/citations des articles. «Parce qu’elles couvrent une longue période temporelle et l’ensemble des champs du savoir, les données bibliométriques permettent d’étudier les transformations de la science au cours du dernier siècle, comme les phénomènes de la collectivisation et de l’internationalisation de la recherche», souligne Yves Gingras.
Ces données facilitent l’analyse des tendances à la croissance ou à la décroissance de la recherche dans certains pays. «On observe notamment une corrélation entre le nombre total de publications dans un pays et son produit intérieur brut, signe que les pays riches peuvent se permettre de faire de la science», précise le chercheur Les données indiquent par ailleurs que les pratiques de publication varient selon les disciplines. «À la différence des chercheurs en sciences de la nature, ceux en sciences humaines et en humanités publient davantage d’ouvrages que d’articles. Il est donc dangereux d’imposer un modèle unique, fondé sur la production d’articles publiés dans des revues spécialisées, pour juger de la productivité des chercheurs.»
Une fausse équation
L’usage de la bibliométrie à des fins d’évaluation individuelle des chercheurs se répand à partir des années 1980. «Les courants du Knowledge Management et du Benchmarking, basés sur la construction d’indicateurs de productivité et de performance, transférés des entreprises vers le secteur public, puis vers les universités, ont vu dans les données bibliométriques des outils permettant de court-circuiter l’évaluation par les pairs, considérée comme trop subjective, favorisant ainsi l’équation selon laquelle bibliométrie égale évaluation», explique Yves Gingras.
Le facteur d’impact des revues (FI), par exemple, soit le nombre moyen de citations obtenues par les articles d’une revue donnée, s’est transformé en un outil d’évaluation des chercheurs. «Est-ce qu’un chercheur qui publie dans une revue de mathématiques, dont le facteur d’impact ne pourra jamais être celui d’une revue médicale, doit être considéré comme peu performant ?» L’importance accordée à ce facteur risque également de dévaloriser l’étude de sujets locaux, marginaux ou peu à la mode, notamment en sciences humaines et sociales, dont les objets d’étude sont par nature plus locaux que ceux des sciences de la nature ou des sciences biomédicales.
Évaluer n’est pas classer
Le professeur critique la tendance à confondre évaluation et classement pour juger de la qualité de la recherche qui se fait dans les universités. «Depuis 20 ans, l’OCDE fait la promotion d’un marché mondial de l’éducation supérieure et l’émergence des classements mondiaux s’inscrit dans ce courant néolibéral qui fait des universités un marché comme les autres. Or, qui dit marché dit concurrence et marketing.»
Le marketing peut devenir une pente glissante pour les universités qui veulent se positionner comme chefs de file dans un domaine donné, poursuit Yves Gingras. «Certaines universités ont même contacté des chercheurs très cités, qui sont employés dans d’autres institutions, et leur ont offert d’ajouter leur adresse dans leurs publications en retour d’une rémunération.» Autre exemple, plus comique celui-là, le classement de Shanghai utilise comme indicateur de qualité le fait qu’une université ait hébergé ou formé un futur prix Nobel. Ainsi, l’Université de Berlin, à laquelle Einstein a été associé à l’époque de l’obtention de son Nobel de physique, continue d’obtenir des points au classement. «En quoi un Nobel décerné en 1922 peut mesurer la qualité d’une université des années 2000 ?», demande le chercheur.
L’importance de bien comprendre les propriétés spécifiques des indicateurs bibliométriques et leurs champs d’application tient au fait qu’il est impossible (et même non souhaitable) pour les chercheurs d’échapper aux évaluations, rappelle Yves Gingras. «Il est donc essentiel de critiquer rigoureusement les indicateurs mal construits dont l’utilisation engendre des dérapages», conclut-il.
La conférence «Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie» sera d’abord présentée le 24 janvier devant les membres du Centre interuniversitaire de recherche sur la science et la technologie (CIRST), auquel est rattaché le professeur.