Un article de portée générale récemment paru à propos de la bibliométrie:
Editors' note: bibliometrics and the curators of orthodoxy
Voir aussi ci-dessous la position du LIENS et les liens vers lesquels il renvoie (références en bas de page):
Position du LIENS (Laboratoire d'Informatique de l'École normale supérieure, Unité mixte ENS/CNRS/INRIA) au sujet de la bibliométrie, 22 octobre 2008
En vue du renouvellement de la contractualisation d'une UMR, le CNRS (apparemment à l'initiative de sa direction des partenariats) demande à chacun de ses chercheurs et enseignants-chercheurs de remplir une « fiche de données individuelles » comportant des
informations numériques et bibliométriques dont la pertinence nous paraît douteuse.
Il s'agit d'un fichier nominatif dans lequel on nous demande de fournir pas moins de 25 indices chiffrés issus des bases de données bibliométriques (ISI Web of Knowledge et Harzing Publish or Perish), incluant par exemple ;
– le nombre total de citations de ces articles ;
– le facteur h ;
– le facteur d'impact max. de la discipline ;
– le facteur d'impact moyen pour le chercheur ;
– de mystérieux Top 10 et highly-cited papers ;
– deux leaders internationaux du domaine ;
– . . .
Nous, soussignés, sommes opposés à l'utilisation de ces fiches. Notre position est partagée notamment par les directeurs de départements et par tous les directeurs d'UMR de Mathématiques et de Physique de l'ENS.
Commençons par des raisons techniques. Il faut mentionner notamment la complexité qu'il y a à remplir ces fiches : les instructions sont de piètre qualité, et plus d'une heure de travail permettent de n'obtenir qu'une partie des informations demandées. Par ailleurs, nous croulons sous les divers rapports d'activités à rendre aux multiples tutelles et organismes (AERES, CNRS, ENS, INRIA). Nous pensons qu'une évaluation unique, de qualité, sur la base d'un rapport détaillé (et non pas de plus en plus limité en taille) et d'une discussion constructive serait plus profitable à l'activité scientifique. À l'opposé, un chiffre ne peut en aucun cas constituer une « caractérisation » scientifique d'un laboratoire, et encore moins d'une équipe ou d'un chercheur.
Passons aux ob jections de fond : l'utilisation de ces indicateurs à des fins d'évaluation constitue la déformation d'une éthique et d'une pratique de la science. Ce qui suit s'appuie en grande partie sur [1] (voir les autres références ci-dessous), donnant une critique détaillée des indicateurs bibliométriques. Il est reconnu que les chiffres qu'ils donnent ne sont pas significatifs. Or leur utilisation se répand au détriment d'une véritable évaluation. Parallèlement, les mauvais usages et manipulations de ces chiffres s'accroissent, en une dépense d'énergie contre-productive. Nous croyons que l'utilisation abusive de tels indicateurs va en fait à l'encontre de l'accroissement des connaissances. Détaillons.
Pour de nombreuses raisons, leur pertinence, voire même leur définition, est sujette à caution :
– tout d'abord, la profondeur et l'originalité d'une publication scientifique ne sont pas corrélées à la rapidité avec laquelle elle est citée, alors que certaines modes s'imposent, puis tombent dans l'oubli (or une citation est prise en compte par l'« impact factor » des revues quand elle intervient dans les deux ans suivant la publication de l'article cité) ;
– chaque indice, chaque fournisseur d'informations bibliographiques présente ses propres aberrations, donnant des mesures très approximatives : couverture très variable selon les disciplines, avec très peu d'actes de conférences (en informatique, l'absence des conférences ma jeures est absurde) et de livres et un fort biais en faveur des citations en langue anglaise ; problèmes de gestion des auto-citations, d'identification des contributions d'un même auteur dont le nom n'est pas forcément bien orthographié, des homonymies ; absence de considération de l'importance des publications et du nombre de co-auteurs. En témoignent les classements fluctuants des revues selon les indices : « Le premier journal selon l'ISI (...) est 195ème selon CiteSeer, le 2ème selon l'ISI, n'apparaît pas dans CiteSeer, le 6ème pour l'ISI est 958ème pour CiteSeer... Inversement le premier pour CiteSeer (...) est 26ème pour l'ISI, le 4ème pour CiteSeer (...) est 122ème pour l'ISI » [1] ;
– ainsi, toujours d'après [1], seuls les ordres de grandeur sont significatifs, à condition de procéder au calcul de plusieurs indicateurs (ce qui nécessite une longue analyse manuelle) ; il faut compléter par des avis d'experts. Il est clair qu'un expert saura donner plus rapidement un avis plus précis et plus pertinent !
– la correction et la sémantique des logiciels est fort douteuse ; en particulier, un indice calculé aujourd'hui pourra-t-il être comparé au même indice calculé dans deux ou dix ans ? Les logiciels Harzing Publish or Perish ou bien Google Scholar ne sont pas libres et peuvent évoluer à tout moment ; la mise à jour des bases de données est hors de tout contrôle ;
– « L'étude systématique entreprise sur quatre chercheurs de l'INRIA internationalement reconnus montre que les biais et insuffisances constatées dans les indicateurs ne sont pas des exceptions mais plutôt la règle » [1].
Malgré ces défauts connus, l'importance de ces indicateurs dans les évaluations, tant individuelles que par équipe ou laboratoire, ne fait que croître, au détriment d'une véritable évaluation (que nous souhaitons). On veut nous faire croire que ces chiffres ne seront jamais qu'un élément parmi d'autres : mais le charme discret, voire l'ob jectivité du nombre, est imbattable. La tentation est grande de calculer ces nombres « juste pour voir » et, par facilité, de s'en servir pour comparer deux dossiers sur lesquels un coup d'oeil rapide laisse à penser qu'ils sont de niveaux semblables. En fait, de nombreux exemples nous démontrent que ces excès sont déjà à l'oeuvre, parfois de façon systématique, en France comme à l'étranger [3, p. 10]. Ils réduisent la responsabilité de chacun et donc le rôle du bon scientifique qui s'impose, à son risque, dans un jury en expliquant que ceci ou cela est profond et original, des notions qui échappent aux indicateurs chiffrés.
Parallèlement, les effets pervers et manipulations pour améliorer ses propres indicateurs bibliométriques prolifèrent, et ne font que renforcer leur manque de pertinence. Citons pêle-mêle :
– des journaux qui demandent aux auteurs d'inclure des citations sans lien avec le contenu de leur article, pour augmenter un nombre de citations ;
– des stratégies de citations croisées artificielles mises en oeuvre au sein de communautés de recherche, voire de laboratoires ou même imposées par la direction d'un institut ;
– un renforcement de la tendance au salami slicing, tronçonnage artificiel d'un travail en least publishable units, en synergie avec de telles stratégies.
La montée en puissance de ces indicateurs va donc dans une direction opposée à celle de l'avancement des connaissances, car :
– il est à craindre que les récompenses et financements aillent à ceux qui ont les meilleurs résultats avec ces indices, au détriment des autres, qui n'ont pas de raisons d'être moins bons scientifiquement ;
– la tendance générale qui consiste à diluer un travail de recherche dans de plus en plus d'articles est chronophage nuit à la véritable productivité scientifique et rend plus fastidieuse la recherche bibliographique de résultats importants, disséminés au
milieu d'études intermédiaires ;
– elle dessert les chercheurs travaillant dans des domaines peu étudiés, qui sont mécaniquement moins cités. Cela encourage le conservatisme thématique au détriment de l'exploration de nouveaux axes de recherche ;
– nous soulignons donc avec force qu'elle constitue un frein à la prise de risques, à l'originalité, à l'interdisciplinarité et à l'innovation, aspects constitutifs du progrès et de la recherche scientifiques. « Outre qu'il est possible de jouer ainsi sensiblement sur les valeurs prises pour les indicateurs, leur usage de plus en plus fréquent dans l'évaluation des chercheurs a des conséquences néfastes pour la science et l'innovation. Du fait des biais dont souffre leur calcul, l'usage exagéré des indicateurs incite les jeunes chercheurs à obtenir des résultats rapidement au détriment de recherches de longue haleine et freine l'innovation en pénalisant la formation des petites communautés dans des domaines émergents. » [2]
Références
[1] Que mesurent les indicateurs bibliométriques ? Document d'analyse de la commission d'évaluation de l'INRIA. http://www.inria.fr/inria/organigramme/documents/ce_indicateurs.pdf.
[2] Tout ce que vous avez toujours voulu savoir sur les indicateurs. http://www.inria.fr/inria/organigramme/ce_indicateurs.fr.html.
[3] Citation Statistics. Rapport de l'International Mathematical Union. http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf.
[4] A Note on Bibliometrics. http://www.pasteur.fr/recherche/unites/REG/bibliography/bibliometrics.html.
Après un vote contre le remplissage de ces fiches à la réunion des titulaires du 17 septembre 2008 (11 voix contre 6), ont signé les 16 membres titulaires du LIENS suivants, sur 24 titulaires : Bruno Blanchet, Romain Brette, Éric Colin de Verdière, Patrick Cousot, Radhia Cousot, Olivier Faugeras, Jérôme Feret, Pierre-Alain Fouque, Giuseppe Longo, Laurent Mauborgne, Antoine Miné, Michel Pocchiola, David Pointcheval, Xavier Rival, Damien Vergnaud, Jean Vuillemin.