Sur la bibliométrie, on pourra consulter le blog http://bibliometrie.wordpress.com/
Classer, évaluer, Éditorial des Annales HSS, Vol. 6 / 2008.
Le monde de la recherche et de l'enseignement supérieur semble saisi par la fièvre
de l'évaluation : c'est dans ce cadre qu'il importe de situer le débat récent autour
des classements des revues mis en place en Europe par la European Science
Foundation (ESF) et en France par l'Agence d'Évaluation de la Recherche et de
l'Enseignement Supérieur (AERES), qui s'est fortement inspiré du précédent. Ces
classements séparent les revues européennes entre celles qui ne sont pas classées
et celles qui le sont, elles-mêmes étant réparties en trois catégories, A, B et C. La
lecture des documents proposés par l'ESF et l'AERES révèle leurs carences. Les
procédures et les principes de classement sont impressionnistes, les experts sont
anonymes et les erreurs abondent, faisant figurer plusieurs fois certaines revues,
avec parfois des classements différents ou des confusions de titre. Plus grave, ces
classements montrent des injustices flagrantes, heurtant le sens commun d'une
communauté des chercheurs qui n'est pas à ce point ignorante de ses propres
valeurs. Les réactions, parfois virulentes, ne se sont d'ailleurs pas fait attendre, en
France mais aussi dans d'autres pays européens, ainsi en Allemagne ou en Angle-
terre. Pour toutes ces raisons, les Annales ne peuvent que souhaiter l'abandon par
l'ESF et l'AERES de ces classements à la fois contestables et contestés.
Le débat n'est pas clos pour autant, car derrière ces classements, d'autres
enjeux se profilent, qu'il convient de distinguer : celui de l'évaluation des revues,
mais aussi, bien entendu, celui de l'évaluation des chercheurs et des unités de
recherche. Dans une période de fragmentation des savoirs et de multiplication
des publications, l'idée de contribuer à l'organisation d'un espace scientifique de
discussion en reconnaissant l'existence de différentes catégories de revues n'est I
pas a priori dépourvue de sens s'il ne s'agit pas de fabriquer des cloisons étanches
ou des hiérarchies arbitraires. Encore faudrait-il que les critères de classement ainsi
que l'objectif recherché soient clairement affichés, que les procédures soient l'objet
d'un consensus et les révisions régulières. Par ailleurs, dans les pays où les publica-
tions dépendent du soutien des institutions et des financements publics, il semble
légitime de disposer d'outils pour répartir les ressources sur la base de critères
scientifiques. On pourrait d'ailleurs espérer qu'une discussion collective autour
de l'évaluation des revues scientifiques permette de débattre de leurs pratiques
éditoriales et de rendre plus explicites les attentes des institutions qui les financent
et des chercheurs qui les alimentent et les lisent. Les experts scientifiques de
l'AERES ont donné récemment, en réaction aux protestations des revues et des
chercheurs, des gages de leur souci de discussion. Il faut en prendre acte.
Il reste qu'en publiant leurs classements sans aucun débat préalable et sans
que leur usage soit clairement établi, les institutions européennes et françaises (à
la différence des États-Unis toujours montrés en exemple mais qui ne pratiquent
pas ce type de classement) se sont engagées dans une voie dont des décennies de
recherches montrent le danger. Les Annales ne peuvent que mettre en garde contre
l'usage fait de ces dispositifs de classement et de mesure du savoir et inciter à la
réflexivité dans le maniement de ces outils qui n'ont nullement la neutralité qu'on
leur attribue. C'est d'abord au nom d'un engagement scientifique dans la pratique
des sciences sociales que les réserves à l'égard de ces choix discutables doivent
s'exprimer. De tels classements risquent fort de contribuer à figer l'espace intellec-
tuel en rendant beaucoup plus difficiles les innovations et en offrant des rentes
de situation aux revues à forte notoriété. Le mouvement de création de nouvelles
revues, pourtant nécessaire à la vie intellectuelle, risque d'en pâtir.
Mais le principal problème qui hypothèque le principe d'un classement
unique des revues est celui de la diversité des grandeurs selon lesquelles les revues
peuvent être classées. Une revue peut être la référence internationale dans son
domaine tout en étant limitée à un très petit milieu intellectuel de diffusion, tandis
qu'une autre peut toucher une aire géographique restreinte, mais être lue par un
nombre bien plus important de chercheurs, et il n'y a qu'à se féliciter de l'exis-
tence d'une vraie diversité des revues, garantie d'un pluralisme méthodologique
et intellectuel. Enfin, la constitution de ces classements sur des bases disciplinaires,
qui varient d'un pays à l'autre, ne fait qu'aggraver les difficultés, et confine parfois
à l'absurde lorsqu'une revue interdisciplinaire, voyant son projet intellectuel
complètement dénaturé, n'est évaluée que dans une seule discipline. Les commu-
nautés de savoirs n'ont pas la même taille, les mêmes frontières ni le même fonc-
tionnement et il importe de reconnaître cette diversité irréductible. La question
de l'évaluation des revues scientifiques, parfaitement légitime, reste ouverte, mais
un classement unique et uniforme n'est en aucun cas la solution : il est à la fois
inutile et contre-productif, comportant plus d'effets négatifs que positifs.
On peut gager toutefois que la résistance au classement des revues aurait été
moins vive si ce dernier n'était pas lié à la mise en place de nouvelles formes
d'évaluation des chercheurs. Le premier risque d'une telle évaluation est de mettre
l'accent sur des critères strictement quantitatifs au moment même où la commu-
nauté scientifique prend conscience des limites des outils bibliométriques et de
la vanité des mesures comme le « facteur d'impact », y compris dans les sciences
physiques ou naturelles, sur lesquelles on prétend aligner coûte que coûte les
sciences humaines et sociales. Même si la quantité de publications n'est souvent
pas sans rapport avec la qualité de l'activité scientifique d'un chercheur et qu'elle
peut avoir une place dans la mesure de son activité scientifique, en fournissant
des indicateurs certes faillibles mais objectivables, l'absence d'une corrélation
directe et le risque de céder à la facilité des méthodes quantitatives incitent à la
prudence, d'autant qu'à la différence d'autres disciplines, les travaux de référence
en sciences sociales ne passent pas toujours par les revues, les livres jouant un rôle
fondamental dans la structuration du débat intellectuel. D'autre part, une telle
conception de l'évaluation témoigne d'une méprise. Un comité de rédaction n'a
pas pour fonction de distribuer des notes à la place des évaluateurs institutionnels
et il n'y a pas lieu de se délester sur lui de la part la plus importante de l'évaluation,
la part qualitative, à un moment où il faudrait au contraire défendre les instances
collectives d'évaluation. Un comité de rédaction travaille à garantir la plus grande
qualité scientifique possible des articles publiés, mais aussi à défendre une concep-
tion de la recherche qui est propre à chaque revue. Les membres de ces comités
font des choix intellectuels qui ne sont pas neutres et qui s'inscrivent dans l'histoire
et l'identité de chaque revue, ce qui invalide l'utilisation mécanique d'un classe-
ment des revues comme principal outil d'une évaluation des chercheurs ou des
unités de recherche.
La voie d'une évaluation essentiellement quantitative appuyée sur un classe-
ment des revues, nous paraît donc dangereuse. Pour autant, on ne saurait en tirer
argument pour refuser par principe une évaluation plus rigoureuse du travail des
chercheurs, au nom de l'argument spécieux que tout se vaut. On objectera que
les chercheurs sont déjà évalués. Qui pourra néanmoins prétendre sérieusement
que les mécanismes d'évaluation individuelle ne puissent être améliorés ? Le refus
de toute procédure évaluative ou le maintien d'un statu quo ne sont pas plus souhai-
tables que les propositions d'évaluation strictement quantitative. L'attachement à
une conception scientifique du travail intellectuel en histoire et en sciences sociales
ne peut guère s'accommoder d'une prétendue incommensurabilité de nos produc-
tions. De même, il y a quelque paradoxe à passer dans la pratique une grande
partie de notre temps à évaluer étudiants ou collègues plus jeunes et à refuser
tout débat sur les formes d'évaluation. Les conditions actuelles du recrutement
universitaire, trop souvent parasité par le localisme et le clientélisme, mais aussi
le déroulement des carrières, où les chercheurs les plus dynamiques sont peu
encouragés, ou encore les décalages parfois criants entre la reconnaissance scien-
tifique et les parcours institutionnels, plaident en faveur d'une évaluation plus
systématique, à condition de s'entendre sur les formes de cette dernière. Or, les
évolutions récentes liées à la création d'agences nationales et européennes qui
évaluent les revues, les chercheurs et les projets dans une totale opacité, n'ont rien
de rassurantes à cet égard. Ces institutions dont les membres sont nommés et non
élus contribuent à renforcer le sentiment d'arbitraire par l'absence de critères et de
procédures exposés publiquement puis reconnus et validés collectivement. Elles
développent à un point encore jamais atteint la bureaucratisation de la recherche,
de sorte que les enseignants du supérieur dont le prétendu travail à mi-temps de
chercheur est déjà bien entamé par l'accumulation des tâches pédagogiques et
administratives passent désormais souvent plus de temps à écrire des projets ou des
rapports qu'à effectuer la recherche elle-même. Enfin, et ce n'est pas le moindre
paradoxe, alors que la rhétorique politique prétend promouvoir l'autonomie des
institutions universitaires, se met en place en réalité une centralisation directement
soumise à un pilotage administratif, voire politique, souvent ignorant des réalités
les plus élémentaires de la recherche.
Ne nous faisons pas d'illusions : l'évaluation est par nature problématique et
insatisfaisante dans nos disciplines. L'évaluation qualitative par les pairs, qu'on
oppose volontiers à l'évaluation bibliométrique, n'est pas davantage une panacée :
elle est dévoreuse en temps pour les chercheurs, dépend de la façon dont sont
désignés les évaluateurs, et n'assure pas que les travaux innovants soient distin-
gués. Les Annales ne prétendent pas proposer – ce n'est d'ailleurs pas leur rôle –
une solution toute faite à ces problèmes, mais ne peuvent que souhaiter une redéfi-
nition collective des règles sous le signe de la transparence, de l'autonomie et
de la responsabilité. En cette période d'incertitudes économiques et de menaces
accrues sur les conditions du travail scientifique, les revues et les chercheurs qui
y publient doivent aujourd'hui démontrer leur capacité à défendre et à illustrer
une idée de la recherche scientifique et de son évaluation, même imparfaite, tout
en ayant le courage de se l'appliquer à eux-mêmes.
LES ANNALES