Compte rendu de la réunion des revues
4 décembre 2008, ENS Jourdan
Rédactrice : Emmanuelle Picard (le Mouvement Social et Histoire de l'Education)
La réunion a été organisée à l'initiative de plusieurs revues : les Actes de la recherche en sciences sociales, les Annales, Genèses, le Mouvement social, Politix et la Revue d'histoire moderne et contemporaine.
Revues représentées (liste non exhaustive, des participants étant arrivés en retard, ils n'ont pas précisé la revue à laquelle ils appartenaient) :
- RH19
- Genèses
- Histoire de l'éducation
- Revue de synthèse
- Annales
- Sociétés contemporaines
- Revue@politique
- Politix
- Tracés
- Sociologos
- Histoire des religions
- Mil neuf cent
- Annales de démographie historique
- Revue française de socio-économie
- Clio
- Economie appliquée
- Economie et société
- Hérodote
- Politique étrangère
- Diasporas
- Espace et société
- Revue des mondes musulmans
ainsi qu'un représentant de Cairn, des Presses de sciences po et de l'AERES (Patrice Bourdelais).
NB : ce compte rendu tente de restituer au maximum les débats. Dans la mesure où les intervenants ne se sont pas toujours présentés, le nom de l'intervenant ne sera pas systématiquement mentionné. Seule exception, Patrice Bourdelais (désormais PB) qui, en tant que représentant de l'AERES (même s'il est également membre de comités de rédaction), a souvent étéquestionné et au centre des échanges avec la salle.
En introduction, Jérôme Bourdieu (ARSS) a indiqué les deux grandes questions qui avaient présidé à cette invitation :
- la question de l'évaluation des revues
- la question de la place des revues dans le fonctionnement des SHS et en corollaire celle de leur financement.
Premiers éléments : rappels d'un certain nombre d'initiatives en cours
- pétition sur le retrait des revues des listes de l'AERES, signées par 3 600 personnes et certaines revues en nom propres : http://www.appelrevues.org/
- demande des retrait des listes de l'ERIH émanant des revues d'histoire des sciences anglaises (lettre : « Journals under threat »), lettre des éditeurs des revues dix-neuvièmistes anglaises, position de la revue Past and Present, prise de position des sections CNU et CoNRS en science politique et sociologie, ainsi que des sections littéraires… Un ensemble d'initiatives encore dispersées appelant au retrait des listes et dénonçant leurs inévitables conséquences sur le fonctionnement des SHS, en particulier la « normalisation de la recherche ». Ces différentes prises de position peuvent être retrouvées sur un blog de recherche consacré à l'évaluation en SHS : http://evaluation.hypothese.org/
- par ailleurs, certains comités éditoriaux (comme celui du Mouvement social par exemple) se sont prononcés contre le classement et ont envisagé la possibilité d'une action commune avec d'autres revues européennes. D'autres comme celui de Genèses ont signé en tant que comité de rédaction la pétition sur le retrait des listes.
Cette réunion est l'occasion pour Patrick Fridenson (Mouvement social) de réactiver l'idée d'une communauté des revues, qui avait été préalablement lancé en 2004 quand le CNRS envisageait la mise en place du CENS. Les réunions de 2004 avait donné naissance à une liste de diffusion qui existe toujours et qu'il serait intéressant d'utiliser dans le cadre de cette réflexion sur la place des revues dans les SHS et toutes les questions afférentes.
Tout le monde peut s'y inscrire : https://listes.cru.fr/sympa/subscribe/revues_shs
Cette liste de diffusion a vocation à faire transiter l'information (c'est par elle qu'a été diffusée l'invitation à la présente réunion) mais aussi à supporter des discussions entre les revues et à élaborer des initiatives communes.
Cependant, la question principale à envisager ce soir porte sur la possibilité d'une position commune relative aux classements des revues par l'AERES, mais aussi par l'ERIH.
PB : explique que l'AERES a élargi une pratique déjà bien établie dans certaines disciplines de SHS comme l'économie, en élaborant, discipline par discipline, une liste qui définit le « périmètre des revues scientifiques » propre à chacune d'entre elles. On peut le définir comme l'ensemble des revues dont les articles n'auront pas à être réévalués par les évaluateurs.
Le problème central a été la question des revues pluridisciplinaires, qui pouvaient être classées différemment selon les disciplines, et pour lequel l'arbitrage était très difficile. Afin de remédier à cet inconvénient, l'AERES a prévu la publication de la liste complète (i.e. simple liste alphabétique résultant de la compilation des listes disciplinaires) sans plus mentionner les classements A-B-C. On pourra retrouver le classement en se rendant sur les listes par discipline, dans la mesure où la discipline aura choisi de fonctionner avec un classement.
Les revues (Caroline Douki, RHMC) : dès lors qu'un périmètre de scientificité est établi, le principe du classement a-t-il un sens ? Ne pose-t-il surtout pas la question de l'usage d'un tel classement et en particulier son usage pour l'évaluation individuelle des chercheurs et enseignants-chercheurs ?
PB : l'évaluation des revues, sous quelque forme qu'elle soit, n'est pas liée à l'évaluation individuelle, pas plus qu'à l'attribution des subventions.
Les revues (Patrick Fridenson, Mouvement social) : le Mouvement social a adopté l'idée de la liste unique, comme « périmètre des revues scientifiques reconnues ».
Par ailleurs, le problème central est à son sens celui de l'opacité des procédures : qui évalue, selon quels critères ? Il est absolument fondamental de clarifier l'ensemble. D'autant plus que la comparaison entre les deux classements (ERIH et AERES) fait apparaître des absurdités et des erreurs qui ne peuvent que dénoncer leur caractère arbitraire et peu scientifique.
Les revues allemandes, lors de l'Historikertag, début octobre 2008, ont dénoncé les modes de classement utilisés par l'ERIH, qui loin de recourir à des critères satisfaisants, tendraient plutôt à éliminer la production allemande de cette évaluation. La revue Past and Present a également dénoncé des classements dont le risque majeure est de fixer des normes stérilisantes et inhibitrices pour la production scientifique.
On pourrait partir sur l'idée d'une position française en faveur d'une liste unique sans classement et proposer d'élargir cette proposition aux revues étrangères à propos de la liste de l'ERIH.
Les revues : la question de l'interdisciplinarité est très importante. Pour des revues spécialisées sur les aires culturelles par exemple, le choix de listes disciplinaires est extrêmement pénalisant, et peu aller jusqu'à faire disparaître certaines revues des listes.
PB : a priori, l'AERES reste partisane de listes disciplinaires, auxquelles pourront être ajoutés des listes complémentaires pour les revues pluridisciplinaires ; et dont la somme formera la liste complète.
Les revues (Nicolas Mariot, Genèses) : le comité éditorial de Genèses a signé la pétition de retrait des revues, en particulier à cause des risques que de telles listes font courir aux revues interdisciplinaires. L'idée du périmètre de scientificité est intéressante car elle coupe l'herbe sous le pied à toute tentative d'évaluation automatique et numérisée et donc n'exonère pas de l'obligation de lire les travaux, seule véritable évaluation scientifique. Le classement a par ailleurs un effet de fixation qui fige les positions relatives des revues. D'une certaine façon, une approche purement bibliométrique serait sans doute préférable.
Mais le plus important reste bien sûr la question des usages de telles opérations de classement.
Les revues (Caroline Douki) : il est fondamental qu'une publicité soit faite autour des critères permettant d'établir le « périmètre de scientificité ». Car la question du « comment y entre-t-on ? » va de fait devenir centrale, en particulier pour les jeunes revues ou les revues uniquement électroniques.
Les revues : Il y aura donc lieu de s'assurer que la liste soit reconsidérée de façon très régulière pour permettre aux jeunes revues d'y entrer.
Les revues : il est rappelé l'expérience faite dans le cadre du rapport Janin, où il était demandé à la communauté des sociologues de se prononcer, revue par revue, sur sa scientificité (sans justification, par un simple oui ou non).
Voir : http://www.iut-tarbes.fr/enquete/
Les revues : il y a un risque que le CNL choisisse d'attribuer ses subventions en prenant en compte les classements de l'AERES.
Les revues : la commission 40 du CoNRS (science politique et sociologie) avait fait un travail de repérage des revues dans lesquelles publiaient les chercheurs.
Les revues : serait-il possible de connaître la composition des comités ayant élaboré les classements ? et les critères utilisés ?
PB : pour les revues d'histoire, le comité était composé des présidents des sections du CNU (21 et 22) et du CoNRS (32 et 33), les deux directeurs scientifiques adjoints des SHS au CNRS, et les délégués SHS de l'AERES. Les critères sont « ceux que nous connaissons tous » : existence d'un comité de rédaction, double lecture des manuscrits, chiffres du tirage et de la diffusion, « qualité globale ». Le postulat de base de cette évaluation : l'existence de procédures de « fabrication » garantit la qualité des revues.
Par ailleurs, il y a bien un usage des listes dans les opérations d'évaluation des unités menées par l'AERES ; mais les évaluateurs savent (implicitement, ndlr) quelles sont les revues « scientifiques » du champ disciplinaire auquel ils appartiennent. En revanche, les listes donnent de précieuses indications sur les autres disciplines et sur les revues étrangères.
Il rappelle quels sont les quatre grands domaines de l'évaluation des unités :
- la qualité de l'équipe : c'est dans ce domaine que l'on prend en compte le nombre des publiants
- le rayonnement et l'attractivité
- la gouvernance, prospective et solidité
- la qualité du projet.
Les revues (Hélène Bourguignon) : Le rôle des revues ne se limite pas à la diffusion des recherches, elles sont aussi actives en terme d'orientation scientifique. Une revue fait un véritable travail éditorial en retenant ou en suggérant des thématiques par exemple. On ne doit donc pas les réduire à la seule fonction de lieu d'évaluation et de diffusion d'un travail, sorte de chambre d'enregistrement.
Les revues (Patrick Fridenson) Par ailleurs, autour de la question des critères, il pourrait être intéressant que les revues rendent public leur mode de fonctionnement, par exemple en le présentant sur leur page Internet.
On pourrait alors partir sur l'idée d'une liste unique, dont le périmètre serait défini par l'énonciation de critères d'entrée clairs.
Les revues (Antoine Lilti, Annales) : Les critères en question ne sont sans doute pas aussi évidents qu'on pourrait le penser à première vue. Pour autant, cette discussion à leur sujet est l'occasion à saisir d'un véritable débat sur la nature d'une revue scientifique.
Par ailleurs, la liste unique est aussi une façon de ne pas se poser la question des usages.
Les revues (Jean-Louis Briquet, Politix) S'il n'y a pas possibilité de définir des critères sur lesquels il y aurait consensus, il vaudrait alors peut être mieux leur substituer celui du jugement « réputationnel ».
Les revues (Emmanuelle Picard, Mouvement social et Histoire de l'éducation) : les nouvelles possibilités qui vont être ouvertes par la mise en ligne d'un nombre sans cesse croissant de revues et l'attribution d'un DOI à chaque article (ce qui permettra de faire des opérations bibliométriques) ont-elles été anticipées par l'AERES pour ses classements futurs ? Et du côté des portails, où en est le travail sur les DOI ?
PB : la bibliométrie fait l'objet de critiques de deux sortes :
- celles concernant les indices existants, leurs biais et leurs limites ; elles se règlent aisément par l'usage d'indices multiples, se complétant les uns les autres ;
- celles sur la composition actuelle des bases des données utilisables, comme le WoS.
Cairn : il faut également se méfier des statistiques émanant des pages Internet des revues, car elles ne peuvent pas être utilisées dans des situations d'évaluation.
Les revues : la liste unique peut donner une chance aux nouvelles revues et aux revues pluridisciplinaires. Elle présente cependant un risque, celui d'un nivellement général. D'autre part, il n'y a eu du côté de l'AERES aucune demande d'information auprès des revues, du type des dossiers à renseigner pour les subventions du CNRS. D'où viennent donc les informations utilisées par les comités disciplinaires pour classer les revues ?
PB : dans l'évaluation des unités, la dimension qualitative est très importante. La question centrale est toujours : « en quoi cette unité a fait changer le paysage de la discipline ? » ; question qui pourrait également être posée aux revues.
Les revues (Jérôme Bourdieu, Actes de la recherche en sciences sociales) : un moyen efficace de neutraliser les effets des listes et du classement, serait qu'il existe plusieurs listes différentes (celles de l'AERES, celles du CNU, celles du CNRS…).
Les revues : que faut-il faire avec l'ERIH ? l'ESF est actuellement en phase de rediscussion au sujet des listes. Un dossier à été envoyé à un certain nombre de revues, leur demandant des éléments d'information. Il doit être renvoyé avant la fin de l'année civile. On peut le télécharger sur le site de l'ERIH :
Certaines revues l'ont reçu, parfois par l'intermédiaire de leur éditeur (c'est le cas d'Histoire de l'éducation par exemple). D'autres non.
Conclusion :
- on s'oriente vers l'idée de demander à l'AERES une liste unique pluridisciplinaire et sans classement ; la question est alors celle de la définition du « périmètre de scientificité ».
- cette demande pourra faire l'objet d'une proposition de lettre commune à l'ERIH, dans le même sens, auprès des revues étrangères.
- ce texte serait placé sur les sites Internet des revues signataires.
Une proposition de texte sera faite par les revues organisatrices de la rencontre de ce soir transitera par la liste de discussion dédiée aux revues SHS et pourra également être proposée à toutes les revues françaises intéressées.