L’évaluation de la recherche en sciences humaines et sociales (SSH) : les indicateurs quantitatifs et qualitatifs en question
Lieu du congrès:
Maison des Sciences de l'Homme en Bretagne
Campus de Villejean (Rennes, France)
4 - 6 juin 2015
www.ressh.eu
L’association EvalHum (www.evalhum.eu) a le plaisir de lancer son premier appel à communications pour la conférence internationale sur l’évaluation de la recherche en sciences humaines et sociales (Research Evaluation in the Social Sciences and the Humanities : RESSH), qui aura lieu à Rennes du 4 au 6 juin 2015.
Ce congrès s’inscrit dans le sillage d’une journée d’études sur la notion de « qualité de la recherche en sciences humaines et sociales », organisée à Rennes en juin 2014, dans le cadre du projet InterMSHS intitulé « QualiSHS ». Par ailleurs, cette conférence vient à la suite de plusieurs rencontres sur la place et le rôle des SHS, organisées par l’association EvalHum (www.evalhum.eu). Le but de cette conférence est de rassembler tous types de chercheurs et partenaires intéressés par les questions de l’évaluation de la recherche et par l’impact sociétal des SHS.
Problématiques et objectifs du congrès
Les SHS, ainsi que les études sur leur impact sociétal, sont devenues un thème majeur de recherche au niveau européen, dans la mesure où l’UE s’interroge sur les moyens les plus efficaces pour intégrer les chercheurs des SHS dans son programme cadre « Horizons 2020 ». Or, pour que cette intégration soit effective – au niveau européen mais aussi au niveau national, où les stratégies et les priorités sont souvent en ligne avec « Horizons 2020 » –, il est essentiel de comprendre et d’améliorer les processus d’évaluation de la recherche, et plus particulièrement de comprendre comment ces processus affectent la recherche dans les SHS.
Le but politique affiché lors du développement des protocoles d’évaluation de la recherche est celui d’amélioration du système dans l’ensemble. Cependant, l’implémentation de cette politique a attiré beaucoup de critiques, de la part de chercheurs dans les SHS, comme de chercheurs d’autres domaines. En outre, des articles scientifiques, écrits par des spécialistes de l’évaluation, ont mis en évidence plusieurs effets négatifs des protocoles adoptés. Leur biais peut-être le plus visible est celui de la focalisation presque exclusive sur la notion d’excellence, ce qui a toute sorte d’effets pervers et se traduit peu dans l’amélioration d’ensemble de la qualité dans l’écosystème de la recherche ou l’augmentation de son impact sociétal.
En même temps, quoique la montée en puissance de l’évaluation de la recherche soit un phénomène récent, il ne peut pas être ignoré que l’essor des sciences au XVIIIe siècle peut être mis en lien avec le développement des premières pratiques d’évaluation par les pairs. Le retour sur cette tradition, à confronter avec les pratiques modernes, devrait permettre de mieux comprendre les mécanismes de la recherche dans les SHS, ses impacts sociétaux, et les notions de qualité qui lui sont propres.
À la fois neuve et ancienne, vue par les uns comme utile, et par les autres comme dangereuse, l’idée d’évaluer la recherche dans les SHS reste dans l’ensemble un sujet de discorde plutôt qu’un objet d’études ; la nécessité de l’exercice est régulièrement mise en question dans son ensemble. Le but de ce congrès est de dépassionner le débat, en situant l’évaluation dans une perspective épistémologique. Dans des termes moins abstraits, la question principale du congrès est si l’évaluation peut être utile aux chercheurs dans les SHS, si elle peut réellement améliorer la qualité et la relevance de la recherche, ou bien si elle est condamnée à reste un outil de management, employé pour allouer les fonds et pour imposer des politiques scientifiques.
Axe 1. Permanences et changements dans l’évaluation des SHS
Quand et où le besoin d’évaluer la recherche s’est-il manifesté, et quelles formes l’exercice a-t-il pris ? Voici la première série de questions qui s’ouvre dans la perspective du colloque. Nous faisons ainsi appel à des communications qui apportent des perspectives historiques sur les origines, les buts et la mise en œuvre des protocoles d’évaluation dans les différents pays : contexte politique, configuration sociologique du secteur de la recherche, place de la recherche et des groupes de chercheurs dans la société, attitude des universitaires au sujet de l’exercice d’évaluation, etc. L’accent sera mis sur l’évaluation des SHS par contraste avec les protocoles de l’évaluation mis en place dans les sciences de la nature et le secteur biomédical.
Une question à part est celle de l’émergence d’un nouveau critère d’évaluation de la recherche, celui de sa relevance sociétale. Dans quelles circonstances ce critère est-il devenu essentiel dans plusieurs protocoles d’évaluation, et dans quelle mesure est-il favorable ou défavorable aux SHS ?
Axe 2. Des pratiques de recherche à l’évaluation de la recherche dans les SHS
La notion de « sciences humaines et sociales » couvre un très large spectre de disciplines. Pour une bonne évaluation de la recherche, il est essentiel comprendre les similitudes et les différences entre ces disciplines, telles qu’elles se manifestent dans les pratiques de travail et dans les habitudes de dissémination des résultats. S’y ajoutent des interrogations à propos des traditions de dialogue de ces sciences avec la société. L’objectif est de parvenir à concevoir un système d’évaluation homogène, juste et facile à appliquer, mais qui prend également en compte la variété des différents champs. Par ailleurs, l’exercice d’évaluation de la recherche a tout à gagner d’une meilleure compréhension de ce que les chercheurs dans les SHS considèrent comme étant leur mission et leur rôle.
Nous sommes, dès lors, particulièrement intéressés par des études de cas qui visent à mettre en évidence la façon dont les spécialistes des SHS pensent la qualité et la relevance sociétale de la recherche dans leur domaine. Les communications devraient également se poser la question des concordances et discordances entre les protocoles d’évaluation et ces représentations de la qualité et de la relevance sociétale, propres aux chercheurs des SHS. Dans quelle direction ces protocoles devraient-ils évaluer afin de mieux tenir compte du point de vue des acteurs de terrain ?
Une autre série de questions est celle du rôle que joue l’évaluation dans le processus de production des connaissances dans les SHS. Quels sont les effets sur ce processus des différents types d’évaluation (procédures top-down, ou évaluations organisées par la communauté elle-même) ? Ces effets ont-ils été anticipés, attendus et désirés, ou non ? Quel est le lien entre ces effets et le contexte spécifique d’une discipline, ou les pratiques de recherche et les représentations de la qualité et de la relevance qui y ont cours ?
Axe 3. Développements récents dans les méthodes et outils pour l’évaluation de la recherche dans les SHS
Il a été souvent écrit que certaines méthodes et outils employés pour l’évaluation de la recherche en sciences de la vie ne sont pas adaptés aux SHS. Ainsi, en dépit des efforts récents d’amélioration de la couverture SHS des bases de données comme Web of Sciences ou Scopus, la présence des journaux du domaine y reste marginale. Les facteurs d’impact ne tiennent pas compte des manières de disséminer la recherche dans les SHS, tandis que les indices de citation sont peu fiables, car ne tenant pas compte des manières spécifiques de citer et de constituer des bibliographies, ayant cours dans les SHS. Toutes ces critiques indiquent qu’il est besoin de repenser les données quantitatives qu’il est nécessaire de collecter à propos des SHS, afin de rendre les jugements évaluatifs plus objectifs, même s’il est évident qu’une « parfaite » objectivité, en matière d’évaluation, est aussi illusoire que peu souhaitable. En même temps, les différentes initiatives visant à améliorer la visibilité sur la production scientifique dans les SHS, ainsi que la conception de nouveaux indicateurs pour les SHS, ont ravivé les controverses.
Nous attendons, pour cet axe, des propositions présentant de nouvelles méthodes d’évaluation, qualitative ou quantitative, pouvant s’appliquer aux SHS : bases de données pour les SHS, adaptation de la bibliométrie aux disciplines SHS, bibliométrie alternative, amélioration des systèmes d’évaluation par les pairs, la contribution des politiques d’open access à l’identification de l’impact des SHS, etc. En même temps, nous attendons des communications sur la souhaitabilité ou l’impossibilité d’employer la bibliométrie dans l’un ou l’autre des champs des SHS, ou d’y organiser des évaluations.
Les organisateurs
Evalhum (www.evalhum.eu) est une association qui vise à promouvoir la recherche dans les SHS et à augmenter sa visibilité parmi les spécialistes des autres disciplines, les décideurs, et le large public. L’évaluation, en tant que mise en valeur d’un potentiel et de résultats, apparaît comme un outil approprié pour atteindre ces buts.
Evalhum vise à lutter contre le rejet ou la marginalisation des SHS par des spécialistes d’autres disciplines, ainsi que contre la tentation du repli sur soi qui caractérise bien souvent les communautés SHS elles-mêmes.
Le comité scientifique
Tim ENGELS, Université d’Anvers (Belgique)
Ioana GALLERON, Université de Bretagne-Sud (France)
Elea GIMENEZ TOLEDO, CSIC (Espagne)
Jochen GLÄSER, Université technique de Berlin (Allemagne)
Séverine LOUVEL, Sciences po Grenoble (France)
Stéphanie MIGNOT-GERARD, Université de Paris-Est Créteil (France)
Michael OCHSNER, ETH Zürich (Suisse)
Thed VAN LEEUWEN, Université de Leiden (Pays-Bas)
Gunnar SIVERTSEN, NIFU (Norvège)
Jack SPAAPEN, KNAW (Pays-Bas)
Geoffrey WILLIAMS, Université de Bretagne-Sud (France)
Soumission des propositions
Trois types de propositions sont possibles :
- propositions de communication ;
- propositions de tables-rondes ;
- propositions de posters.
La durée des communications est fixée à une quinzaine de minutes. Chaque session comportera une longue plage dédiée aux questions et aux débats.
Les tables rondes doivent réunir entre 4 et 6 participants, qui s’expriment pendant maximum 45 minutes, suivies par minimum 45 minutes de discussions avec la salle.
Les posters ne peuvent pas dépasser le format A1 ; le format A2 est le plus recommandé. Une session posters est prévue le premier jour de la conférence.
La langue de la conférence est l’anglais, mais des propositions et des communications en français sont acceptées ; en fonction du nombre de propositions, des séances intégralement en français peuvent être prévues.
La date limite de soumission des propositions est le 5 janvier 2015 ; les notifications d’acceptation ou de rejet seront envoyées le 1er mars 2015.
Les propositions sont à soumettre via Easy Chair, accessible à travers la page web de l’évènement: http://www.ressh.eu.