Questions de société

"Voyages au pays de l’évaluation, ou de la signification de la novlangue évaluatrice" (SLU)

Publié le par Bérenger Boulay

Sur le site de Sauvons l'université:

"Voyages au pays de l'évaluation, ou de la signification de la novlangue évaluatrice"

comptes rendus de deux rencontres sur l'évaluation (27 mai, à Ulm, et 11 juin, à l'AERES)

Laquestion de l'évaluation est au centre de la réforme de l'enseignementsupérieur et de la recherche. Son organe principal : l'AERES, 15millions d'euros de budget si l'on en croit son président,Jean-François Dhainaut. Les membres de SLU se sont rendus à deuxrendez-vous sur l'évaluation. Le premier a eu lieu à l'ENS ULM le 27mai, immédiatement après l'Academic Pride, sous la forme d'une tableronde finalement animée par la salle ; le second, le 11 juin, était une"session de présentation des modalités d'évaluation des établissements,des unités de recherche et des formations de la vague D". Elles'adressait "en priorité :


puce.gif aux équipes présidentielles ;
puce.gif aux directeurs de composantes ;
puce.gif aux directeurs d'unités de recherche ;
puce.gif aux responsables d'écoles doctorales ;
puce.gif aux responsables de mentions de licence et de master." (selon le site de l'AERES).

Nous avons ainsi découvert la langue nouvelle aveclaquelle nous sommes désormais censés parler de notre métier, maisaussi que le gouvernement le plus libéral qui soit aura créé, àl'intérieur du système d'enseignement supérieur et de recherche, ce quiapparaît déjà comme une nouvelle classe bureaucratique sur le modèlesoviétique.

I. ENS ULM, 27 mai 2008. Rencontre sur l'évaluation.

Plusieurs membres de SLU et SLR étaient présents. Ce compte rendu est dû à Christian del Vento et Laurence Giavarini.

Dans une première partie, les conférenciers présententen 10 minutes, parfois plus, leur point de vue sur la question del'évaluation. Un grand momentfastidieux, à une exception près .

puce.gif MichelEspagne (Directeur de recherche au CNRS, membre du Comité national dela recherche scientifique) présente la table ronde et reprendl'essentiel du texte qui était disponible en entrant dans la salle,lequel était à son tour une synthèse des conclusions du colloque surl'évaluation du mois de novembre à Ulm sur le même sujet (textesdisponibles sur la toile).


puce.gif DenisePumain (Professeur de Géographie à l'Université de Paris 1, Déléguéescientifique AERES Coordinatrice sciences humaines et sociales) prometau public (clairsemé) qu'il n'a pas à s'inquiéter, les gens nommés àl'AERES sont soucieux de pluralité et nomment d'autres gens soucieuxd'équité et de pluralité.

puce.gif MauriceGodelier (Directeur d'études à l'EHESS, auteur du rapport "L'état dessciences de l'homme et de la société en France et leur rôle dans laconstruction de l'espace européen de la recherche " en 2002) alonguement parlé de son expérience, pour en tirer de mauvais souvenirsqui donc allaient comme naturellement dans le sens de la “réforme”.

puce.gif PhilippeRégnier (Président du conseil scientifique du département SHS au CNRS)a transmis son expérience dont il se dégageait quelques critiquescontre le principe de nomination dans les diverses commissionsreprésentées (pas plus de 50% de nommés dans les commissionsd'évaluation, a-t-il recommandé).

puce.gif PhilippeBüttgen (CNRS, philosophie) propose un texte qui analyse à la fois lapoussée violente d'évaluation que nous subissons et le déplacement quiconduit à abandonner le critère du jugement au profit de celui de lavaleur des supports (sensible dans la demande, faite aux évaluateurs,de donner des listes de revues). Il construit avec subtilitél'articulation entre le principe de nomination, qui prévaut dans laconstitution des commissions d'évaluation, et cet abandon du jugement,instrument pourtant décisif de ce qui fait des "scientifiques". Il estle seul orateur à être – vivement – applaudi.

puce.gif SandraLaugier (Professeur de Philosophie à l'Université de Picardie, Déléguéescientifique adjointe AERES Philosophie) fait remarquer quel'évaluation quantitative, ça peut quand même être dangereux (parce queça place les choses sur le plan des valeurs), et recommande del'évaluation qualitative modérée…

puce.gif enfinJean-Michel Roddaz (Professeur d'Histoire à l'Université de BordeauxIII, Responsable des SHS à l'ANR) fait l'éloge de l'ANR : garantissantqu'elle ne prend pas l'argent du CNRS, qu'elle n'a pas vocation àdéfinir la politique de recherche du pays. Il y a bien sûr del'évaluation à l'ANR : les manifestations publiques de notre envergureinternationale seront prises en compte, et donc encouragement est faitaux colloques, à même hauteur que les publications individuelles, carla réalité de notre monde tient en un mot : la compétitivité.

Au bout d'une heure trente (pas de retours entre lesintervenants sur leurs propres paroles) –, la parole est donnée à lasalle, qui la saisit immédiatement en la personne de MoniqueCanto-Sperber, directrice de l'ENS-ULM. Elle sidère l'assemblée en sedemandant à haute voix en quoi être élu est préférable à être nommé.Puis elle insiste longuement du classement de Shangaï qui n'est paspour "nous" mais pour ceux qui l'ont fait (voir aussi son texte dans le"Monde" du 26 mai à ce sujet).

Les remarques du public ont porté sur deux points : lecaractère absurde de l'assignation, inscrite dans les documents quesigneront les enseignants-chercheurs notamment, à un unique laboratoire(forcément celui de leur établissement), question posée par J.-J.Courtine (Paris IV), reprise par J.-C. Darmon plus tard, par P.-M. deBiasi assez longuement. La même remarque, plus la critique du principede nomination, a été faite avec amertume par un psychanalyste, maisaussi par Rémy Mosseri (directeur d'une commission scientifique auCNRS) qui a observé, en guise d'avertissement, que le système del'AERES, tel qu'il est constitué par des nominations en cascade,pouvait être bloqué à certains étages.

Les réponses embrouillées, parfois ahurissantes, venuesde la table ont suscité la colère de plusieurs personnes (dont lesmembres de SLU présents) qui ont protesté avec véhémence et interrogéles intervenants : sur la politique de contrôle par l'assignation à unlieu de recherche, sur l'impossibilité d'établir des liens avecd'autres universités de province, puisqu'il était dit qu'il s'agissaitde protéger les Ec du parisianisme de la recherche, sur la volontépolitique à l'origine de cette réforme. La réaction des orateurs,visiblement impréparés, voire perdus face aux questions et à lacontestation de plus en plus virulente qui surgissait dans la sallelaisse rêveur : jusqu'où va dans leur démarche le cautionnement despolitiques qui sont imposées par le haut (par Bercy en premier lieu, lemot a été lâché par M. Roddaz...) ? Ont-ils pris la mesure exacte deseffets de leur dispositif ? Connaissent-ils exactement les réalités surlesquelles leurs dispositifs vont lourdement intervenir ? Et, surtout,y-a-t-il encore une marge de discussion ?

Ce qui est clair : dans les réformes actuelles de laRecherche et de l'Enseignement Supérieur il n'est pas questiond'évaluation mais d'une instrumentalisation des évaluateurs à des finsde politiques scientifiques. Le remplacement des commissions élues pardes individus nommés les rend responsables de ce qu'ils font non pasdevant la communauté scientifique mais seulement devant leur supérieurhiérarchique (déclaration de Denise Pumain). Personne n'a alors àconnaître les raisons qui ont présidé au choix de ces personnes(affirmation de J.-M. Roddaz).

La partie "débat" a été écourtée par M. Canto-Sperber qui a invité à une "collation".

II. AERES, 11 juin. Session de présentation

C'est à la première partie de celle-ci, le matin donc, que J.-L. Fournel de SLU, auteur de ce compte rendu, a assisté.

Objet de la réunion : présentationde l'évaluation pour les établissements de la vague D ["La France a étédécoupée en quatre vagues dans le cadre de la politique contractuellemenée par le Ministère de l'Enseignement Supérieur et de la Recherche.L'AERES évalue chaque année l'une de ses vagues afin de permettre àl'Etat et aux structures évaluées de finaliser leur contratquadriennal." note tirée du site de l'AERES]

Modalités : Pendant une heureenviron, présentation de quatre topos par le président de l'AERES,Jean-François Dhainaut, et par les responsables des trois sections del'Agence, chargées respectivement de l'évaluation de l'offre deformation et des diplômes (Alain Menand [1]), des équipes de recherches (Jean-Jacques Aubert [2]) et des établissements (Michel Cormier [3]).Il s'agit de résumer (de façon plutôt claire) les principes qui lesguident, leur mode de fonctionnement et ce qu'ils attendent des« évalués », notamment comme collaboration à leur évaluation (on verraque c'est là un des points essentiels des discours présentés : commentfaire participer et faire adhérer les destinataires de l'évaluation auprocessus de la façon la plus active possible, jusqu'à faire del'auto-évaluation préliminaire le socle de l'évaluation définitive).

I) discours du Président de l'AERES, JF Dhainaut [4]

Trois points essentiels : indépendance, « démarche qualité », évaluations internes et autoévaluation

1) Il commence par souligner que pour lui le mot leplus important pour qualifier le processus d'évaluation et le travailde l'agence qui préside est celui d'indépendance. A ce propos, onrappellera que la notion d'« évaluation indépendante » est aussi un desquatre « piliers » présentés par Valérie Pécresse pour définir sapolitique.

Il présente ensuite l'Agence et ses moyens (un budgetglobal de 15 Millions d'euros et une centaine d'emplois équivalenttemps plein).

2) Le deuxième point important de son intervention -présenté avec un certain enthousiasme comme le « challenge » de l'AERES(sic) - est celui de la « démarche qualité » (sic,même si l'expression ressemble davantage au lexique de l'économie qu'àcelui de l'éducation et de la recherche…) visant à la mise en placed'une « assurance qualité » (re-sic), une démarche engagée par l'AERES depuis 2007 et qui doit déboucher sur sa reconnaissance européenne en 2009.

Malheureusement, selon un scénario bien rodé désormaispar le Ministère et ses missi dominici dans d'autres dossiers, lesuniversités françaises, nous est-il rappelé pour nous ramener aux duresréalités, accusent un « retard » par rapport à leurs « concurrentes »européennes sur ce point, aucune d'entre elles n'ayant vraiment mis enplace de telle démarche. La justification de l'entreprise en questionse décompose en trois points (tous significatifs) :

a) la complexité de l'objet enseignementsupérieur/recherche nécessite l'évaluation de ses « mécanismes » pourmettre au jour ses « dysfonctionnements » ;

b) la « démarche qualité » permettra une économienotable sur le coût de l'évaluation et améliorera la « rentabilité » dece travail (non, non, vous ne rêvez pas c'est vraiment comme cela quecela nous est présenté benoîtement…)

c) enfin les raisons dites « politiques », liées àl'exercice de l'« autonomie » accordée gracieusement par la loi LRUpuisque ladite démarche qualité nous aidera à construire une vraieposture prospective et à avoir confiance dans l'avenir (mais si, maissi !).

3) Le dernier point capital me semble être ledéveloppement sous diverses formes de la centralité de l'autoévaluationou évaluation interne comme socle du travail de l'AERES (tripleavantage de la chose : nous faire intégrer les injonctionsministérielles comme cadre de pensée naturelle et allant de soi,économiser du temps, donc de l'argent et, de plus, flatter lesuniversités en faisant semblant de faire de celles-ci des partenaires,alors même que la décision leur échappe complètement). Là aussi (maisl'antienne ne nous surprend plus) « nous sommes en retard sur lesautres pays européens » et il est urgent de faire des progrèsrapides…et donc d'accepter tous les calendriers contraints que l'onnous impose. C'est une condition pour – je cite – « garantirl'excellence », « assurer un bon pilotage de la démarche qualité » etaffirmer des « priorités » claires. Certains établissements ont même unVice-Président « Qualité » « comme dans les entreprises », ce qui esttrès important pour la « collaboration » avec ces mêmes entreprises,surtout « anglo-saxonnes » et pour la « compétition » dans laquelle,comme vous le savez bien, nous sommes tous engagés (sic– et je vous jure que je n'invente rien. 500 témoins dans l'amphipeuvent le confirmer). L'objectif est exigeant mais permettral'émergence d'une culture spécifique d'établissement (si telle est lacondition de son émergence, ça promet pour ce qui sera au coeur de cetteculture…) et, surtout, de répondre aux attentes du monde professionnel.

En forme de conclusion, il nous est dit sans rire que « l'agence aura répondu à tous ses objectifs quand elle ne sera plus indispensable »et que nous serons tous capables de nous évaluer de façon crédible. Unedistinction formelle capitale résume la philosophie de l'Agence : ladistinction entre qualité « en recherche » (en gros les modalités defonctionnement et d'organisation), qualité « de la recherche » (en grosles résultats des recherches entreprises) et (la désormais fameuse)« démarche qualité ». Comme vous pouvez le penser la deuxièmecomposante est celle qui intéresse le moins de l'AERES…

II) Sur les trois autres interventions

NB : je passe plus vite sur ses trois interventionsplus techniques et non dénuées d'ailleurs d'éléments intéressants maisqui se gardaient la plupart du temps d'entrer dans la logique de leurdémarche

1) Sur les offres de formation (diplômes et ED) [5]

L'orateur, Alain Ménand, souligne les allers et retoursentre universités et AERES « comme pour toutes les évaluations », sansrien dire de la prise en compte ou non de ces remarques des évalués parles instances décisionnaires.

Lui aussi s'appesantit lourdement sur la fameuseauto-évaluation qui sera inaugurée par la vague D et sur la« transparence » de l'AERES qui transmet ses critères d'évaluation.

Il souligne aussi la nécessité de mettre en placel'évaluation des enseignements par les étudiants, théoriquementobligatoire depuis 1997 et mise en place quasiment nulle part etremarque que la seule évaluation de ce type qui ait un sens est celleunités de valeur (position qui me semble sensée).

2) Sur les unités de recherche (EA, UMR etc.) [6]

Certains points méritent d'être notés selon Jean-Jacques Aubert :

puce.gif mieux prendre en compte les productions non académiques (mais ce qui est entendu par là n'est pas clair)

puce.gif mieux lutter contre les conflits d'intérêts ou de proximité

puce.gif mieux intégrer les effets d'un calendrier très contraignant (contrelequel il n'y a bien sûr rien à faire) et d'un fonctionnement en « fluxtendu » (sic)

puce.gif intégrer dans les groupes d'évaluation un ITA pour les cas où cela a unsens (les équipes comportant un nombre important d'ITA (donc « jamaisles SHS » est-il ajouté…)

puce.gif appel aux évalués à demander l'intégration en amont par l'AERES dansles lettres de mission écrite des groupes d'évaluation de tel ou telpoint pour eux capital dans leurs pratiques de recherche et leursprojets

puce.gif la nécessité d'améliorer leurs grilles d'évaluation (il admet que l'andernier ils se sont contentés de recourir à une grille hollandaise maladaptée au cas français !)

puce.gif désignation dans chaque université d'un « correspondant scientifique »préparant les visites AERES qui ne soit ni le VP du CS ni un directeurde laboratoire ou d'équipe

puce.gif chaque rapport doit comporter point forts, points faibles et recommandations

Le point le plus important dont on ne sait s'il relèvede l'aveu, de la gaffe, du ballon d'essai ou de la tentative de nousfaire demander haut et fort ce dont nous ne voulons pas est, à monsens, qu'il nous fut dit explicitement que, dans la vague D et pour lapremière fois, les équipes de SHS ne seraient pas notées car « ilsemble qu'il soit difficile de définir ce qu'est une équipe en SHS » (sic- je vous assure que ce sont ces mots-là qui furent prononcés !). Commedans la logique de la structure qui parle les instances non notéesn'existent pas, vous en tirerez les conclusions qui s'imposent…

La cerise sur le gâteau est que les experts en SDV(Sciences du vivant) souhaitent vivement une version anglaise de toutdossier à évaluer…

3) Evaluation des établissements [7]

Au-delà de la présentation du dispositif d'évaluationpour les établissements (documents requis, calendrier, procéduresetc ;), il nous est dit par Michel Cormier que la question pour l'AERES(et on reste confondu de voir qu'ils y pensent maintenant au bout detrois ans d'existence) est de faire en sorte que les experts soient« complémentaires, formés et informés » : quelle découverte !

Conclusion : A l'issue decette présentation, j'ai demandé au président de l'AERES (qui a semblésurpris du caractère direct de la question), si, puisqu'il parlaitconstamment d'indépendance de l'évaluation comme condition sine qua nonde sa crédibilité, il s'estimait indépendant puisqu'il avait été nommédirectement par le Ministère ainsi que tous ceux qui participaient auxévaluations. J'ai souligné que dans toute évaluation il y avait troisquestions qui valaient : qui évalue (sa légitimité à le faire), commenton évalue (la fiabilité des critères et le refus de critèresquantitatifs et purement bibliométriques) et pour quoi, pour quelhorizon, pour quelle stratégie politique on évalue (et dans cetteperspective il était curieux de ne pas avoir entendu dans les exposésles sigles ANR, CNRS, CPU). La réponse fut à la hauteur de la volontéde considérer l'évaluation comme une question purement « technique » et« scientifique », non comme un problème politique puisque le Présidentde l'AERES ne répondit que sur la constitution un peu empirique despools d'experts (sur propositions des universités) et sur les excès dela bibliométrie à combattre par le bon sens. A la suite de quoi, j'aidû partir pour une autre réunion et n'ai pas pu évaluer la teneur dudébat qui a suivi.

pixel_couleur1.gif

[1]Alain Menand, professeur à l'université de Rouen, est l'anciendirecteur scientifique du département de physique à la MSPT (Missionscientifique, pédagogique et technologique).

[2]Jean-Jacques Aubert, physicien, est ancien directeur de l'IN2P3(Institut national de physique nucléaire et de physique des particules)du CNRS à Paris 11 Orsay.

[3] Professeur de pharmacie, Michel Cormier a été vice-président de l'université Rennes-I.

[4]Médecin français, il a été de 2004 à 2008 président de l'UniversitéParis Descartes avant d'être remplacé par Axel Kahn. De 1999 à 2004, ilfut le doyen de la Faculté Cochin Port-Royal puis, de 2003 à 2007,membre du département Biologie Cellulaire de l'Institut Cochin. Il adirigé le comité scientifique d'une convention sur la « société dusavoir », organisée le 4 octobre 2006 par Valérie Pécresse et LaurentWauquiez, aujourd'hui secrétaire d'État à l'emploi du gouvernement.

[5]La section des formations se charge de l'évaluation des formations etdes diplômes. "Lorsque la loi ou le règlement attribue à une instancela compétence pour procéder à l'évaluation de certaines formations oudiplômes, cette section peut préparer un avis sur la qualité desprocédures mises en oeuvre."

[6]La section des unités a pour mission l'évaluation des activités desunités de recherche des établissements et organismes. "Elle conduitl'évaluation soit directement, soit en s'appuyant sur lesétablissements et organismes selon les procédures qu'elle a validées."

[7]La section des établissements à l'AERES est chargée de l'évaluation desétablissements d'enseignement supérieur et des organismes de recherche.Elle doit également valider les procédures d'évaluation des personnelsde ces établissements et organismes et préparer un avis sur lesconditions dans lesquelles elles sont mises en oeuvre.

Publié le jeudi 12 juin 2008
Mis à jour le dimanche 15 juin 2008