Rubbish or perish

Il ne doit pas être facile d'évaluer le travail d'un chercheur. Chacun de nous est spécialisé dans un domaine dont il doit falloir apprendre le vocabulaire et les concepts, avant de prétendre se faire une idée de la contribution réelle d'un chercheur à son domaine. Mais, s'il est difficile d'évaluer les chercheurs, il le faut pourtant : on pourrait craindre, sinon, que des chercheurs démotivés arrêtent de travailler sérieusement, et se contentent de toucher leur salaire sans rien faire.

C'est pourquoi nous sommes tous, chercheurs et enseignants-chercheurs, amenés à remplir périodiquement des comptes-rendus d'activité, où nous détaillons l'ensemble de nos activités d'enseignement et de recherche. Mais les pauvres évaluateurs, qui doivent s'imposer la lecture de tous ces comptes-rendus, puis rendre leur avis, doivent y passer un temps considérable s'ils veulent comprendre réellement l'ampleur des découvertes, et le sérieux avec lequel les enseignements sont préparés. Il serait si simple, pour nos évaluateurs, d'avoir un critère facile à mesurer, et qui permettrait de comparer les mérites relatifs des uns et des autres…

C'est ainsi que nos instances, et les évaluateurs qu'elles sollicitent, se sont laissés tenter par une solution de facilité : compter les publications écrites et les communications orales données par un chercheur ou un enseignant-chercheur qu'ils veulent évaluer. S'il a travaillé sérieusement, au bout d'un moment il aura forcément découvert quelque chose. Et s'il l'a découvert, il l'aura publié. Il suffit donc de compter ses publications pour mesurer son activité de recherche : quelle simplicité !

Bien entendu, la simplicité de cette procédure d'évaluation s'accompagne d'une grande imprécision : certaines publications, ou communications orales, nécessitent un travail énorme, d'autres moins. Certaines découvertes ont nécessité de grandes connaissances et des années de travail, d'autres sont dues à un coup de chance. Les différents auteurs d'une publication n'ont pas non plus, tous, contribué à la même hauteur, ce qui est difficile à mesurer à la lecture de l'article. Les enseignants-chercheurs, s'ils ne sont jugés que sur leurs publications de recherche, ne sont pas valorisés pour leur travail d'enseignement, et seront tentés de le négliger. Toutes ces limitations sont connues, et souvent discutées, mais in fine, quand il est face à une pile de CV à classer, le pauvre évaluateur s'en remet souvent à cette mesure bien commode…

Notamment quand il s'agit d'évaluer un institut entier : les jurys d'inspection s'amusent parfois à compter les « non-publiants ». Ces chercheurs, marqués du sceau de l'infâmie, sont ceux qui n'ont participé à aucun article ou aucune communication orale depuis trop longtemps. Si un institut compte de nombreux non-publiants, il donne l'impression d'être un repaire de paresseux, ou d'incompétents, et ses institutions de tutelle seront tentées de le considérer comme médiocre.

C'est de cette triste réalité, que notre directeur a récemment pris conscience. Notre institut a été évalué par un jury international, une petite dizaine de chercheurs venus d'un peu partout, et qui nous ont auditionnés pendant trois jours, pour rendre un rapport sur la qualité de nos travaux. C'est au directeur de notre institut que ce rapport est parvenu : si le jury saluait l'inventivité de nos projets, et la qualité globale de nos contributions scientifiques, il dénonçait, au détour d'une petite phrase assassine, la présence d'un taux de non-publiants supérieur à la moyenne nationale.

Cette petite remarque anodine, que j'aurais probablement lue sans y prêter attention, a, au contraire, plongé notre directeur dans une grande tristesse. Lui qui avait pris l'habitude de commencer ses discours par quelques phrases d'auto-congratulation, où il se plaisait à souligner notre « excellence » et notre « efficacité », il était subitement confronté à un jugement froid, objectif, impartial, qui relativisait tout le bien qu'il avait toujours pensé de notre travail à tous. Cette statistique déshonorante sur le taux de non-publiants de l'institut, c'était un affront pour lui, une injure, c'était une tache qui souillait douloureusement l'image qu'il s'était faite de notre travail collectif. Il fallait y remédier, il fallait améliorer cette statistique. Il en allait de notre honneur à tous.

C'est donc sur un ton grave qu'il a expliqué aux différents chefs d'équipe pourquoi il les avait tous convoqués en urgence. Il nous a fait passer le rapport d'évaluation, n'a pas manqué de souligner les compliments qui nous étaient faits, mais sans s'y attarder. Il a rapidement demandé à chacun de se reporter à la dernière phrase du troisième paragraphe de la page 8.

Nous avons tous feuilleté la petite liasse, et, en élèves consciencieux, nous avons tous lu la phrase qui annonçait fourbement, à la face du monde, que notre institut comptait plus de non-publiants que la moyenne nationale. Nous avons levé les yeux vers notre directeur, qui nous contemplait en hochant la tête silencieusement.

« Bon, vous avez vu quel était le problème. Il faut maintenant qu'on trouve des solutions pour y remédier. Il faut que notre taux de non-publiants devienne meilleur que celui de la moyenne nationale, avant la prochaine évaluation : notre institut pourrait ne pas s'en remettre s'il était compromis de cette sorte une deuxième fois… »

À nous tous, qui découvrions le concept de « non-publiant », cet augure funeste semblait un peu excessif. Solange a pris la parole :

« Tu crois vraiment que notre institut est en danger à cause de cette statistique ? »

La réponse du directeur est tombée, ponctuée par un silence lourd :

« Ça ne fait pas l'ombre d'un doute. »

Nous nous sommes tous regardés. Il fallait que nous réduisions ce taux de non-publiants. Insouciants que nous étions jusqu'alors, nous qui avions toujours cru que nous faisions un bon travail, nous qui nous félicitions de nos quelques anecdotiques succès ! Nous venions de prendre conscience de la gravité de la situation. Ces non-publiants, tapis dans l'ombre, dont nous ne suspections pas l'existence, travaillaient depuis des années à saper la réputation de notre glorieux institut. Il fallait réagir, il fallait les débusquer, il fallait les soigner, il fallait, en tout cas, que ces non-publiants sortent des statistiques !

Le directeur a allumé le vidéo-projecteur qui était connecté à son ordinateur.

« J'ai vérifié les chiffres donnés dans le rapport d'évaluation. Ils sont corrects. Nous avons, dans l'institut, 9 non-publiants parmi le personnel statutaire. Voici la liste… »

Nous avons contemplé longuement la liste de noms qui s'affichait devant nous. Tous ces noms connus, ces gens qui étaient nos collègues, que nous avions appréciés, nous nous rendions compte, subitement, qu'ils étaient des non-publiants. Nous ne les regarderions plus jamais de la même manière.

Pierre a pris la parole :

« Bon, rationalisons la situation. Pour qu'il y ait moins de non-publiants, je vois deux solutions : soit ils se mettent à publier, soit ils quittent l'institut, et ils vont “non-publier” ailleurs. »

Tout le monde a hoché la tête devant la rigueur du raisonnement. Jean-Claude, dont l'équipe hébergeait l'un des 9 non-publiants, a répondu :

« Ben, en ce qui me concerne, je préfère la première solution. Tout le monde en sortirait grandi, si ces personnes se mettaient à publier. Je vois, dans la liste, qu'il y a Sabine, une membre de mon équipe. C'est vrai qu'elle n'a rien publié depuis six ans, mais c'est parce que son projet est super-ambitieux, et le jour où elle le publiera, ça fera du bruit ! »

Chacun des chefs d'équipe qui avaient le douloureux honneur d'héberger l'un des non-publiants de la liste a alors pris la parole pour confirmer que, dans son cas aussi, la personne était sur le point de publier, que son projet était difficile, que cette personne avait un grand mérite de ne pas se décourager, etc. La conversation est devenue inaudible, tous prenaient la parole en même temps pour, finalement, tous dire à peu près la même chose.

Le directeur a demandé le silence.

« C'est vrai que c'est la meilleure solution. D'ailleurs, si on y réfléchit, l'autre solution n'est pas vraiment tenable : on ne peut pas se débarrasser, comme ça, d'un chercheur ou d'un enseignant-chercheur ! Il faut qu'il trouve un labo d'accueil, et forcément, les labos ne vont pas se précipiter pour leur proposer de la place… »

Un murmure d'approbation a circulé dans la pièce, rapidement supplémenté d'un grognement indistinct de la part des chefs d'équipe qui hébergeaient l'un des non-publiants, et qui tenaient à montrer publiquement qu'ils étaient heureux de travailler avec eux.

Le directeur a poursuivi :

« Il faut donc que nous fassions en sorte que ces neuf personnes publient, et vite. Y en a-t-il, parmi ces neuf, qui ont une publication en cours d'évaluation ? »

Solange était heureuse de lever la main. Son équipe comptait deux des neuf non-publiants, et elle s'était montrée très discrète, peut-être un peu honteuse, depuis l'affichage de la liste. Elle nous a annoncé fièrement que l'un des deux faisait partie des auteurs d'un manuscrit qui était en cours d'évaluation depuis un mois, et pour lequel on pouvait prévoir une issue positive avant la fin de l'année.

Le directeur s'est satisfait de cette explication. À l'ordinateur, il a grisé le nom de cette personne dans la liste.

« Bon, il en reste huit… J'ai bien compris qu'ils travaillaient dur, que leurs projets étaient difficiles, tout ça, tout ça. Malheureusement, ce n'est pas de ça qu'il s'agit. Il s'agit d'une statistique objective, facilement mesurable par n'importe qui, et qu'il faut améliorer. Il faut que nous fassions en sorte que ces personnes publient quelque chose — j'entends : à côté de leur projet principal, qui est si difficile et qui demande tellement de temps. »

Marie, qui n'était pas intervenue depuis le début de la réunion, a ricané suffisamment fort pour être entendue de tous :

« On reçoit tous les jours des dizaines de spams pour des journaux à la noix, et qui cherchent des auteurs. Vous n'avez qu'à les faire publier là-dedans, ça n'est visiblement pas difficile ! »

Plusieurs personnes lui ont adressé un regard lourd de reproche. Marie était connue pour ne pas être très diplomate, et si quelque chose lui déplaisait, elle le faisait savoir clairement.

Solange lui a lancé, amère : « Oh oui, Madame prend ça de haut, Madame ne s'abaisse pas à ce genre de considérations ! »

Marie s'est contentée de hausser les épaules. C'est le directeur qui est intervenu pour éteindre le début d'incendie :

« Allons, allons, vous n'allez pas recommencer, toutes les deux… Marie, dis-moi, c'est quoi, cette histoire de journaux qui cherchent des auteurs ? »

Nous nous sommes tous regardés avec incompréhension. Chacun de nous recevait effectivement, quotidiennement, plusieurs de ces messages, envoyés par de prétendus éditeurs qui déclaraient chercher des articles à publier dans leur journal — journal dont, systématiquement, le nom nous était complètement inconnu. Il s'agissait en réalité d'un système de détournement de fonds publics, déguisé en édition scientifique. Ces journaux acceptaient, sans distinction, tout ce qui leur était soumis, et le publiaient contre rémunération. La communauté scientifique avait été habituée à se faire rançonner par les éditeurs scientifiques, qui exigeaient un paiement de la part des laboratoires, au prétexte que la publication coûtait cher (il fallait imprimer, relier et expédier les journaux à leurs lecteurs ; le même prétexte servait d'ailleurs aussi à exiger paiement de la part des lecteurs, et des annonceurs publicitaires). C'est donc tout naturellement qu'un écosystème de pseudo-journaux scientifiques s'était développé, où chacun trouvait son compte : les chercheurs publiaient, et c'est ce que leur demandaient leurs évaluateurs ; et les journaux encaissaient les « frais de publication », qui n'avaient curieusement jamais disparu malgré la dématérialisation des publications. Ces éditeurs peu scrupuleux, qui profitaient de la pression à la publication, à laquelle sont soumis les chercheurs du monde entier, étaient surnommés des « éditeurs prédateurs ».

Nous avons expliqué cet état de fait à notre directeur, qui semblait découvrir la situation. Je lui ai demandé :

« Mais enfin, tu ne les reçois pas, toi, ces messages de publicité ? Ils polluent nos boîtes à mail dans des proportions considérables ! »

« Oh, vous savez, j'ai réglé mon filtre à spam tellement bas, qu'il m'envoie tout ça dans le répertoire des courriers indésirables… »

Nous étions tous intéressés : nous avions tous rêvé d'un filtre à spam qui nous débarrasse des annonces des éditeurs prédateurs. Mais comme les expéditeurs de ces messages avaient des adresses mail hébergées par d'authentiques établissements académiques, il était impossible de les éliminer sans perdre, également, de nombreux messages importants. Ce que notre directeur nous a d'ailleurs confirmé en terminant sa phrase :

« D'ailleurs, il faut vraiment que je demande aux gens du service informatique de revoir les réglages. Je ne reçois qu'un message sur dix : ça limite la quantité de spam à effacer, mais j'ai souvent des problèmes pour recevoir les messages de mes collaborateurs extérieurs… ».

Nous nous sommes tous regardés en souriant. Finalement, nous préférions recevoir les annonces des éditeurs prédateurs, et ne pas perdre les messages de nos correspondants légitimes… Le directeur a repris :

« Bon, donc si je résume, il est possible de publier, moyennant finances. C'est une solution à considérer, mais je vous avouerais qu'elle me semble manquer un peu de grandeur… »

Marie affichait un sourire narquois. C'est Pierre qui a proposé l'idée suivante :

« Sinon, dans des proportions moindres, il y a aussi d'autres journaux où il est possible de publier facilement de petites études peu ambitieuses. Ce sont d'authentiques journaux scientifiques, les manuscrits sont réellement évalués par des relecteurs anonymes, mais ces journaux sont tellement spécialisés qu'ils sont obligés d'accepter une grande part de ce qu'on leur soumet, sinon ils ne trouveraient même pas à remplir leurs numéros… »

Solange a précisé :

« Oui, d'ailleurs, je viens d'accepter d'entrer dans le comité éditorial d'un de ces journaux. Au début, j'étais un peu tiède, je n'avais jamais entendu parler de cette feuille de chou, puis je me suis dit que ce serait bon pour mon CV, alors j'ai dit oui… »

J'ai jeté un coup d'œil furtif à Marie, dont le sourire moqueur s'était encore agrandi.

Le directeur était emballé :

« Eh bien c'est parfait ! C'est quoi, ton journal, il est spécialisé dans quoi ? »

Son sourire s'est figé quand Solange a répondu qu'il s'agissait du European journal of theoretical metrology in food science. Cette fois, Marie n'était plus la seule à sourire. Le directeur a conclu :

« Bon, eh bien, euh, soit ! On va monter un petit projet de, euh, métrologie théorique, dans lequel on va impliquer les 8 personnes qui ont besoin de publier. On soumettra leur travail à ce journal, et on te fait confiance pour leur attribuer des évaluateurs qui soient, euh… compréhensifs… »

Un petit murmure de réprobation a parcouru les rangs. Mais personne n'avait de meilleure idée à proposer. Le plan du directeur a donc été adopté à l'unanimité ; les chefs d'équipe des 8 personnes concernées auraient pour mission, avec le directeur, d'informer les futurs auteurs de leur implication dans ce travail. C'est le directeur lui-même qui superviserait la progression du projet, en s'assurant que chacun des huit y participe activement, de manière à s'assurer qu'ils seraient tous co-auteurs de l'article.

Je n'ai pas suivi de près la mise en œuvre de ce projet. Il semblerait que les huit personnes aient accepté de bonne grâce d'en faire partie, et que le directeur ait décidé de profiter de cette opportunité pour diversifier les activités de l'institut, et faire valoir, auprès de potentiels partenaires industriels, notre grande expertise en matière de métrologie théorique pour l'alimentation.

C'est ainsi que, quatre mois plus tard, ce petit équipage a soumis un article décrivant une nouvelle méthode de mesure des apports caloriques d'une préparation alimentaire. Une entreprise agro-alimentaire a signé un partenariat avec l'institut, elle était heureuse de pouvoir citer, dans ses publicités, « un travail scientifique indépendant qui démontrait que [ses] plats cuisinés étaient riches en énergie mais pauvres en calories ». À la publication de l'article, notre directeur a organisé une petite célébration pour féliciter les huit ex-non-publiants, et les remercier des nouvelles perspectives de financement qu'ils avaient offertes à l'institut.

Par malheur, les critères d'évaluation des instituts ont changé avant l'évaluation suivante : le jury avait décidé de ne plus tenir compte du nombre de non-publiants, « métrique obsolète et facilement manipulable », pour se focaliser sur d'autres critères, qu'il jugeait plus représentatifs. Il a notamment insisté sur la nécessité d'une cohérence thématique à l'intérieur de chaque institut, et nous a jugés sévèrement pour la dispersion apparente ce nos travaux, dont témoignait, par exemple, cette incompréhensible publication de métrologie théorique…

Fin