Un rapport pointe les limites de l'évaluation des chercheurs par les publications

L'Académie des sciences formule cinq recommandations pour encadrer l'usage des publications et en limiter les dérives, dans un rapport qu'elle a remis à Valérie Pécresse cette semaine.
L'Académie des sciences préconise une utilisation mesurée de l'évaluation par les publications.

On se rappelle les v?ux de 2009 du chef de l?Etat reprochant aux chercheurs français de ne pas assez publier? L?évaluation "bibliométrique" (utilisation des citations des articles scientifiques) est aujourd?hui la règle pour évaluer chercheurs, laboratoires et universités. Son usage simple et rapide (via les bases de données informatiques) et son apparente objectivité l?ont imposée comme outil de référence face à l?évaluation plus subjective et soumise aux conflits d?intérêt par les pairs. Mais ce type d?évaluation quantitatif fait de plus en plus débat.

Erreurs

L?Académie des sciences vient d?ailleurs de remettre un rapport à la ministre de l?Enseignement supérieur qui prône un usage "rigoureux" de la bibliométrie pour évaluer individuellement les chercheurs afin qu?elle puisse aider à l?évaluation qualitative. "La bibliométrie n?est pas la panacée, estime Jean-François Bach, secrétaire perpétuel de l?Académie des sciences citant les indices de citation parfois "forts modestes" de certains lauréats de prix Nobel ou de médailles Fields (mathématiques) français. Le problème est sa mauvaise utilisation et son usage exclusif, indépendamment de l'évaluation qualitative par les pairs."

Cet outil "expose à des biais sérieux quand il n?est pas utilisé de façon adéquate", relève l?institution du quai Conti. Il peut ainsi conduire à des erreurs ou des classements partiels comme celui de Shanghaï. "Le rang décevant de nombreuses universités françaises dans le classement de Shanghai s'explique en partie par le fait que les publications sont attribuées à un seul établissement, par exemple, l'organisme de tutelle du chercheur (CNRS, Inserm, etc...) et non pas à l'ensemble de l'université à laquelle est rattaché le laboratoire mixte", explique Jean-François Bach. Autre faiblesse, le poids des publications varie en fonction des disciplines. Par exemple, les chercheurs en sciences humaines et sociales publient peu en anglais et par nature plus via des livres que des articles scientifiques. Enfin, l?objectif poursuivi par certains chercheur de publier à tout prix dans des revues à impact de citation élevé peut parfois altérer l?originalité de leur travail?

Comité de pilotage

L?Académies des Sciences formule donc cinq recommandations. Tout d?abord elle préconise le respect de « conditions majeures » (évaluer en fonction des articles et non des revues, valider les données, comparer des chercheurs de la même communauté disciplinaire) et un examen approfondi des données pour notamment mieux prendre en compte des différences de pratiques entre discipline et de la taille des communautés scientifiques. Par ailleurs, il faut graduer l?utilisation des indicateurs selon l?objet de l?évaluation (recrutements, promotions, contrats) voire les exclure, notamment pour le recrutement des jeunes ; les sages proposent aussi de "tenir compte de la contribution de l?auteur dans l?article considéré", certains chercheurs signant (les signatures se font parfois par ordre alphabétique) malgré une collaboration mineure aux travaux.

Enfin, l?Académie juge nécessaire la création d?un comité de pilotage, par exemple dans le cadre de l?Observatoire des sciences et techniques (OST) pour étudier les "limites et l?amélioration des indicateurs et de leur utilisation" et "fournir des directives concrètes".

Valérie Pécresse compte utiliser ce rapport pour améliorer l?évaluation des chercheurs, sujet très sensible et au c?ur du mouvement de 2009. L?Académie des sciences avait inauguré son travail en 2009 avec un rapport sur l?évaluation individuelle des enseignants-chercheurs (La Tribune du 5 août 2009). "La troisième étape logique sera de se pencher sur les classements internationaux", prévoit Jean-François Bach.

Commentaires 5
à écrit le 20/01/2011 à 14:13
Signaler
Et qui va évaluer V. Pécresse et comment ?

à écrit le 20/01/2011 à 12:53
Signaler
Ci-joint un lien avec un article excellent sur les biais du trop fameux classement de Shanghai : http://regulation.revues.org/index9016.html Bonne lecture...

à écrit le 20/01/2011 à 10:11
Signaler
"Tout le monde sait bien..." vraiment ? Ca m'embêterai en tant que scientifique d'être le dernier au courant. En revanche tout-le-monde-sait-bien-que les commentaires sur des articles de journaux ne sont qu'un concentré d'idées reçues. Cela n'est ni...

à écrit le 20/01/2011 à 8:13
Signaler
Ridicule. Tout le monde sait bien que les scientifiques pratiquent le renvoi d'ascenseur du type : " tu cites un de mes articles, je cite un des tiens". cela n'est ni rigoureux, ni honnête...

le 20/01/2011 à 18:56
Signaler
Pour gandalf : ceci n'est qu'un tapis de préjugés (pour rester poli);cela s'est peut etre pratiqué dans votre région, mais la plupart du temps les gars font leur recherche et leur rapport sans désir de publication.Tout cela se fait en silence , sans ...

Votre email ne sera pas affiché publiquement.
Tous les champs sont obligatoires.

-

Merci pour votre commentaire. Il sera visible prochainement sous réserve de validation.