L'évaluation de la recherche est par définition difficile : les découvertes les plus importantes sont novatrices, voire révolutionnaires, et risquent pour cela même d'être négligées ou rejetées. Récemment, des classements comme celui de Shanghai ont popularisé l'émergence de méthodes "bibliométriques", qui prétendent évaluer la qualité de la recherche par de simples indicateurs chiffrés. Il y a là un paradoxe apparent qui mérite d'être analysé.

Lorsque des scientifiques font une découverte, ils soumettent un article à un journal spécialisé. Les responsables éditoriaux envoient l'article à des "arbitres" anonymes, choisis en principe parmi les meilleurs spécialistes du sujet de l'étude. Au vu de leurs rapports, ils acceptent ou refusent la publication, suivant l'importance du résultat et la réputation de la revue. Les rapports sont transmis aux auteurs, et ces lectures et critiques mutuelles entre chercheurs concurrents sont la clé de voûte de la recherche académique.

Un article dans une revue prestigieuse - comme "Nature", "Science" ou les revues les plus sélectives de chaque discipline - est le signe d'une recherche véritablement reconnue internationalement. C'est la hiérarchie des revues qui rend possibles les indicateurs bibliométriques : le nombre d'articles publiés dans les revues reconnues est utilisé pour mesurer la qualité de la recherche. Les articles citent aussi des travaux antérieurs, d'où un second indicateur, le nombre de citations, utilisé pour mesurer la réputation d'un journal ou la visibilité d'une recherche.

Les données bibliométriques donnent des indications utiles. Elles placent l'évaluation de la recherche au niveau international, remettent en cause les hiérarchies admises, aident les nouveaux centres dynamiques à être reconnus et incitent les autres à se remettre en question. Certaines critiques contre les classements comme celui de Shanghai viennent d'institutions localement prestigieuses, mais dont les équipes de recherche sont inégalement reconnues.

Mais ces indicateurs ne mesurent pas la qualité de la recherche. Pour les évaluations collectives (laboratoires, universités), de multiples biais existent, et l'avis d'experts compétents est in fine indispensable. Pour les évaluations individuelles, les indicateurs bibliométriques sont en général contre-indiqués. Ils sont souvent erronés - certains scientifiques ont été couronnés par le prix Nobel ou la médaille Fields alors que leurs indices étaient très faibles - et donnent aux chercheurs des incitations perverses : chercher la visibilité maximale, ne pas travailler à des problèmes profonds et difficiles. L'évaluation bibliométrique ne se pratique d'ailleurs pas dans les grandes universités mondiales : la norme est l'évaluation par les meilleurs experts, extérieurs à l'institution.

D'autres limites sont disciplinaires. Dans les domaines appliqués, la hiérarchie des revues est souvent moins établie que dans les disciplines fondamentales. D'autres indicateurs doivent être utilisés en complément. Les revenus des brevets sont significatifs, par contre, leur nombre ne l'est guère. La signification du montant des contrats de recherche avec les entreprises est ambiguë : il est élevé pour des équipes de pointe dont les découvertes intéressent les entreprises, mais aussi pour des laboratoires sans activité de recherche internationalement visible qui fonctionnent comme des bureaux d'études à prix cassés.

Un problème spécifique concerne certaines "sciences humaines et sociales" qui sont, en France, à l'écart des revues à comité de lecture décrites plus haut. Non pas que ce système de revues soit anglo-saxon - il est né en Allemagne au XIXème siècle, et certaines revues françaises sont au tout premier rang. Les chercheurs français dans ces disciplines publient de facto leurs recherches dans des livres ou dans des revues nationales dans lesquelles la publication ne relève pas de l'évaluation anonyme des résultats. Leur visibilité internationale est souvent réduite, et les critères bibliométriques sont inapplicables.

Les indicateurs bibliométriques constituent une évolution irréversible pour l'évaluation scientifique. Mais ils doivent être utilisés par des scientifiques compétents, tenant compte de leurs biais et de leurs limites. Les évaluations directes par des experts reconnus, qui examinent les résultats et lisent les articles, doivent primer.