Etudes bidon : peut-on faire confiance aux revues scientifiques ?

Plus d'une centaine d'études scientifiques factices, générées par un programme gratuit, on été dépubliées. Elles avaient été repérées par un chercheur français.
Le travail des chercheurs est évalué en fonction du nombre d'études publiées, ce qui peut inciter certains à soumettre des faux. (Photo : Reuters)

Les chercheurs sont-ils soumis à trop de pression pour publier un maximum de recherches scientifiques ? Plus de 120 fausses études scientifiques ont été retirées des bases de données de deux éditeurs, l'allemand Springer et l'américain IEEE, suite à l'intervention d'un informaticien français qui a donné l'alerte. L'histoire a été racontée par l'hebdomadaire Nature.

SciGen, le programme qui génère une fausse étude en un clic

Présentées lors de conférences sur les sciences de l'informatique et l'ingénierie entre 2008 et 2013, la plupart de ces études a été générée par SciGen, un programme créé par des étudiants au MIT en 2005. La plateforme permet, en un clic, de générer gratuitement des pseudo-études dénuées de sens sur les sciences de l'informatique, agrémentées de graphiques, de chiffres et de citations. Voici un extrait du texte généré par nos soins, après traduction :

« SWEAT: Des algorithmes portables et certifiables  :

La simulation de super-pages a développé des caches de reprise, et les tendances actuelles suggèrent que le raffinement de l'Ethernet émergera bientôt. Etant donné le statut actuel de la communication ambimorphique, les hackers du monde entier demandent une émulation du recuit stimulé. Bien que cela puisse sembler contre intuitif, il existe de nombreux précédents historiques. »

Des petits génies testent la fiabilité des revues et des conférences

Les étudiants ont créé le programme afin de prouver que les standards des revues et conférences scientifiques étaient faibles. Ils ont suivi l'exemple d'Alan Sokal, un physicien qui s'était auto-dénoncé après avoir publié un canular dans une revue de sciences sociales en 1996.

Cette fois, la bévue a été signalée aux éditeurs par un informaticien français de l'Université Joseph Fourier à Grenoble, Cyril Labbé, grâce à un logiciel "anti-triche" qu'il a développé. Lui-même s'était amusé à publier de fausses études sous le nom de "Ike Antkare" ("I can't care", "peu m'importe"), jusqu'à devenir le 21e scientifique le plus cité au monde selon Google Scholar en 2010. Le titre de sa pseudo-thèse ?  « Construire l'e-business en utilisant des modalités psycho-acoustiques ».

Faut-il évaluer les chercheurs en fonction du nombre de publications ?

Qui relit ces études avant publication ? "Tous les articles [qui ont été retirés par les deux éditeurs] sont vendus comme ayant été relus par des pairs. On appelle ce système le 'peer-review'", explique Cyril Labbé, aliais "Ike Antkar". Pourquoi ces scientifiques n'ont-ils pas identifié la supercherie ? "Il y a de nombreuses explications possibles", développe Cyril Labbé. Certains universitaires peuvent être tentés de publier de fausses études pour prouver qu'ils ont rempli leurs "quotas". En effet, pour obtenir un poste permanent à l'Université, les chercheurs sont évalués en fonction du nombre de leurs publications. "Dans ce cas, on peut mettre en cause 'la politique du 'chiffre''", commente Cyril Labbé.

Incompétence ou arnaque

Les étudiants en master ou en thèse peuvent également envisager de publier des faux pour obtenir leur diplôme. Les relecteurs, incompétents, ont aussi pu se laisser impressionner par le jargon. Autre hypothèse avancée par le chercheur, les "arnaques" : des faux congrès, pour obtenir des subventions ou pour partir en voyage en prétextant une conférence. La plupart des colloques ayant donné lieu à la publication d'études bidon se sont déroulés en Chine. De quoi alimenter la suspicion, relève Cyril Labbé.

Plus de 30 euros pour une étude bidonnée

"En l'occurrence",  insiste Cyril Labbé, "les publications dont il est question ont été publiées par des éditeurs payants qui se rémunèrent grâce à des abonnements très chers". Ainsi, précise-t-il, les articles sont vendus par l'éditeur Springer 34,95 euro l'unité pour les non-abonnés. Pas de quoi blâmer, donc, les revues scientifiques en accès gratuit. Souvent critiquées, elles se rémunèrent grâce aux frais payés par les auteurs. 

Une affaire qui fait suite à l'étude choc sur les OGM 

Après la controverse sur la toxicité des OGM suscitée par l'étude du chercheur français Gilles-Eric Séralini, cette nouvelle affaire sème le doute sur la fiabilité des revues scientifiques. Publiée dans la revue Food and Chemical Toxicology en septembre 2012, l'étude du Professeur Séralini prouvait que la consommation de maïs modifié génétiquement pour tolérer l'herbicide Roundup était à l'origine de tumeurs chez les rats. Les images des rongeurs déformés par la maladie ont suscité l'effroi dans le public. Mais le protocole de l'expérience a rapidement été remis en question, notamment parce que la taille de l'échantillon de rats était insuffisante.

Des études suspectées de manipulation

La revue a alors réclamé le retrait de l'étude, qui prouvait la toxicité du maïs Monsanto. "Nous maintenons nos conclusions", a cependant répondu Gilles-Eric Séralini. Il dénonce une manipulation du géant agroalimentaire qui produit l'herbicide Roundup. En effet, selon lui, un ancien employé de Monsanto a rejoint le comité éditorial de la revue. 

Pour l'heure, les auteurs du canular dans les revues informatiques n'ont pas été retrouvés. Ils pourraient bien sévir dans d'autres domaines : des clones du SciGen, qui se basent sur la répétition de morceaux de phrases identiques tout au long du document, existent pour d'autres sujets, comme les mathématiques.

Commentaires 7
à écrit le 13/03/2014 à 10:03
Signaler
Coquille : "on été dépubliées." ont

à écrit le 13/03/2014 à 7:40
Signaler
La rédaction de l'article est bien complaisante avec l'affaire Seralini. J'aurai plutôt écrit: 'après la controverse sur la toxicité de l'étude de Seralini', ou peut être 'après la publication du toxique Seralini sur les OGM controversés' Je pense qu...

à écrit le 12/03/2014 à 18:07
Signaler
Rien de surprenant lorsque l'on constate l'inefficacité de la recherche universitaire: un chercheur, un rédacteur, trois observateurs, une publication... dont on recherche souvent l'intérêt (sinon justifier le budget de financement) après relecture.

à écrit le 12/03/2014 à 18:01
Signaler
Il ne faudrait pas tout mélanger. En physique expérimentale, il est impossible de tricher longtemps. Si l'expérience décrite est intéressante, elle devra pouvoir être reproduite dans les laboratoires concurrents. Sinon, l'erreur est immédiatement dén...

le 12/03/2014 à 18:13
Signaler
En france il existe nombre d'officines qui écrivent des papiers scientifiques, moyennant finance.

le 13/03/2014 à 11:08
Signaler
C’est la différence entre la physique/chimie et la biologie. En physique, le résultat d’une expérience est connue à l’avance, et l’expérience tend à démontrer le résultat voir à montrer les limite de la théorie actuelle. En biologie, tu peux faire ...

le 13/03/2014 à 21:43
Signaler
@testatoio Une expérience sert à valider une hypothèse dont le résultat n'est PAS connu à l'avance. Que ce soit la physique ou la biologique, l'expérience ne sert qu'à valider une HYPOTHESE.

Votre email ne sera pas affiché publiquement.
Tous les champs sont obligatoires.

-

Merci pour votre commentaire. Il sera visible prochainement sous réserve de validation.