Deux méthodes statistiques, deux visions de l'affaire des bébés nés sans bras. Santé publique France, d'un côté, le Remera, de l'autre. Méthodologie, échantillons, compilation des données, analyse statistique... Chaque élément dessine une réalité différente.

Dans l'Ain, dans le Morbihan ou en Loire-Atlantique, la question cruciale est la suivante : est-il statistiquement normal, ou bien anormal, d'observer autant de bébés nés sans bras dans tel ou tel endroit ? En d'autres termes, cette concentration de cas dans trois départements est-elle due au hasard ou faut-il l'attribuer à une tierce cause, environnementale par exemple ? De la réponse à cette interrogation majeure détermine la légitimité ou non de l'enquête menée conjointement par Santé publique France (SPF) et l'Agence nationale de sécurité sanitaire (Anses) pour tenter d'expliquer les raisons de ces malformations.

Il ne semble pas y avoir de débat pour le Morbihan (quatre naissances entre 2011 et 2013) et la Loire-Atlantique (trois naissances entre 2007 et 2008) : concernant ces deux départements, SPF estime que le nombre de cas recensés est statistiquement significatif, c'est-à-dire supérieur à ce que l'on devrait observer en temps normal. Anormal, donc. Mais c'est tout à fait différent pour l'Ain.

Débat sur les excès de cas

Pour ce troisième département, en effet, la conclusion est inverse. Dans un communiqué, l'agence considère que « l'analyse statistique ne met pas en évidence un excès de cas par rapport à la moyenne nationale ». C'est là où le débat statistique commence. Car les résultats de SPF ne sont pas ceux du Registre de malformations en Rhône-Alpes (Remera). Ses responsables estiment que les sept cas recensés dans l'Ain sont statistiquement anormaux : cela représente une fréquence 58 fois supérieure à celle que ce que l'on devrait observer en temps normal.

Le Remera et SPF ont pourtant procédé aux mêmes calculs : ils ont comparé le nombre de cas observé (sept) au nombre de cas attendus dans une zone de référence. C'est sur ce dernier chiffre que tout le débat repose car ils n'ont pas choisi la même zone : « le Remera a considéré que les sept cas, recensés dans sept communes différentes, ne touchaient pas le département tout entier », explique Jacques Bénichou, responsable de l'unité de biostatistique du CHU de Rouen. En d'autres termes, les chercheurs du registre n'ont pas comparé le nombre de cas observés au nombre de cas attendus dans le département mais dans une zone plus restreinte.

Une aire géographique, englobant les sept communes concernées, qu'ils ont déterminé grâce à une méthode dite de scan. À l'aide d'un logiciel, les statisticiens employés par le Remera ont ainsi tracé une zone correspondante aux « 67 communes réparties dans un cercle approximativement centré sur la commune de Druillat », écrivent-ils dans leur rapport publié en septembre 2016. Une aire géographique dans laquelle le nombre de cas observé - toujours égal à sept - est 58 fois supérieur au nombre de cas attendus (0,12 en l'occurrence pour la zone considérée). La concentration de bébés nés sans bras dans l'Ain ne serait donc probablement pas due au hasard. D'où la nécessité de mener une enquête pour tenter d'en établir les causes.

De son côté, Santé publique France a fait un choix différent. « Constatant une certaine dispersion géographique entre les sept communes concernées, SPF a décidé de prendre tout le département de l'Ain comme référence », précise Jacques Bénichou. Une zone dans laquelle le nombre de cas attendus n'est pas de 0,12 mais de 7,41. Logique : l'aire géographique choisie par SPF étant beaucoup plus vaste que celle définie par le Remera, le nombre de bébés nés sans bras que l'on devrait y observer normalement est beaucoup plus élevé. Selon l'agence, il ne semble donc pas y avoir un excès de bébés nés sans bras dans le département de l'Ain.

Attaques contre les résultats de SPF

Dès la publication de ces résultats, le 4 octobre dernier, les attaques fusent. Les premières viennent de trois biostatisticiens interrogés par Le Monde, le 16 octobre dernier. L'un d'eux, Jacques Estève, ne retient pas ses coups contre le rapport de SPF : « Un étudiant de première année d'université serait surpris d'apprendre que sept cas observés dans l'Ain, dans une population de 5 738 naissances, ne sont pas un événement exceptionnel, alors que la probabilité d'observer un seul cas est de 1,7 sur 10 000. »

Un résultat étonnant et pourtant avéré. Selon Catherine Hill, épidémiologiste à l'institut Gustave Roussy, Jacques Estève s'est rendu coupable d'une erreur logique majeure. « Dans les communes où l'on retrouve des cas de malformation, la fréquence est nécessairement supérieure à 1,7 sur 10 000, fréquence que l'on a déterminé pour l'ensemble des 36 000 communes du pays », précise Catherine Hill. En d'autres termes : dès qu'il y a un cas de malformation dans une commune, la fréquence dans cette même commune est forcément supérieure à la moyenne nationale... sans pour autant que cela constitue un excès de cas. « On peut s'étonner qu'un professeur de statistiques fasse une erreur aussi grossière », ironise l'épidémiologiste.

Les autres critiques viennent d'Emmanuelle Amar, directrice du Remera et à l'origine de cette affaire. Elle déclarait en octobre dernier que « l'agence majore les statistiques en Bretagne et les minore chez moi pour mieux noyer le poisson et ne pas reconnaître ses erreurs passées. » Elle reproche notamment à SPF d'avoir choisi des zones de référence différentes pour les différents départements. L'agence a comparé le nombre de cas observés au nombre de cas attendus dans chaque commune pour le Morbihan et la Loire-Atlantique. Mais pour l'Ain, elle les a comparés au nombre de cas attendus dans l'ensemble du département rendant plus difficile toute détection d'un excès de cas.

Alors est-ce un choix pour décrédibiliser le Remera et sa directrice ? Non, selon Catherine Hill. Il est même totalement justifié d'un point de vue statistique : « Dans le Morbihan et la Loire-Atlantique, les cas sont concentrés dans une commune à chaque fois. Il est donc logique de prendre chaque commune comme référence. » La situation est différente dans l'Ain. Les sept cas recensés par le Remera sont répartis sur sept communes différentes. « On ne peut rien faire avec ça ! Il faut comparer ce chiffre au nombre de cas attendu à l'échelle du département », ajoute l'épidémiologiste.

Une analyse que partage Jacques Bénichou. Pour lui, il est légitime de prendre le département comme zone de référence - ce qu'a fait SPF - puisque les sept communes sont relativement dispersées. Une trentaine de kilomètres sépare en effet les plus distantes. Cependant, cette méthode comporte des failles : « Elle rend la détection de cas plus difficile et si agrégat il y a, il est sans doute raisonnable de penser qu'il concerne une aire géographique plus limitée qu'un département tout entier. » SPF pourrait donc être passé à côté d'un excès de cas et donc d'une exposition responsable.

Et c'est pour cette raison que les chercheurs du Remera ont tenté de définir une zone de référence plus restreinte que le département. Une méthode qui comporte elle aussi des risques. « Elle est séduisante mais elle va avoir plus tendance à faire ressortir un excès de cas. Je crains le risque d'un faux positif (montrer un excès de cas qui n'en est pas un) », ajoute l'épidémiologiste.

Difficile donc de trancher entre les deux approches. Surtout lorsque l'on ne dispose pas de toutes les informations. « J'aimerais un peu plus de détail sur les propriétés statistiques de l'approche utilisée par le Remera et la probabilité de faux-positifs », conclut Jacques Bénichou.

Le choix de la statistique est donc tout à fait politique. Les responsables ont dû trancher entre deux risques. Le premier : passer à côté d'un excès de cas et prendre la décision de ne pas approfondir les recherches alors qu'une exposition, environnementale par exemple, peut être la cause de ces malformations. Le second : détecter à tort un excès de cas et inquiéter pour rien la population locale.

--

(*) Sébastien Rouxel, journaliste en formation, est l'auteur de cet article, partie d'un dossier sur l'affaire dite des bébés sans bras. Les éléments scientifiques des six articles que nous vous présentons ont été validés par les experts interrogés. L'ensemble a été rédigé par les étudiants et est publié sous l'égide de Pascal Guénée, directeur de l'Institut Pratique du journalisme de l'Université Paris Dauphine - PSL.

_______

Sous la coordination de Pascal Guénée, Directeur de l'Institut Pratique du journalisme, Université Paris Dauphine - PSL

La version originale de cet article a été publiée sur The Conversation