AVC ou crise de panique ? Le danger des biais dans la santé

Si les biais de l'IA posent des problèmes quel que soit le secteur, ils peuvent avoir des conséquences encore plus graves dans le domaine de la santé. Justement, le chatbot d'une startup très populaire inquiète les médecins sur les potentielles dérives de cette technologie.
François Manens
Le chatbot Babylon permet aux assurés britanniques de poser leurs questions par visioconférence (photo) ou par Tchat. DR.
Le chatbot Babylon permet aux assurés britanniques de poser leurs questions par visioconférence (photo) ou par Tchat. DR. (Crédits : DR)

Avec 500 millions de dollars levés en avril, un partenariat avec le English National Heal Service (NHS) - la Sécu anglaise -, et déjà plus de quatre millions d'utilisateurs, la startup de télémédecine Babylon fait figure de pionnière. Pourtant, son chatbot est régulièrement décrié par des spécialistes du secteur. Le robot pose plusieurs questions à choix multiples à l'utilisateur afin de faire une prédiction de la maladie qu'il pourrait avoir, et lui suggère où aller se faire soigner.

Vidéo à l'appui, le Dr Murphy, un utilisateur anonyme de Twitter qui s'identifie comme un consultant de la NHS, a fait deux tests : le premier avec un profil d'homme, le second avec un profil de femme, tous deux âgés de 59 ans et fumeurs. Dans les deux cas, il a déclaré au chatbot souffrir de deux symptômes communs aux accidents cardiovasculaires : une forte douleur au niveau de la poitrine et des nausées. Surprise : le verdict de l'IA diverge selon le sexe. Avec son profil d'homme, le chatbot identifie les signes de deux conditions cardiaques (la péricardite et l'angor instable), et recommande à l'utilisateur d'aller se faire traiter aux urgences. Pour la femme, les deux premiers résultats suggèrent une crise de panique, traitable à domicile, ou une dépression, pour laquelle le chatbot propose de consulter un généraliste...

Différence scientifique ou biais des données ?

Cette différence de diagnostic entre les genres correspond-elle à une réalité médicale ? Une étude menée par des chercheurs de l'Université d'Édimbourg et financée par la British Heart Foundation, conclut pourtant que certains symptômes sont les mêmes pour les deux sexes. La startup mettrait-elle alors les femmes en danger ? « Notre système est entraîné avec les meilleures données cliniques existantes, et est soutenu par des experts du sujet. Le résultat indique ce que les données médicales suggèrent qu'il arrivera », a balayé d'un revers de main un porte-parole de la startup sur Twitter, avant de pondérer : « Des effets de biais peuvent être présents dans les données de recherches. » Or, la prise en compte des biais est cruciale pour créer une IA - ici, un chatbot - inoffensive. « C'est un problème récurrent : les biais humains viennent biaiser les données d'études. Comme l'algorithme apprend de ces données, il apprend les erreurs humaines et les reproduit », explique Walid Benbihi, senior data scientist chez Artefact.

Mais qui peut contrôler la présence de biais dans de telles applications ? Le chatbot ne rentre pas dans la définition anglaise du dispositif médical. En conséquence, il échappe à la juridiction de l'autorité de régulation britannique. Les algorithmes de Babylon ne sont donc validés que par des études que la startup commande elle-même. Cette stratégie lui permet d'éviter des contraintes, mais l'expose aux risques de piéger des utilisateurs peu conscients des limites de la technologie. ¦ Le chatbot Babylon permet aux assurés britanniques de poser leurs questions par visioconférence (photo) ou par Tchat.

François Manens

Sujets les + lus

|

Sujets les + commentés

Commentaire 0

Votre email ne sera pas affiché publiquement.
Tous les champs sont obligatoires.

Il n'y a actuellement aucun commentaire concernant cet article.
Soyez le premier à donner votre avis !

-

Merci pour votre commentaire. Il sera visible prochainement sous réserve de validation.