Une étude britannique montre que ChatGPT et d’autres IA ne permettent pas au grand public de poser des diagnostics médicaux plus fiables qu’une simple recherche en ligne.
Les outils d’intelligence artificielle, tels l’emblématique ChatGPT, suscitent un engouement croissant dans le domaine médical, mais leur efficacité réelle pour poser un diagnostic reste limitée. C’est ce que montre une étude britannique publiée lundi dans Nature Medicine, qui tempère les espoirs d’une révolution imminente de la santé numérique.
Réalisée auprès de 1 300 participants au Royaume-Uni, cette étude a comparé la capacité de plusieurs modèles d’IA — ChatGPT, Llama (Meta) ou Command R+ — à identifier correctement des affections à partir de symptômes fictifs. Le résultat est sans appel : ces outils ne font pas mieux qu’une simple recherche en ligne lorsqu’un patient s’interroge sur ses symptômes. « Il y a un emballement autour des IA, mais elles ne sont tout simplement pas prêtes à remplacer un médecin », avertit Rebecca Payne, chercheuse à l’Université d’Oxford et co-auteure de l’étude.
Vraies personnes
Pour évaluer la performance des IA, les chercheurs ont utilisé un protocole proche du jeu de rôle : les participants ont reçu dix ensembles différents de symptômes, unanimement reconnus dans le corps médical, et devaient fournir un diagnostic. En s'appuyant sur l'IA, seul un tiers d’entre eux ont identifié correctement la pathologie correspondante, un score équivalent à celui obtenu par un groupe effectuant une recherche classique sur internet.
Ces résultats contrastent avec d’autres études montrant que les IA peuvent réussir des examens médicaux, notamment les questions à choix multiples destinées aux étudiants en médecine. Selon les chercheurs, la différence tient à la nature de l’interaction avec de vraies personnes : les patients peuvent omettre des détails essentiels ou mal formuler leurs symptômes, rendant le diagnostic réalisé par IA beaucoup plus complexe.
Risques concrets
L’intérêt économique et stratégique des IA dans la santé reste toutefois important. Dans de nombreux pays, l’accès rapide à un médecin peut être difficile, et les outils d’IA pourraient, à terme, soulager les systèmes de soins ou assister les professionnels de santé. En France, la Haute autorité de santé (HAS) doit prochainement se prononcer sur l’usage direct de l’IA par les patients, après avoir déjà jugé fin 2025 que ces outils pouvaient être utiles aux soignants s’ils sont employés de manière raisonnée.
Newsletter
Tech & IA
Chaque jour à 13h, l’essentiel de l’actualité tech.
L’étude comporte cependant certaines limites, notamment sa méthodologie basée sur des scénarios fictifs et l’emploi de modèles d’IA désormais largement remplacés par des versions plus performantes. Malgré cela, elle met en lumière des risques concrets pour le grand public. « C’est une étude très importante qui souligne que les chatbots présentent de vrais risques médicaux pour le grand public », commente David Shaw, spécialiste en bioéthique à l’université de Maastricht.
