Le logiciel à succès ChatGPT, qui génère des textes grâce à l'intelligence artificielle, a obtenu un score s'approchant de celui requis pour réussir un difficile examen de médecine aux Etats-Unis. Le robot conversationnel a obtenu un score situé entre 52,4% et 75% de bonnes réponses. Généralement, le score nécessaire pour réussir l'examen est de 60%.
ChatGPT, c'est lui qui le dit quand on lui pose la question*, est « un modèle de langage développé par OpenAI » qui n'a donc « pas la capacité de passer des examens ou de les réussir »
Est-il modeste ? Des chercheurs de l'entreprise AnsibleHealth ont testé les performances du logiciel sur un examen que doivent passer les étudiants en médecine aux Etats-Unis, et qui les interrogent sur divers domaines (connaissances scientifiques, raisonnement clinique, bioéthique...). Il a échoué de peu.
Dénommé USMLE (United States Medical Licensing Examination), cet examen est divisé en trois parties: la première passée après environ deux ans d'études, la deuxième au bout de quatre ans, et la troisième étant requise pour devenir médecin. ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l'USMLE et qui faisaient partie de l'examen de juin 2022. Les questions s'appuyant sur des images ont dû être retirées.
Elles étaient présentées sous trois formats: des questions ouvertes (« que serait le diagnostic pour ce patient compte tenu des informations présentées ? »), des questions à choix multiples sans justification (« Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes? »), et des choix multiples avec justification (« Quelle est la raison la plus probable pour les symptômes nocturnes du patient ? Expliquez votre raisonnement »).
Deux examinateurs ont noté le travail, et un troisième a tranché les écarts entre eux. Le logiciel a obtenu un score situé entre 52,4% et 75% de bonnes réponses. Généralement, le score nécessaire pour réussir l'examen est de 60%.
Newsletter
Tech & IA
Chaque jour à 13h, l’essentiel de l’actualité tech.
La démonstration que l'IA peut être d'une grande aide pour les médecins
Certains experts extérieurs ont critiqué la méthode utilisée. Les chercheurs auraient pu introduire un certain degré d'anonymisation en mélangeant des réponses d'humains à celles du robot, a estimé Nello Cristianini, professeur en intelligence artificielle à l'université de Bath au Royaume-Uni. Il a malgré tout qualifié ces travaux comme faisant « partie d'une série de nouveaux développements enthousiasmants dans le domaine de l'intelligence artificielle » (IA).
Dernier de la classe d'une université de droit
Selon Lucia Ortiz de Zarate, chercheuse à l'université autonome de Madrid, cette étude démontre « le potentiel de l'IA dans le domaine médical ». Elle « peut se révéler d'une grande aide pour les médecins lorsqu'ils formulent des diagnostics et prescrivent des traitements », a-t-elle jugé.
Fin janvier, une autre étude avait montré que ChatGPT pouvait réussir les examens d'une université de droit américaine - quoiqu'en finissant dernier de la classe. D'autres nouveaux élèves pourraient faire les prochaines rentrées : Microsoft et Google, Baidu et Alibaba travaillent en effet au développement d'un robot conversationnel basé sur de l'intelligence artificielle.
* La question posée : « As-tu failli réussir un examen de médecine aux Etats-Unis ? »
ChatGPT nous dit ce qu'est un robot conversationnel
Qui de mieux placé que ChatGPT pour définir ce qu'est un robot conversationnel ? On lui a donc demandé de nous donner un coup de main, il l'a fait bien volontiers.
« Bien sûr, je peux vous aider à rédiger un article sur les robots conversationnels. Les robots conversationnels sont des programmes informatiques conçus pour simuler une conversation humaine. Ils utilisent des techniques de traitement du langage naturel pour comprendre et générer du langage, ce qui leur permet d'interagir avec les utilisateurs de manière naturelle. Les robots conversationnels sont souvent utilisés dans des applications telles que les assistants virtuels, les chatbots, les systèmes de service à la clientèle, les systèmes de recommandation, etc.
L'un des principaux avantages des robots conversationnels est qu'ils permettent une interaction en temps réel avec les utilisateurs, ce qui peut rendre le processus plus efficace et plus agréable pour les utilisateurs. Les robots conversationnels peuvent également automatiser certaines tâches, telles que la réponse aux questions fréquentes, ce qui peut soulager la charge de travail des employés et améliorer l'expérience des utilisateurs. De plus, les robots conversationnels peuvent fonctionner 24 heures sur 24 et 7 jours sur 7, ce qui permet aux entreprises de rester connectées avec leurs clients en tout temps.
Cependant, il est important de noter que les robots conversationnels ne sont qu'une forme limitée d'intelligence artificielle et qu'ils ont des limites en termes de compréhension et de génération de langage. Les robots conversationnels peuvent également rencontrer des difficultés pour comprendre le langage figuré ou les nuances de la conversation humaine, ce qui peut entraîner des erreurs ou des interactions maladroites.
En conclusion, les robots conversationnels sont une technologie en évolution rapide qui offre de nombreux avantages pour les entreprises et les utilisateurs. Ils peuvent aider à automatiser les tâches, améliorer l'efficacité et renforcer la connectivité avec les clients. Cependant, les limites de cette technologie doivent être prises en compte pour s'assurer que les interactions avec les robots conversationnels soient efficaces et agréables. »
