Quelquefois, l'homme reçoit d'un système informatique des informations qui l'impliquent dans un conflit, ou qui l'exposent à la violence, ou qui font simplement surgir une tension ou un mécontentement. Quelquefois, l'utilisateur déjà impliqué dans un conflit se sert des connaissances qu'il a obtenues grâce à la machine. Dans toutes ces situations, on se pose inévitablement la question du rôle que joue le système dans le conflit et du jugement qui va tomber sur lui.

Le dilemme du tramway

Les conflits en question peuvent être très divers. Les assistants robotiques, qui ignorent la signification humaine du mal, peuvent nous casser un bras. Les voitures autonomes sont susceptibles de nous impliquer dans un accident. Il arrive aux agents conversationnels de nous injurier ou de nous donner de fâcheux conseils.

Un modèle par excellence des situations conflictuelles est donné par les dilemmes éthiques. Le dilemme du tramway, par exemple, décrit un choix entre deux issues toutes deux moralement inacceptables, telles que, dès lors qu'elles sont quantifiées, les pertes associées à ces issues sont formellement inégales.

Dans la version historique, il est question d'un tramway qui écrase un ou cinq piétons positionnés sur deux voies alternatives. Avec l'avènement de l'intelligence artificielle, ce choix de trajectoire est effectué par un système informatique autonome et les humains concernés peuvent être des piétons tout autant que des passagers.

Si on les prend à la lettre, les dilemmes ne correspondent pas à des situations réelles, parce qu'on y a négligé délibérément plusieurs paramètres techniques importants comme le temps disponible pour prendre une décision ou l'accessibilité des données en situation de ressources limitées. Les dilemmes sont des exercices volontairement poussés à l'extrême : leur enjeu est de réduire le champ d'analyse à un choix purement moral.

Le frisson de la rationalité froide

On trouve dans la littérature des stratégies différentes pour « résoudre » le dilemme du tramway. Certains proposent d'utiliser un sondage d'opinion : c'est le peuple qui devrait choisir, à travers un référendum ou à travers une étude sociologique, de mettre à mort telle ou telle victime. Autrefois, Ponce Pilate interrogeait déjà le peuple :

« Qui voulez-vous que je relâche et qui voulez-vous que je crucifie ? »

La « solution » qui consiste à se laver les mains pour se dédouaner de toute responsabilité ne nous semble pas moralement acceptable.

D'autres souhaitent évaluer l'utilité de chaque issue. Tuer un enfant, qui pourrait vivre encore longtemps, ne serait que non-optimal par rapport à l'option de tuer une personne âgée, dont les jours sont comptés. Le calcul des probabilités remplace ainsi le jugement éthique, et cela paraît de prime abord logique car la machine ne peut que calculer.

La rationalité froide de ces « solutions » nous donne un frisson. Lorsqu'un modèle formel ou un raisonnement statistique décident de vie ou de mort, leur concepteur aura toujours tort.

Laisser le hasard choisir

En 2017, un comité d'éthique allemand formé spécifiquement pour se pencher sur le cas de la voiture autonome a publié un avis sur cette question. Sans se prononcer sur la rationalité des soi-disant solutions, il ne formule qu'une seule préconisation relative au dilemme du tramway. Elle est négative dans ce sens qu'elle explique ce qu'une machine ne doit pas faire, sans mot dire sur ce qu'elle doit.

Voici cette recommandation : il faut interdire à la machine de tenir compte de tous les facteurs individuels, par exemple l'âge, le genre ou l'origine sociale des personnes. Toutes les formes d'utilitarisme se trouvent donc rejetées en bloc selon cette démarche éthique apophatique.

Mais il existe bel et bien une solution positive et pouvant être mise en œuvre, et c'est la seule qui soit éthiquement acceptable. Elle consiste à laisser le hasard choisir.

Recourir au tirage au sort ? Certains se disent rassurés, tandis que d'autres crient à l'injustice. Pour démêler cet écheveau, les mythes autour des anges et des démons - des individus purement fonctionnels, tout comme les machines - peuvent nous être précieux.

--

Nous publions une nouvelle chronique « Géopolitique du risque » dans le cadre de la chaire dirigée par J. Peter Burgess (École normale supérieure), en partenariat avec Axa Research Fund.

L'auteur a récemment publié « Les Robots et le mal » (Desclée de Brouwer, 2019).

Créé en 2007, Axa Research Fund soutient plus de 500 projets à travers le monde portés par des chercheurs de 51 nationalités.

______

 Par Alexei Grinbaum, Chercheur au LARSIM (Laboratoire des Recherches sur les Sciences de la Matière), Commissariat à l'énergie atomique et aux énergies alternatives (CEA) - Université Paris-Saclay

La version originale de cet article a été publiée sur The Conversation