L'accident mortel impliquant une voiture autonome exploitée par Uber aux États-Unis a été un rappel tragique mais opportun des dangers de voir des entreprises se précipiter pour mettre en œuvre l'intelligence artificielle (IA) afin d'être les premières sur le marché.

Au moment de l'accident, le conducteur qui aurait dû être prêt à réagir dans un événement comme celui-ci ne regardait pas la route. La voiture elle-même avait apparemment complètement échoué à voir le piéton et n'a ni ralenti ni essayé de l'éviter.

Encore une fois, nous constatons qu'une technologie est principalement mise à l'essai pour fonctionner dans des conditions normales afin qu'elle puisse être mise sur le marché et non pas nécessairement construite en mettant l'accent sur la sécurité.

Comme l'ancien développeur de la plate-forme d'apprentissage machine et d'intelligence artificielle d'Uber l'a dit, les constructeurs automobiles devraient former leurs voitures dans des environnements simulés qui peuvent être programmés pour les former à détecter et éviter tout nombre de possibilités d'événements aléatoires que la voiture pourrait rencontrer sur la route.

L'apprentissage machine souffre d'un problème fondamental dans la mesure où sa capacité à exécuter une tâche dépend des données utilisées pour la former. L'algorithme exact qu'il finit par utiliser pour atteindre son but final et quelles en sont les caractéristiques les plus importantes est globalement inconnu. Avec l'apprentissage profond (deep learning en anglais), les multiples couches qui composent le réseau neuronal du logiciel d'apprentissage machine rendent ce processus encore plus mystérieux et inconnu.

Nous savons que les logiciels d'apprentissage automatique ont des biais dans les données utilisées pour les tester. Il a été démontré qu'un logiciel utilisé pour calculer le risque qu'un délinquant commette un crime futur et fréquemment utilisé par les tribunaux aux États-Unis permet de calculer systématiquement un risque significativement plus faible pour les délinquants blancs que pour les personnes de couleur. D'autres chercheurs ont montré que les algorithmes d'apprentissage automatique apprennent les préjugés sexistes inhérents aux textes qui sont utilisés pour les former.

Les dangers ont été clairement démontrés par la récente annonce de Facebook : ils ne savaient pas vraiment ce que les applications faisaient avec les données de millions de leurs utilisateurs que le réseau social avait lui-même encouragé à utiliser.

Avec l'utilisation de sa plateforme pour la diffusion de fausses nouvelles ciblées lors de l'élection présidentielle américaine, Facebook a de nouveau admis qu'il n'avait pas réalisé que les gouvernements étrangers exploiteraient cette naïveté pour miner la démocratie.

Ce serait une erreur d'accuser Facebook d'être la seule entreprise qui ne savait pas que son logiciel pouvait être exploité pour nuire aux individus et à la société. Les amendements à la législation sur la protection de la vie privée et promulgués par l'Union européenne ont été formulés spécifiquement pour faire face à la réticence de Google de corriger les effets secondaires de ses recherches sur la vie privée des personnes.

Dans de nombreux pays, il a été nécessaire de légiférer pour rendre obligatoire la déclaration des violations de données parce que les entreprises n'étaient pas disposées à prendre au sérieux la cybersécurité et la protection des données de leurs utilisateurs.

Au vu du passé, il n'y a aucune raison de croire que les entreprises qui mettent en œuvre des systèmes basés sur l'IA pensent à la sécurité et à la protection de la vie privée dès la conception. Au contraire, l'apprentissage machine a besoin de données, beaucoup de données, et donc les entreprises en acquièrent d'énormes quantités afin de les exploiter avec leurs algorithmes. Alors que l'on pourrait penser qu'une gestion responsable de grandes quantités de données serait d'une valeur inestimable pour la recherche, en particulier dans le domaine de la santé, les risques liés à la collecte, au stockage et à l'utilisation de ces dernières, en particulier dans un contexte commercial, sont très élevés.

En France, le mathématicien et député LREM de l'Essonne, Cédric Villani devrait remettre son rapport final détaillant une stratégie nationale pour l'étude et l'exploitation de l'intelligence artificielle ce jeudi 29 mars. Il sera intéressant de voir comment il équilibrera les demandes de recherche, d'innovation et de commercialisation sans compromettre la nécessité de protéger la vie privée et la sécurité de la société et de ses membres.

Ce ne sera pas facile. Il a déjà été affirmé que le règlement général sur la protection des données (RGPD) européen, qui entrera en vigueur le 25 mai, « placera les entreprises de l'UE dans une position concurrentielle désavantageuse par rapport à leurs concurrents en Amérique du Nord et en Asie »

Espérons cependant que des tragédies comme la mort d'Elaine Herzberg, 49 ans, par une voiture Uber et l'indignation généralisée du mépris de Facebook pour les données personnelles de ses utilisateurs rappelleront aux gens qu'il y a un avantage à mesurer le progrès technologique et non le mantra de l'avancement technologique d'aujourd'hui à n'importe quel prix.

______

Par David Glance, Director of UWA Centre for Software Practice, University of Western Australia

  La version originale de cet article a été publiée sur The Conversation