Les algorithmes sont de plus en plus impliqués dans des décisions qui affectent nos vies. Le parcours post-Bac, l'octroi d'un prêt immobilier, les conditions d'une assurance, ou même, aux Etats-Unis, envoyer quelqu'un en prison ou pas. Derrière ces décisions qui peuvent bouleverser un destin agit la main invisible des algorithmes, ces épouvantails qui ne sont en réalité que des programmes informatiques nourris à partir de données choisies par des humains.
Et de la même manière que les décisions humaines peuvent être influencées par des biais conscients ou inconscients (en fonction du genre, de l'âge, de l'originale sociale ou de l'ethnie...), les mêmes risques s'appliquent, logiquement, à l'intelligence artificielle. Car comme l'explique la mathématicienne Cathy O'Neil, "un algorithme n'est en réalité qu'une opinion intégrée aux programmes". Plusieurs études ces dernières années en ont établi la preuve : aux États-Unis, les Afro-américains sont plus discriminés que les Blancs sur les plateformes de location d'appartements en ligne, et ils vont davantage en prison que les Blancs pour le même délit lorsque la justice s'appuie sur un logiciel de prédiction des récidives. Toujours aux États-Unis, les femmes sont également moins sollicitées que les hommes par les algorithmes qui suggèrent des emplois pour les métiers scientifiques et techniques.
Cette prise de conscience que la technologie n'est pas neutre entraîne un défi inédit : il faut maîtriser les biais des algorithmes pour qu'ils puissent être socialement acceptés.
Algorithmic Accountability Act of 2019", est en discussions depuis près d'un an. Il vise à forcer l'État et les entreprises de plus de 50 millions de dollars de chiffre d'affaires, sous le contrôle de la Federal Trade Commission (FTC), à soumettre leurs algorithmes à une batterie de contrôles pour déceler d'éventuels biais dans les recommandations. De son côté, l'Union européenne a annoncé en avril 2019 une phase de consultation qui devrait déboucher sur la création d'une directive pour une intelligence artificielle éthique, comme un "RGPD de l'IA". L'objectif : imposer sept principes pour une IA "digne de confiance", parmi lesquels figurent la traçabilité des systèmes d'IA, la diversité, la non-discrimination et l'équité des jeux de données utilisés, et un principe de responsabilisation, c'est-à-dire soumettre les IA à l'obligation de rendre des comptes.
Mais pour l'Institut Montaigne, il est "prématuré à ce stade" et "inadapté" de lancer une directive sur l'IA et l'éthique des algorithmes. "Compte tenu du faible recul dont nous disposons, une loi spécifique aux biais risquerait de bloquer toute innovation sans résoudre le problème de fond", écrit le rapport. D'autant plus que la diversité des usages d'algorithmes (dans la banque, l'assurance, l'automobile, la santé, le recrutement, l'éducation, la justice ou encore la police) nécessite de tenir compte des spécificités sectorielles. "La définition d'un biais et de ce qu'est l'équité sera immanquablement différente selon que l'on discute d'un algorithme de conduite autonome, de mise au point d'un protocole de chimiothérapie ou de ciblage publicitaire", argumente l'institut. Par ailleurs, les algorithmes n'évoluent pas dans un far-west législatif. "La loi Informatique et Libertés, la loi pour une République numérique de 2016 et le RGPD fournissent déjà un cadre légal, certes incomplet mais existant" rappelle Marie-Laure Denis, la présidente de la Cnil.
Si tout le monde s'accorde sur la nécessité d'aboutir à une intelligence artificielle explicable, ce vœu pieu se heurte à la réalité. "Bien que désirable, l'explicabilité des algorithmes est techniquement difficile à obtenir tant elle est contraire au principe même de l'apprentissage machine, ce qui créerait un problème de performance des IA", souligne le rapport. Qui poursuit : "Qui cherche à savoir comment fonctionne un avion ? Nous sommes bien plus rassurés par le fait de savoir qu'il a passé les tests de sécurité". Pour Marie-Laure Denis, l'enjeu est plutôt de garantir le fonctionnement équitable de l'algorithme. "Le code de Parcours Sup est ouvert et c'est très bien, mais personne n'y comprend rien. Il faut plutôt savoir expliquer quelles données ont été utilisées et garantir l'absence de biais", ajoute-t-elle.
Chaque jour à 13h, l’essentiel de l’actualité tech.
Pour cela, l'Institut Montaigne préconise de faire subir aux algorithmes l'équivalent des essais cliniques pour les médicaments. L'idée est de les tester pour s'assurer à la fois qu'ils remplissent bien leur mission initiale, et aussi qu'ils ne sont pas soumis à des biais. Un peu comme les essais cliniques vérifient que le médicament est efficace et qu'il n'entraîne pas d'effets secondaires indésirables. Les tests seraient réalisés autant que possible par les entités -publiques ou privées- qui déploient les algorithmes. Ces entreprises ou administrations devraient au préalable définir, en fonction des secteurs d'activités, ce qu'elles considèrent comme équitable.
L'approche de l'Institut Montaigne préconise donc la prévention et la sensibilisation plutôt que la régulation et la sanction. C'est pourquoi le rapport insiste sur la nécessité d'assurer la diversité des équipes qui conçoivent et diffusent les algorithmes, en intégrant, en plus des experts techniques, des personnes de genre, d'âge, de compétences, d'origine sociale et culturelle différents. La formation des techniciens et ingénieurs et la sensibilisation du grand public aux risques de biais dans les algorithmes paraissent aussi crucial.
Enfin, comment tester les présence de biais dans les algorithmes si les statistiques ethniques ne sont pas disponibles, et si les données relatives aux 25 critères reconnus de discrimination sont, d'après le rapport, "extrêmement difficiles à collecter" ? L'une des propositions phares du rapport est donc la notion "d'équité active". Autrement dit : en finir avec l'approche universaliste de la France qui consiste vouloir effacer les différences, pour adopter une approche davantage anglo-saxonne ou allemande.
"Nous recommandons d'abandonner l'approche d'équité par ignorance et d'adopter une stratégie d'équité active. Il s'agit d'accepter de mesurer les discriminations, de tester la présence de biais, grâce à la collecte d'information sur les 25 critères protégés. C'est l'indépendance du résultat par rapport à des variables protégées qui garantit un algorithme équitable", affirme le rapport, tout en insistant sur la nécessité d'un encadrement "strict" sur l'usage de ces données (collecte sur un échantillon restreint et finalité de test uniquement). Cette proposition rencontre un franc succès auprès des acteurs de l'IA. En partie parce que le fait d'interdire ou de limiter l'exploitation de données sensibles n'empêche pas les algorithmes de discriminer. Un algorithme publicitaire, par exemple, peut deviner avec une très faible marge d'erreur si telle personne est blanche, noire, homosexuelle, à fort pouvoir d'achat ou handicapée, en exploitant une multitude d'autres données comme les pages web visitées.
À lire également
Changer cette culture de la donnée permettrait également de mettre à disposition des entreprises, ou d'une autorité indépendante dans les cas très sensibles, des bases de données de test publiques, qui leur serviraient à évaluer les biais de leur méthodologie. Une approche qui a fait ses preuves aux États-Unis grâce au travail du National Institute of Standards and Technology (NIST), qui met à disposition des bases de données pour évaluer les technologies de biométrie afin de vérifier leur performance et de détecter des biais.
