HOMO NUMERICUS. Un procès fictif a permis de mettre en lumière les dangers des dispositifs de notation sociale destinés à surveiller les citoyens, déjà une réalité en Chine. Au cœur des enjeux, la préservation des droits fondamentaux de la personne. Par Philippe Boyer, directeur de l’innovation à Covivio.
Le temps d'une soirée, l'Assemblée nationale s'est transformée, le 4 décembre dernier, en un palais de justice. Jusque dans les moindres détails, oripeaux et décorum de la justice avaient été reproduits pour ce procès hors du commun. Il faut dire que la question au centre de cet évènement méritait de figurer dans ce haut-lieu de la représentation nationale.
Organisé par l'association Jurisnautes1, incubateur de questions sociojuridiques d'aujourd'hui et de demain, ce procès fictif, le troisième du genre, avait pour sujet la notation sociale (aussi appelée « social ranking »). Avocats, juges, témoins, victimes, jurés... se relayant tour à tour afin de faire toute la lumière et finalement décider si la société (fictive) « Rank my life » (que l'on pourrait traduire par « Noter ma vie »), proclamée leader mondial de ce secteur en forte croissance, devait être condamnée pour avoir porté atteinte aux droits fondamentaux des individus. A partir d'un cas presque réel - à l'occasion des Jeux Olympiques de 2024, la notation sociale s'applique à tous jusqu'à devenir hors de contrôle - plaidoiries et réquisitoires furent à la hauteur de cet enjeu de société. Si les membres des Jurisnautes aiment à mettre sur le devant de la scène des thématiques d'anticipation et de science-fiction par le prisme du droit (intelligence artificielle, transhumanisme...), pour ce procès-là, la fiction s'inspirait de la réalité.
Société sous contrôle
L'entreprise « Rank my life » existe sans doute déjà en Chine. Depuis que le pouvoir de Pékin a autorisé la notation de ses citoyens, un système de " crédit social" et de notation des habitants des grandes villes se déploie2. Il consiste en l'attribution d'une note aux citoyens en fonction de leur comportement via la collecte d'une myriade de donnée sur les personnes et les entreprises, de leur comportement dans l'espace public ou encore leur « moralité » dans l'espace privé, notamment leur comportement sur les réseaux sociaux. Le tout aboutissant à une note agrégée qui permet d'identifier la « qualité » du citoyen et partant d'en déduire le périmètre de ses droits civiques.
Pour les individus dont la note est trop basse, ces derniers se voient alors privés du droit de postuler à des emplois, d'inscrire leurs enfants dans certaines écoles voire d'emprunter les transports en commun, y compris pour se rendre dans d'autres villes et provinces chinoises. L'organe de presse officiel du gouvernement, Global Times3, allant jusqu'à préciser que près de 11 millions de citoyens avaient été empêchées de prendre l'avion et 4,5 autres millions de prendre le train.
Dans l'ouvrage majeur de Michel Foucault, « Surveiller et punir - Naissance de la prison », le philosophe prenait soin d'étudier la notion même d'emprisonnement et de revenir sur sa signification sociale. Pour le pouvoir chinois, nul besoin de s'embarrasser de telles considérations morales. Pour Pékin, un tel système de surveillance généralisé via la notation sociale étant d'abord destiné à modifier les comportements en appliquant un système de notes, quitte au passage à distordre les rapports humains dans la société.
Newsletter
Ma Tribune
L’actualité qui compte pour vous, chaque jour dans votre boîte mail.
Tous notés
Noter et être noté est devenu un geste banal. Que cela soit dans le but d'améliorer l'expérience client ou de se comparer sur la base de métriques qui envahissent nos vies peuplées d'algorithmes, nous sommes habitués à cliquer ou apposer nos doigts sur des étoiles, des cœurs ou autres pouces levés. Autant de pictogrammes destinés à mesurer en temps réel notre appréciation d'un service. Que l'on utilise Trip Advisor, Uber, Airbnb, Deliveroo... nous sanctionnons, positivement comme négativement, des prestations effectuées par des personnes.
Datant du début des années 1990 « grâce » au site de vente aux enchères eBay, noter en ligne est devenu un élément de base de l'économie collaborative. Noter sa contrepartie pour ensuite rendre publique la note étant censée aboutir à un supplément de confiance et de fiabilité de la relation marchande. Prétendument objectif du fait que tout cet ensemble s'appuie sur des données réelles, on sait que les choses ne sont pas aussi simples du fait que les sciences humaines ont par exemple démontré4 que l'exposition d'un utilisateur à des avis positifs influence la note qu'il laissera. Cette dernière ayant de grandes chances d'être conforme au plus grand nombre d'avis favorables déjà présents sur le site.
De manière plus insidieuse, d'autres biais psychologiques peuvent également entrer dans ce jeu, comme un sentiment de culpabilité lorsqu'il s'agit d'exprimer son véritable ressenti de peur d'aller à contre-courant de la majorité des avis déjà exprimés. A ce stade, de tels processus de notation ne se déploient que dans la sphère privée, le plus souvent à l'occasion d'actes commerciaux ou de « ranking » permettant de détecter la fiabilité d'une personne souscrivant un emprunt, par exemple.
Choix de société
Pourtant, et à l'échelle d'un pays ou d'une société, on imagine les ravages sur les droits fondamentaux des individus de tels dispositifs de notation sociale. Outre qu'il serait insupportable de savoir que nous serions l'objet d'une notation « officielle » ressemblant à celle déployée en Chine, que penser si celle-ci agrégeait en plus les avis d'autres citoyens ayant eu l'occasion à interagir avec nous ?
Le scénario d'anticipation de l'épisode « Chute Libre[5] » de la série Black Mirror diffusé sur Netflix et dans lequel les réalisateurs ont imaginé une société où chacun peut noter son prochain deviendrait alors une réalité. C'est pour se prémunir contre une telle dystopie et éveiller les consciences aux risques de cette notation sociale généralisée que ce procès fictif organisé par l'association Jurisnautes fut une véritable œuvre de salut public.
C'est en prenant soin de rappeler que la notation sociale avait pour finalité « d'agglomérer une quantité non limitée de données dans une logique globale et non finalisée de quantification de la personne », les juges de ce procès fictif ont, sans surprise, rappelé l'impérieuse nécessité de la préservation des droits fondamentaux de la personne. En réponse aux nombreuses questions posées, la cour a répondu par un double « Oui ! » s'agissant de la violation des droits fondamentaux par la société « Rank my life » et de l'interdiction des dispositifs de notation sociale. L'audience est levée !
LIRE: Dalloz a publié sur son site l'exhaustivité des décisions prononcées en audience publique le "4 décembre 2028" > "2028 : procès du ranking social"
LIRE: Dalloz a publié sur son site l'exhaustivité des décisions prononcées en audience publique le "4 décembre 2028" > "2028 : procès du ranking social"
