Avec la démocratisation de l'intelligence artificielle générative, les notions d'éthique, de biais cognitifs, de non-neutralité des modèles reviennent au centre du jeu. « On sent une inquiétude réelle de la société civile sur ces sujets-là, en particulier sur celui de l'amplification des risques discriminatoires par les algorithmes. Les utilisateurs expriment ici une opinion dont le monde numérique, qui jusque-là les considérait plus comme des testeurs ou des fournisseurs de données, doit désormais prendre en compte. Je crois bien que c'est une première », avance Daphné Marnat. Cette anthropologue, défenseuse d'une tech éthique, s'intéresse à la question depuis la publication du rapport Villani, en mars 2018, qui ouvrait la réflexion sur l'IA dans différents domaines, dont celui-ci.
A la tête de la deeptech Unbias, créé en 2021 à Sophia Antipolis avec un data scientist, Daphné Marnat s'attaque aux biais des stéréotypes dans les modèles d'IA et leurs corpus d'apprentissage à travers des outils qui viennent mesurer le poids des représentations sexistes, mais pas seulement, suivre leur évolution, voire les interdire. En ligne de mire, la discrimination ordinaire, dite systémique, celle qu'on ne voit pas forcément, et les clichés liés aux questions du genre, de l'âge ou encore de la localisation. « Nos algorithmes permettent d'identifier l'aiguille dans la botte de foin, la phrase un peu gênante, chargée de stéréotypes, vite repérée par les militants », indique-t-elle. Avec le bad buzz qui en découle. Un souci pour bon nombre d'entreprises et d'organisations issues des mondes de la communication et de l'édition, incapables de superviser humainement toute la masse de textes qui paraissent sur la toile.
