Ce fait divers est-il prémonitoire d'une série de catastrophes à venir ? Ce week-end, CNN a relayé la mésaventure hors norme d'une entreprise hongkongaise, racontée par la police locale. Alors qu'un employé pensait exécuter les ordres d'un directeur financier, il a effectué quinze transactions, d'une valeur totale de 200 millions de dollars hongkongais, soit 23,8 millions d'euros... à des arnaqueurs. Ce piège, bien connu sous le nom « d'arnaque au président », est aussi vieux qu'Internet et n'a jamais cessé de fonctionner. Sauf que dans ce cas, les malfaiteurs l'ont amélioré avec un subterfuge technologique : l'utilisation de deepfakes, des fausses images et voix aux traits de personnes bien réelles.
Plus précisément, la victime, pourtant méfiante de prime abord, a effectué les virements après avoir participé à une visioconférence où plusieurs de ses collègues hauts placés affichaient leur caméra, pendant que son directeur financier détaillait ses instructions. Mais en réalité, les images étaient des imitations réalisées par ordinateur, des deepfakes, tout comme la voix de son interlocuteur. Ce fait divers fait écho au boom de la complexité des arnaques prédit par les experts de la cybersécurité depuis l'émergence des intelligences artificielles génératives. De fait, de nouveaux outils permettent de créer en quelques clics des images ou des vidéos bien plus réalistes que celles créées en plusieurs heures de travail auparavant. Il n'était qu'une question de temps avant que des usages malveillants apparaissent, et l'histoire de l'entreprise hongkongaise pourrait être la première d'une longue série.
Deepfakes à portée de tous
La menace des deepfakes n'est pas nouvelle : on pourrait même dater son exposition aux yeux du grand public à 2016, lorsque des utilisateurs de Reddit avaient utilisé massivement l'IA pour calquer les visages de femmes célèbres sur des images et vidéos d'actrices pornographiques. A l'époque, les outils de création de deepfakes s'appuient sur des algorithmes connus sous l'acronyme GAN (pour « generative adversarial networks »), bien plus limités que ceux d'aujourd'hui. Tout d'abord, il fallait nourrir ces algorithmes d'une grande quantité d'images de la personne imitée pour que le résultat soit convaincant. Ensuite, ils permettaient seulement de superposer l'image de la personne imitée sur une vidéo déjà existante (une scène pornographique, un discours politique...) et pour finir, certains signes, comme l'absence de clignements d'yeux, permettaient dans la majorité des cas de déceler le subterfuge.
Mais l'explosion de ChatGPT et des grands modèles de génération d'image comme Stable Diffusion, Midjourney ou encore DALL-E, a simplifié tout ce travail. Il suffit de décrire textuellement à l'IA l'image souhaitée, et elle se charge de la créer. L'utilisateur n'a plus qu'à donner des instructions complémentaires pour affiner ce premier jet jusqu'à obtenir le résultat final. D'autres outils d'IA, comme HeyGen, permettent même d'imiter une voix à partir de quelques exemples simplement.
C'est ici la principale différence : plus besoin de fournir à l'IA quelques centaines d'exemples, une poignée suffisent. Autrement dit, alors que la menace d'être cloné dans un deepfake affectait avant tout les personnalités publiques auparavant, elle concerne tout le monde désormais. Dans le cas du fait divers, les malfaiteurs ont par exemple réussi à construire les fausses images et voix de dirigeants à partir de quelques véritables conférences en ligne accessibles publiquement. La police hongkongaise ne précise pas quel outil a été utilisé.
Des garde-fous trop faciles à contourner
Evidemment, les entreprises derrière les moteurs de création d'images et de voix par IA mettent en place des garde-fous. Par exemple, les outils ne répondent pas aux demandes directes de création d'images suggestives, ou aux reproductions de célébrités et de contenus protégés par le droit (marque, personnages...). Mais ces mesures de protection sont souvent trop légères, bâclées par des entreprises qui privilégient la course à la performance avant tout pour se démarquer sur des marchés émergents.
Fin janvier, le réseau social X, plus connu sous son ancien nom Twitter, a été inondé de deepfakes de la chanteuse la plus populaire au monde, Taylor Swift dans des positions suggestives. Des images vues des dizaines de millions de fois, certes sans fausse nudité, mais dégradantes pour la célébrité. Rapidement, le média américain 404 a remonté la trace de ces contenus immondes : un groupe Telegram, où des internautes utilisaient Designer, l'outil de génération d'image de Microsoft pour créer les images explicites de l'artiste et d'autres célébrités féminines.
Ils s'y partageaient aussi des méthodes pour contourner les garde-fous mis en place par l'éditeur. Par exemple, l'outil (corrigé depuis) refusait de créer une image avec l'instruction « Taylor Swift », mais cédait à l'instruction « Taylor 'chanteuse' Swift »... Un type de contournement -connu sous le terme « prompt hacking »- facile à mettre en œuvre, comme il en existe des dizaines et que les éditeurs d'outils d'IA corrigent au fur et à mesure. Ensuite, plutôt que de décrire à l'IA la scène sexuelle avec des termes suggestifs, ils se contentaient de donner toute une série de description de la composition de l'image. Puisque l'outil n'a pas la capacité de détecter que l'image générée est suggestive, le subterfuge fonctionne. En partie grâce à la mobilisation des fans de Taylor Swift (les Swifties), l'affaire est vite remontée à Microsoft, tandis que X a mis des mesures pour limiter la diffusion des deepfakes. Mais ce genre de pratique malveillante ne touche pas que la femme la plus célèbre du monde : toute personne peut en être victime. Le cas Taylor Swift n'est que la face visible d'un iceberg qui grossit.
Les deepfakes, une question d'Etat ?
La campagne d'attaque contre l'image de la chanteuse a au moins permis de faire monter le débat autour de l'IA dans les plus hautes sphères. C'est le directeur général de Microsoft lui-même, Satya Nadella, qui est allé s'excuser sur le plateau de NBC. Il a rappelé que la création de telles images allaient contre les conditions d'utilisation de son outils, et que les utilisateurs seraient bannis. Le pire dans l'histoire, c'est que Microsoft est considéré comme un des précurseurs de l'IA responsable, et n'est certainement pas le plus imprudent des acteurs de l'IA.
Du côté de la Maison Blanche, la porte-parole Karine Jean-Pierre appelle le Congrès américain à prendre des mesures législatives pour « éliminer les fausses images explicites ». En France, la loi Barrot sur la sécurisation du numérique, récemment votée, mentionne elle aussi les deepfakes. Mais comme souvent à cause de la dimension mondiale d'Internet, traquer les créateurs des images compromettantes sera une tâche extrêmement complexe. D'autant plus que les outils d'IA, dont certains accessibles gratuitement, se multiplient à grande vitesse.
Dette : « La signature de la France reste très forte » (Aurore Lalucq, députée européenne) (37)
Sujets les + commentés