Il est connu que les systèmes d'intelligence artificielle sont une arme pour les cyberattaquants. Mais ils sont aussi une cible, que le monde de l'IA sous-estime trop, alertent le Campus Cyber et le Hub France IA. Les deux organismes appellent à une prise de conscience urgente et à une meilleure collaboration entre les deux mondes.Il y a quelques mois une arnaque mettant en scène un faux Brad Pitt dopé à l'IA défrayait la chronique. L'utilisation de celle-ci pour amplifier et perfectionner des attaques et autres escroqueries en ligne est un phénomène connu bien que difficile à mesurer. En revanche, les attaques qui s'en prennent directement aux systèmes d'IA, le sont moins.
C'est l'un des constats du rapport « Analyse d'attaque sur les systèmes de l'IA » publié par le Campus Cyber, en collaboration avec le Hub France IA, à l'occasion du salon Incyber (du 1er au 3 avril à Lille). Ce document entend provoquer « une prise de conscience », expliquent Françoise Soulié-Fogelman, informaticienne pionnière de l'IA, et le général Perrot, officier de gendarmerie et docteur en IA, tous deux à la tête du groupe de travail qui a rédigé le rapport. Leur document entend informer sur les incidents cyber liés à l'IA et proposer des moyens de s'en protéger. L'objectif est aussi d'inciter les éditeurs à protéger leurs modèles dès leur conception.
Prompt injection et empoisonnement de données
Le rapport identifie différents types d'attaques comme le prompt injection, qui consiste à infiltrer le système pour modifier l'instruction (le prompt) de l'utilisateur, afin de demander au modèle une action (aller sur un site et cliquer sur un lien, par exemple). Une autre méthode consiste à empoisonner les données d'entraînement d'un modèle pour dégrader ses performances ou y intégrer volontairement des biais. Ce type d'attaque devrait s'intensifier avec la démocratisation des systèmes dits « RAG », qui enrichissent les modèles existants avec des bases de connaissances internes à une organisation.
Le document répertorie également les attaques de type « Oracle », qui exploitent l'accès au modèle pour en extraire des informations. Un peu plus lointains : les actes malveillants impliquant des agents IA (des systèmes autonomes qui prennent des actions sans instruction), une technologie encore balbutiante. Les auteurs craignent notamment des effets d'« escalade de privilèges », où un agent ayant initialement un accès limité à un système chercherait à augmenter son niveau d'autorisation. « Il est sûr et certain que nous verrons des attaques », se projette le général Perrot.
