Comme le montre une récente étude de l'entreprise de logiciel Qlik, l'intelligence artificielle (IA) générative gagne du terrain dans tous les secteurs. Ainsi, 31% des répondants disent prévoir de consacrer plus de 10 millions de dollars à des projets autour de cette technologie au cours de l'année à venir. Dans un contexte international de plus en plus tendu, le Département de la Défense américain cherche logiquement à capitaliser sur l'avance du pays dans ce domaine en mettant cette technologie à son service. Objectif, conserver une longueur d'avance sur la Chine et les autres puissances rivales.
« Nous expérimentons avec plusieurs modèles d'IA générative », déclarait ainsi Margie Palmieri, la directrice du numérique et de l'IA du Pentagone, lors d'un événement en juillet dernier, précisant que l'approche du Département n'était pas uniforme et variait en fonction des usages.
« Au département de la Défense, nous utilisons la vision par ordinateur pour détecter et suivre des objets, du traitement automatique du langage naturel pour lire des documents et établir des corrélations, d'autres types d'algorithmes d'apprentissage automatique pour faire de la maintenance prédictive... Il en ira de même pour l'IA générative, qui s'avérera très pertinente pour certains usages et pas du tout pour d'autres. »
Parmi les pistes actuellement explorées par le Pentagone, citons notamment la collecte, le partage et la présentation d'informations sous forme concise, pour automatiser certains processus et accélérer la prise de décision. D'après des informations obtenues par Bloomberg, le Département de la Défense aurait d'ores et déjà testé plusieurs grands modèles linguistiques pour accélérer la circulation de l'information au sein de l'armée. Au cours d'une phase de tests, une demande d'informations qui aurait en temps normal requis plusieurs heures pour obtenir une réponse a pu être résolue en dix minutes.
« Ces modèles ont le potentiel pour transformer la façon dont les missions sont effectuées en automatisant et exécutant certaines tâches avec une vitesse et une efficacité sans précédent », affirme de son côté un mémorandum de Jane Rathbun, directrice des systèmes d'information de l'US Navy, paru en septembre.
Plusieurs entreprises dans les starting-blocks
En août, le Département de la Défense américain a créé un groupe de travail chargé de plancher sur les usages de l'IA générative, baptisée Lima, et placée sous le contrôle du Chief Digital and Artificial Intelligence Office (CDAO), branche chargée d'explorer les usages de l'IA.
« Le Département de la Défense reconnaît le potentiel de l'IA générative pour améliorer significativement l'intelligence, la planification des opérations, ainsi que les tâches administratives et commerciales. Une mise en œuvre responsable est toutefois nécessaire pour bien gérer les risques », a déclaré Xavier Lugo, capitaine de l'US Navy placé à la tête de Lima, lors de l'annonce de la création du groupe de travail.
Plusieurs fleurons technologiques américains aident le Pentagone à tirer profit de l'IA générative. Parmi eux, Palantir, l'entreprise de traitement des masses de données de Peter Thiel. Pour rappel, elle commercialise notamment une plateforme proposant à ses clients d'intégrer divers grands modèles linguistiques, ainsi qu'un assistant alimenté à l'IA générative, baptisé AIP Assist.
On compte également Scale AI, une jeune pousse de San Francisco. Sur son site internet, celle-ci affirme travailler avec le Département de la Défense américain autour d'opérations de surveillance, d'intelligence et de reconnaissance, mais aussi afin de rendre le matériel militaire plus efficace, et sur des véhicules autonomes. Microsoft Azure a en outre récemment annoncé que son service Azure Government, qui compte le Département de la Défense parmi ses utilisateurs, permettrait bientôt d'utiliser les modèles d'IA conçus par OpenAI.
Wargames
L'intelligence artificielle générative reste toutefois une technologie émergente. Elle comporte donc un certain nombre de risques, parmi lesquels sa propension à halluciner, c'est-à-dire à donner avec aplomb des réponses totalement erronées ou inventées. La qualité des réponses données par l'IA générative dépend, en outre, directement de la qualité des données. Certains s'inquiètent donc du fait que celles-ci puissent être perverties par des acteurs malveillants cherchant à faire dérailler les systèmes d'IA générative utilisés par l'armée. D'autres soulignent le risque de voir des données classées « secret défense » fuiter à travers ces usages.
Lors d'une réunion au Sénat américain consacrée à l'usage de l'IA par le Département de la Défense, Josh Lospinoso, de l'entreprise d'observation des données Shift5, a ainsi souligné le risque de voir les données employées pour entraîner les algorithmes d'IA générative « altérées par des acteurs mal intentionnés ». Il est donc nécessaire de « bien réfléchir à combler toutes ces failles de sécurité potentielles dans nos algorithmes d'IA avant de les déployer à grande échelle », a-t-il martelé.
Pour l'expert et consultant en cybersécurité allemand Kai Greshake, « des hackers travaillant pour une puissance ennemie pourraient très bien disséminer de fausses informations sur la toile, qui viendraient ensuite nourrir les modèles d'IA, et ainsi rapporter ces informations erronées aux militaires, avec une apparence de vérité. On imagine les conséquences si ces agents virtuels sont utilisés par l'armée pour conseiller sur de futures opérations, des frappes de missiles ou des engagements de troupe », affirme le chercheur.
Il est donc selon lui capital de s'assurer que « les modèles d'IA générative utilisés dans un secteur aussi stratégique soient complètement isolés du web, ne reçoivent aucun apport extérieur. »
C'est d'autant plus inquiétant que même les spécialistes de la cybersécurité ne maîtrisent pas toujours les techniques mises au point par les cybercriminels pour s'en prendre aux intelligences artificielles. « Une étude de la Cnil publiée fin 2022 recense l'ensemble des attaques qui peuvent être menées contre des IA, en reprenant des travaux académiques parus cinq ans plus tôt. On est donc sur des choses qui ont déjà été démontrées depuis quelque temps, et qui sont pourtant encore peu connues, y compris des experts de cybersécurité. Il serait donc dangereux de déployer de tels outils sans les précautions adéquates », affirme Loïc Guézo, directeur de la stratégie cyber pour l'Europe chez Proofpoint, une entreprise leader dans les domaines de la cybersécurité et de la conformité.
Une loi pour empêcher l'IA d'appuyer sur le bouton rouge
Interrogé sur les risques potentiels de l'IA générative, Tim Gorman, porte-parole du Département de la Défense, concède qu'ils sont réels et qu'il convient par conséquent d'avancer avec prudence. « Le Chief Digital and AI Office se montre très enthousiaste pour les avancées impressionnantes de l'IA générative et son potentiel futur. Toutefois, cette technologie en est encore à ses balbutiements, et comporte des problèmes que tout le monde connaît. C'est pourquoi nous expérimentons avec les grands modèles linguistiques, afin de décider où et quand leur usage peut être approprié pour des applications militaires », confie-t-il à La Tribune. Interrogés sur les risques posés par l'usage de l'IA générative dans la défense, Scale AI et Palantir n'ont de leur côté pas répondu à nos sollicitations.
Afin de minimiser les risques, le Département de la Défense ne compte pas s'appuyer sur des applications grand public, comme Bard ou ChatGPT, mais construire des applications d'IA génératives pour les besoins de l'armée américaine, avec l'aide de chercheurs et d'entreprises privées. « Les grands modèles linguistiques que nous utiliserons seront entraînés sur nos données et tourneront sur nos propres serveurs, afin que tout soit crypté et que nous puissions en permanence analyser et surveiller le fonctionnement de ces algorithmes », confiait Maynard Holliday, directeur technique du Pentagone, lors d'un événement en juin dernier.
Dans son mémorandum, Jane Rathbun de l'US Navy, insiste de son côté sur la nécessité d'exercer un contrôle humain minutieux sur ces algorithmes, afin d'éviter les hallucinations, notamment en s'assurant de la qualité des données rentrées dans les modèles et en testant le fonctionnement de ces outils dans un environnement restreint et sous contrôle avant de les déployer.
« Si l'on ne veut pas que ces technologies soient accessibles de l'extérieur, il faut d'une part que l'interface soit protégée avec des techniques classiques de contrôle d'accès et de disponibilité, ce qui n'exclut pas l'usage d'un cloud, à condition que celui-ci soit un cloud privé répondant à des contraintes strictes.
D'autre part, pour ce qui concerne les modèles d'IA en eux-mêmes, ils peuvent soit être conçus entièrement par l'armée, soit achetés sur étagère, puis entraînés avec des données maison, mais il faut alors que les militaires maîtrisent le cœur du système. Pour que cette seconde partie soit sécurisée, on peut reprendre le schéma de souveraineté nationale numérique adopté autour du chiffrement, par exemple, avec des algorithmes développés par des chercheurs nationaux, puis éprouvés et validés par des agences nationales », décrypte Loïc Guézo.
Plusieurs politiques américains ont également décidé de s'emparer du sujet, à travers un projet de loi bipartisan, le Block Nuclear Launch by Autonomous Artificial Intelligence Act, visant à s'assurer que la décision d'utiliser des armes nucléaires ne soit jamais laissée à la discrétion de l'intelligence artificielle. Cette loi « permettra de s'assurer que quoiqu'il arrive à l'avenir, ce sera toujours un humain, et non un robot, qui décidera de l'usage d'une arme nucléaire », selon Ted Lieu, élu démocrate de la Californie à la Chambre des Représentants, à l'origine du projet de loi. Ce dernier a reçu le soutien de Kai Bird, l'auteur de la biographie d'Oppenheimer qui a inspiré le film de Christopher Nolan.
