Comment l’IA se (la) raconte depuis « 2001, l’odyssée de l’espace »

Tout le monde connaît l'histoire de HAL 9000, le supercalculateur tueur de 2001, l'odyssée de l'espace, film culte de Stanley Kubrick dont le cinquantième anniversaire sera célébré le 12 mai 2018 lors du 71e Festival de Cannes.

Curieuse coïncidence du calendrier, la société IBM, partenaire à l'époque de Kubrick, vient de dévoiler le projet CIMON (Crew Interactive Mobile Companion), le premier robot animé par une IA destiné à rejoindre la Station Spatiale Internationale (ISS)...

Ce double évènement nous propulse dans un débat sur les risques induits par le développement d'une superintelligence qui pourrait supprimer massivement des emplois et pire encore, rayer l'espèce humaine de la surface de la planète. Dès lors se pose la question de l'évaluation d'une telle menace.

Nous ne disposons pas, à ce jour, de retour d'expérience sur des accidents ou des catastrophes dus à une IA défaillante ou malveillante. Pour autant, un extraordinaire matériau peut être exploité. Il s'agit de récits issus de l'imagination d'artistes et de scientifiques, qui narrent l'histoire d'une superintelligence affranchie de tout contrôle humain.

Une histoire d'IA qui tourne mal

2001, l'Odyssée de l'espace anticipe les controverses contemporaines et raconte le combat et la victoire d'un humain, seul survivant d'une extermination méthodique conduite par un superordinateur doté d'une conscience.

HAL 9000, loyal à ses créateurs, est le seul à bord du vaisseau Discovery à connaître l'objectif de la mission : se rendre sur Jupiter pour y découvrir des signes d'intelligence extraterrestre. Réputé infaillible, HAL commet pourtant une erreur de pronostic. HAL refuse néanmoins d'admettre son erreur. Piégé dans son récit, il invoque une « erreur humaine », a priori celle de ses concepteurs, mais à l'écouter ne serait-ce pas la sienne ? De la sorte, il s'attribue un statut que les membres de l'équipage n'imaginent même pas lui octroyer, celui d'un être vivant, conscient et pensant.

Pour l'équipage, l'erreur de HAL est une faute inacceptable. Point de pardon, pas d'acte charitable, l'erreur est humaine... mais elle n'est pas machine ! Le châtiment est sans appel, HAL doit être mis hors service.

Le supercalculateur, omniprésent et omniscient, découvre sans effort le projet funeste à son encontre. Pour survivre et mener à terme la mission, il décide de supprimer l'équipage. Un seul en réchappe et poursuit donc avec d'autant plus de détermination son dessein d'homicide numérique.

Le rescapé s'introduit au cœur de l'unité et mécaniquement, sans états d'âme, débranche un à un, presque cérémonieusement, les blocs de circuit mémoire de leur logement. Tel un enfant pris en défaut, l'ordinateur tente, par un récit de lui-même, d'infléchir le projet de le lobotomiser. Dans une ultime tentative, il entonne une chanson apprise à ses premières heures par son instructeur. Mais rien n'y fait, sa voix finit par s'éteindre définitivement.

Des IA qui se la racontent !

Bien plus que l'histoire d'une lutte à mort, l'une des trouvailles de 2001 est d'envisager l'IA dans sa dimension narrative. Elle peut alors élaborer des récits originaux à propos d'elle-même, mais également faillir du fait des contingences et de ses propres errements. Ainsi, l'élimination de l'équipage ne procède pas de l'autonomisation de HAL 9000, mais d'un « mauvais récit » que se raconte à elle-même la machine, celui de croire que l'équipage pourrait compromettre la mission.

L'œuvre de Kubrick permet donc de concevoir les risques causés par une superintelligence non en termes de domination technique mais de construction d'une identité narrative défaillante. Bien que la réalité soit encore très loin de rattraper la fiction, les premiers résultats en la matière invitent à la réflexion.

En 2016, un roman justement intitulé The Day A Computer Writes A Novel a failli remporter un Prix littéraire nippon, le Nikkei Hoshi Shinichi. Le roman a été préécrit par une équipe de recherche en IA de l'Université de Hakodate dont le travail a consisté dans un premier temps à sélectionner des mots et des phrases puis à définir des paramètres de construction qui ont permis à un programme « d'écrire » le roman de manière autonome. Parmi plus de 1 450 soumissions, onze avaient été rédigées, au moins en partie, par un non-humain. Bien évidemment, le jury ignorait tout des « auteurs ».

L'année suivante, dans le même esprit mais sans coécriture digitale, Zack Thoutt, un fan de la série télévisée Game of Thrones a utilisé un réseau de neurones nourri avec plus de 5.000 pages des livres actuels pour prédire ce qui pourrait se passer par la suite. Le résultat est bien loin d'être à la hauteur de l'œuvre de George R. Martin, mais les phrases sont pour la plupart compréhensibles et les prédictions s'alignent sur certaines théories populaires des fans de la série.

Plus récemment, un programme conçu par le Media Lab du MIT, baptisé Shelley en référence à l'auteure de Frankenstein (Mary Shelley), créé des contes terrifiants, des histoires pour se faire peur. L'IA a d'abord appris en ingérant des histoires humaines, provenant d'une base regroupant plus de 140 000 références, puis elle génère ses propres œuvres qu'elle améliore en collaborant avec des humains qui répondent à ses messages via un compte Twitter...

Enfin, dans le registre de la lecture et de la compréhension des histoires cette fois, Google vient de lancer « Talk to book » (parler aux livres). Un service qui permet de converser en langage naturel avec un algorithme d'apprentissage automatique qui est censé aider l'utilisateur dans ses futurs choix de lectures.

Des histoires pour penser les risques de l'IA

Si à l'instar de HAL 9000, des IA tentent d'écrire des histoires, elles sont encore bien loin d'égaler le talent humain en la matière. Bien qu'à ce jour nul ne puisse prédire avec certitude ce que pourrait être une superintelligence artificielle, il reste possible de l'imaginer en produisant des récits stimulant notre réflexion.

C'est à cet exercice que s'est prêté Yuval Noah Harari, en imaginant un futur où l'automatisation des machines causerait la disparition de la majorité des emplois. Selon cet historien, les hommes risquent de perdre leur valeur économique car l'intelligence sera découplée de la conscience. Or, si l'intelligence est nécessaire pour conduire une voiture ou diagnostiquer une maladie, la conscience et les expériences subjectives proprement humaines ne sont pas obligatoires pour accomplir ces tâches.

Plus alarmiste encore, le philosophe Nick Bostrom, avance l'idée que les hommes n'auront sans doute pas l'occasion de connaître cette révolution aux conséquences désastreuses car ils pourraient bien être exterminés dès l'apparition d'une superintelligence artificielle.

Harari et Bostrom fondent leurs conclusions sur une réduction de l'action à sa dimension fonctionnelle, jugée sur le seul plan de l'efficacité. Mais une telle vision délaisse des pans entiers de l'existence humaine. Pour y remédier, Antonio Damasio défend l'idée que la vie représente un acte complexe où les sentiments sont l'expression d'une lutte permanente pour atteindre un équilibre qui fonde l'existence humaine. Pour le neuroscientfique, sans subjectivité point de créativité. Sans les émotions qui se manifestent dans les relations qu'entretiennent le corps et le cerveau pour percevoir le réel, point d'humanité !

Accepter cela, c'est reléguer Kubrick au rang d'artiste génial dont la prophétie est certes poétique mais irréalisable. C'est aussi admettre qu'aucune IA ne sera à jamais en mesure de redéfinir sa propre mission au détriment de ses créateurs. C'est enfin, considérer très sérieusement que le risque principal serait celui d'une guerre cybernétique initiée par les humains eux-mêmes : un conflit peuplé de drones et de robots tueurs appuyés par des nuées de virus informatiques plus malins les uns que les autres...

_________

Par Franck Guarnieri, Directeur du Centre de recherche sur les risques et les crises, Mines ParisTech

La version originale de cet article a été publiée sur The Conversation