J'y pense et puis j'oublie

HOMO NUMERICUS. Des systèmes d'intelligence artificielle apprennent à oublier des informations inutiles. À l'avenir, l'un des enjeux sera de s'entendre sur la portée de cette notion d'utilité ou d'inutilité. Par Philippe Boyer, directeur relations institutionnelles et innovation à Covivio.
Philippe Boyer

4 mn

Dans un proche avenir, il deviendra possible d'imaginer que des machines et leurs systèmes d'intelligence artificielle embarqués, puissent être programmées pour « oublier » ou, pour le moins, faire le tri entre ce qui est « important » de ce qui ne l'est pas ou moins.
Dans un proche avenir, il deviendra possible d'imaginer que des machines et leurs systèmes d'intelligence artificielle embarqués, puissent être programmées pour « oublier » ou, pour le moins, faire le tri entre ce qui est « important » de ce qui ne l'est pas ou moins. (Crédits : Gerd Altmann via Pixabay)

Alan Turing, mathématicien de génie qui sut déchiffrer la machine Enigma utilisée par l'armée allemande pendant la Seconde Guerre mondiale, proposa d'évaluer la puissance d'un ordinateur à sa capacité à « imiter » l'homme. Pour ce scientifique, un ordinateur pouvait être dit « intelligent » s'il réussissait à tromper une personne en se faisant passer pour un être humain. À l'époque, et pour la première fois dans l'Histoire, il fut possible de féliciter une machine, tout du moins ses concepteurs, d'avoir réussi le désormais célèbre « test de Turing ».

Apprendre à oublier

En 70 ans, la notion d'intelligence de la machine n'a pas cessé d'évoluer au gré des avancées de l'algorithmie et de l'intelligence artificielle, l'une et l'autre toujours plus perfectionnées au point de s'approcher du fonctionnement du cerveau humain. Il y a quelques jours, des chercheurs de la division de recherche en intelligence artificielle de Facebook (laboratoire FAIR), ont publié un article dont le titre aurait facilement pu être attribué à quelques poètes romantiques du XIXe siècle : « Tous les souvenirs ne sont pas égaux: apprendre à oublier [1] ».

En moins d'une quinzaine de pages, l'objet de cette étude consiste non à présenter une quelconque méthode pour décrire les tourments de l'âme humaine mais plutôt expliciter les conclusions d'une étude permettant d'enseigner à une intelligence artificielle comment se passer de détails inutiles.

En clair, et grâce au modèle "Expire Span", nom officiel de cette technique, il s'agit d'apprendre à la machine à faire le tri entre des informations essentielles et d'autres qui le sont moins ; les unes et les autres pourtant stockées dans sa mémoire. De la sorte, et de façon continue, réduire la quantité de calcul nécessaire pour effectuer une tâche donnée. Dit autrement, l'objectif de cette nouvelle fonctionnalité étant de conserver moins d'informations inutiles et partant permettre aux machines de fonctionner plus rapidement.

Garder en mémoire ce qui importe vraiment

Ce qui pour un humain relève d'un process inné - notre mémoire cerveau enregistre sans cesse des souvenirs  tout en effaçant certains, alors que d'autres restent vivaces - les chercheurs de Facebook se sont inspirés de cette capacité éminemment humaine en entraînant des machines à prendre certaines décisions, c'est-à-dire effectuer des choix en « se souvenant » de ce qui a réellement de l'importance au regard de la question posée. L'étude, étayée par une page internet explicitant en quoi « Expire Span » est une avancée importante en matière d'intelligence artificielle [2], prend l'exemple d'un réseau de neurones à qui on aurait demandé de trouver une porte de couleur jaune. Sans cette technique « d'oubli sélectif » la machine aurait d'abord dû se reposer sur un important jeu d'informations relatives à toutes les portes et en particulier à celles de couleurs.

Finalement, à l'instar du cerveau humain, l'objectif étant de concevoir des raccourcis de programmation pour accéder à la bonne information en un minimum de temps tout en se détachant d'informations inutiles tout juste bonnes à occuper une place inutile sans pour autant contribuer efficacement à la recherche de la solution. Les applicatifs concrets de cette nouvelle technique ne manquent en particulier pour les solutions de traitement automatique du langage (TAL), ces technologies d'analyse informatique du langage, qu'il soit écrit ou parlé.

Amnésie programmée

Ainsi, dans un proche avenir, il deviendra possible d'imaginer que des machines et leurs systèmes d'intelligence artificielle embarqués, puissent être programmées pour « oublier » ou, pour le moins, faire le tri entre ce qui est « important » de ce qui ne l'est pas ou moins. Si, d'un côté, la portée de cette innovation permettra sans doute de plus en plus aisément décharger le cerveau humain de ses tâches répétitives, en ce sens la machine complète l'Homme, on ne peut s'empêcher d'imaginer une vision plus dystopique pour laquelle la machine aura rayé de sa mémoire telle ou telle information jugée « inutile » (« non relevant » disent les anglo-saxons). Bien sûr, aucune machine ne pourra ou ne devrait jamais nous dire ce qui mérite d'être sélectionné et donc retenu.

Dit autrement, tant que les ordinateurs continueront à agir comme des machines rationnelles, nous devrons les utiliser de manière raisonnable. Si cette dimension-là venait à dangereusement s'estomper au profit d'une amnésie programmée de la machine pour notre « bien », il nous faudrait vite repenser notre rapport éthique à ces machines. Un sain principe qu'il ne faudra pas oublier sous peine de sombrer dans une sorte de triste nostalgie de l'avenir. Un comble pour un souvenir !

___

NOTES

1Not All Memories are Created Equal: Learning to Forget by Expiring

2Teaching AI how to forget at scale

Philippe Boyer

4 mn

Women for Future

Sujets les + lus

|

Sujets les + commentés

Commentaires 2
à écrit le 03/06/2021 à 9:06
Signaler
donc pour simplifier, on va juste appliquer la GDPR au machine learning. "si on ne s'en sert pas, on archive puis on supprime" quelle révolution :)))

à écrit le 03/06/2021 à 8:56
Signaler
wow, ils sont precurseurs! des ingenieurs qui ont oublie de faire l'etat de l'art y compris avec ce sur quoi ils travaillent !!!!!!!!!!!!! Le modele LSTM developpe y a 20 ans pour pallier les problemes de retropropagation du gradient ont deja un ' ...

Votre email ne sera pas affiché publiquement.
Tous les champs sont obligatoires.

-

Merci pour votre commentaire. Il sera visible prochainement sous réserve de validation.