Marine Protais
Ce contenu est réservé aux abonnés La Tribune
Si on demande à une IA de représenter un chien, le modèle produira plus d'images de golden retrievers, car ce sont les chiens les plus représentés dans les banques d'images.
Image générée par IA avec Canva
Trop d'intelligence artificielle tue l'intelligence artificielle. Ainsi pourrait-on résumer (grossièrement) le concept de "model collapse" (en français l'effondrement des modèles). Ce phénomène, qui inquiète régulièrement l'industrie depuis quelques mois, vient d'être validé scientifiquement dans la revue Nature. Une étude publiée le 24 juillet démontre que si les modèles d'intelligence artificielle générative sont nourris avec trop de données produites elles-mêmes par des IA, ils finissent par produire du charabia et des images absurdes. Le problème concerne à la fois les grands modèles de langage (LLM) comme GPT-4 d'OpenAI ou Claude d'Anthropic, et les générateurs d'images tels que Stable Diffusion, Midjourney ou DALL-E.
À lire également
Comment cette dégénérescence s'opère ? Pour comprendre le processus, il faut rappeler que les modèles d'IA produisent du contenu de manière probabiliste. Et ils ont tendance à sur-représenter les images ou les mots fréquents, et à sous-estimer ceux qui sont moins récurrents. Ce problème s'amplifie au fur et à mesure. Imaginez que l'on demande à une IA de représenter un chien. Le modèle produira plus d'images de golden retrievers, car ce sont les chiens les plus représentés dans les banques d'images, et moins de dalmatiens ou d'autres races moins répandues. Si ensuite ce même modèle est entraîné sur les images qu'il a produites, il représentera encore plus de golden retrievers. C'est la première étape de l'effondrement. Les chercheurs l'appellent « la perte de variance ». Et au fur et à mesure des entraînements, le modèle produit des golden retrievers à l'anatomie aléatoire, expliquent les chercheurs canadiens et britanniques à l'origine de l'étude. Car en plus de sur-représenter certaines races, l'IA introduit des erreurs.
Marine Protais
