LA TRIBUNE - ChatGPT a-t-il révolutionné la façon dont les chercheurs voient les modèles de langage ?
IRENE SOLAIMAN - ChatGPT relève du jamais vu par sa viralité. Mais je ne dirais pas que la technologie elle-même est sans précédent. Plus généralement, même si les modèles de langage deviennent plus puissants, c'est surtout la façon dont les utilisateurs interagissent avec qui a changé. Quand j'ai commencé à travailler sur les modèles de langage il y a quelques années, il fallait avoir un certain niveau de compétence informatique pour envoyer des requêtes, mais ce n'est plus le cas aujourd'hui. L'IA s'est démocratisée, il faut donc des interfaces qui améliorent l'accessibilité. Le problème, c'est que donner plus d'accessibilité mène à plus de potentiels usages malveillants et c'est pourquoi il nous faut intégrer des protections pour garantir que l'usage de la technologie reste éthique.
Dans votre article, vous écrivez : « puisqu'un système ne peut pas être entièrement sans danger et dépourvu de biais pour tous les groupes de personnes, et qu'il n'existe aucun standard clair pour déterminer si un système est suffisamment sûr pour une diffusion publique, des discussions supplémentaires doivent être menées avec toutes les parties prenantes ». Ce constat signifie-t-il que les modèles de langages sont condamnés à être défaillants ?
Je demande toujours pour qui nous construisons ces modèles, et à qui y donne-t-on accès. Un dicton dans le milieu est « garbage in, garbage out » [si on nourrit l'IA avec du déchet, il en sortira du déchet, ndlr]. Ce principe est à l'origine de la plupart des problèmes des modèles de langage, car les données sur lesquelles ils sont entraînés ont été récupérées sur Internet, le plus souvent sur des contenus écrits en alphabet latin. Si on ajoute à cela la question de la connectivité, on réalise que les biais des nations occidentales sont surreprésentés.
Or quand on publie un modèle, encore plus sous la forme d'un produit comme ChatGPT, on veut qu'il soit sans danger pour tout le monde. Mais ce qui est considéré comme sûr pour un groupe de personnes ne l'est pas pour un autre. C'est ici qu'entrent en compte les différences culturelles sur les questions de la beauté, de la sexualité ou encore de la violence, qui rendent l'équation très compliquée pour les chercheurs.
Comment les chercheurs font-ils pour prendre en compte et diminuer ces risques ?
C'est une des questions les plus compliquées actuellement, et la solution ne viendra pas forcément d'une méthode ou d'un outil en particulier. Il faut faire attention au solutionnisme technologique. La solution relève la fois du politique, d'un travail avec la société civile, et de beaucoup de retours d'utilisateurs. Or, les organisations qui mettent en avant des systèmes fermés n'ont pas toutes les perspectives nécessaires en interne pour répondre à ces enjeux. C'est pourquoi je défends une ouverture éthique des systèmes.
Lors des sorties successives de ChatGPT et celles de BingChat, plusieurs utilisateurs se sont empressés d'en tester les limites, et de pousser les outils à la faute. Résultat : les IA finissent par mentir, et BingChat a même pris un ton agressif avec certains utilisateurs. Les concepteurs des modèles doivent-ils prendre en compte ce genre de pratiques extrêmes avant de publier leur outil ?
En fonction de ce qui est demandé, ces comportements peuvent mener à une amélioration du système, et avoir les mêmes effets bénéfiques que le passage d'une red team [une équipe chargée de trouver les failles d'un système pour mieux les réparer, ndlr]. Quand un nouveau système est publié et qu'il attire beaucoup d'attention, il va recevoir un flot permanents de tests, encore plus que ne l'aurait fait n'importe quelle organisation dont ce serait la charge. Le problème sous-jacent, c'est qu'aucun des développeurs ne peut identifier à l'avance tous les cas d'usages possibles de ces systèmes, car ils ne sont pas construits pour une application particulière.
Pour une partie des experts, ce talon d'Achille des IA génératives comme ChatGPT, Stable Diffusion ou Midjourney, justifie un accès assez rapide au modèle, afin de mettre en place le mécanisme de feedback [retour des utilisateurs, ndlr] qui va leur permettre d'améliorer le modèle. C'est aujourd'hui la norme dans la tech : on participe par exemple à ce type de mécanisme lorsque l'on utilise le moteur de recherche de Google. C'est ensuite aux décideurs politiques de trancher si ces comportement sont bons ou mauvais.
Vous vous interrogez dans votre article sur la responsabilité en cas d'erreur ou de débordement. Qui doit prendre en charge cette responsabilité ?
J'essaie de distinguer les personnes impliquées en plusieurs catégories : les développeurs, les « déployeurs » c'est-à-dire ceux qui sont chargés de mettre en place les cas d'usage du modèle, et les utilisateurs. Un des enjeux au niveau politique est de définir qui porte le fardeau et de s'assurer que le modèle est sans danger. Mais tous les acteurs impliqués partagent la responsabilité à différents niveaux. Les développeurs vont être ceux qui ont la meilleure compréhension du modèle. En revanche, ils n'ont pas toujours les compétences, notamment celles liées aux sciences sociales, pour examiner les effets du modèle sur la société.
En conséquence, pour l'instant, la majeure partie de la pression des régulateurs est portée sur les déployeurs. Ils n'ont peut-être pas autant accès au modèle que les développeurs, mais ils peuvent avoir une bien meilleure compréhension de ses implications. En bout de chaîne, il y a l'utilisateur, qui ne devrait pas avoir à porter cette responsabilité, car il est difficile d'avoir le niveau de connaissance nécessaire pour bien comprendre les limites de ces modèles.
Vous avez mené le déploiement de GPT-2, que OpenAI définissait dans un premier temps comme « trop dangereux pour être publié dans son intégralité », avant de finalement revenir sur cette précaution. Pensez-vous que cet épisode a changé la façon d'envisager le déploiement des IA au niveau de l'industrie ?
Je pense que l'approche que nous avons pris pour GPT-2 s'avère rétrospectivement être un tournant dans la façon dont nous pensons les modèles de langage et leur publication. C'était un test, dont je suis encore aujourd'hui heureuse de l'issue. J'ai travaillé avec des juristes, avec les développeurs du modèle ou encore avec des chercheurs extérieurs et tous ont été absolument essentiels pour comprendre les complexités de la publication du modèle. Nous avons fait un déploiement graduel, qui a été possible parce que nous étions extrêmement impliqués dans la recherche et que vous surveillions attentivement ce que les gens faisaient avec GPT-2. Je pense que c'était un bon exemple de publication graduelle, mais qu'encore aujourd'hui d'autres méthodes peuvent être tout aussi pertinentes.
Satya Nadella, le CEO Microsoft, a clairement évoqué le début d'une course à l'IA. Ses concurrents, à commencer par Google et Meta, ont dit qu'ils pouvaient créer des équivalents de ChatGPT mais qu'ils voulaient prendre plus de précautions. Avez-vous peur que la course économique sacrifie l'éthique ?
C'est quelque chose que nous craignons depuis des années. Nous avons toujours mis en garde contre ce genre de concurrence précipitée, et contre la possibilité qu'il fasse émerger des standards basés sur la puissance et les capacités, aux dépens de l'éthique. Car aujourd'hui, il n'y a pas d'organisme de régulation qui détermine clairement quels sont les modèles les plus puissants, encore une fois parce qu'ils ne sont pas destinés à des tâches précises.
En parallèle, nous sommes plusieurs chercheurs à travailler sur la création de standards d'évaluation qui mettraient en avant l'impact sociétal des IA, notamment sur des sujets de divergence culturelle comme la beauté, la sexualité ou la violence, en plus de critères plus classiques comme les discriminations de genre et ethnique. Après tout, si un modèle ne fonctionne pas correctement pour tout le monde, on peut considérer qu'il ne fonctionne pas du tout. Le problème, c'est qu'en se livrant une concurrence sur la performance, il est possible que les entreprises investissent moins dans les mécanismes de sûreté et d'éthique. C'est une éventualité effrayante, qu'on ne peut pas se permettre.
Le problème, c'est que même en étant attentif à la qualité de la production du modèle d'IA et en ayant bien fait attention aux éventuels débordements, il n'est jamais facile d'empêcher les mauvais usages d'un modèle. Début 2021, des internautes ont utilisé GPT-3 pour créer un jeu vidéo avec des textes pédopornographiques. Beaucoup de personnes ont oublié cet épisode car il est très dérangeant. Mais il illustre un problème : une fois le modèle publié, Internet va l'utiliser pour faire ce qu'il fait de mieux... et ce qu'il fait de pire.
Plan d'urbanisme à Paris : les professionnels dénoncent « une aberration », le premier adjoint d'Hidalgo leur répond
Sujets les + commentés