C'est l'une des bibles de l'intelligence artificielle. Tous les ans depuis 2015, l'Institute for Human-Centered Artificial Intelligence de Stanford analyse les grandes tendances de l'intelligence artificielle. La dernière édition note une véritable explosion du secteur - en termes de nombre de modèles publiés (149 modèles de fondation en 2023, le double de 2022), de performance, mais aussi de coûts... Le rapport fait une estimation inédite des coûts d'entraînement, information rare dans le secteur. Cette course effrénée à la performance fait émerger de nouveaux défis : une possible pénurie de données, et des difficultés pour évaluer correctement les modèles.
On manque d'une évaluation standardisée des modèles, notamment sur les risques
Les performances des modèles croissent tellement rapidement que les benchmarks qui permettent de les mesurer deviennent vite obsolètes, pointe l'AI Index, publié le 15 avril par l'Université de Stanford. Les modèles parviennent à surpasser les humains sur les quelques tâches que mesurent les systèmes d'évaluation les plus courants comme la classification d'images, la compréhension de texte, mais ils continuent d'échouer à certaines tâches plus complexes - les mathématiques de haut niveau, l'organisation - moins bien mesurées par les benchmarks. Il y a dix ans les benchmarks servaient pendant au moins cinq à dix ans, aujourd'hui ils ne sont plus pertinents au bout de quelques années, explique le rédacteur en chef du rapport, Nestor Maslej, à Nature.
L'AI Index note par ailleurs que des benchmarks permettant d'évaluer les garde-fous mis en place par les modèles sont de plus en plus utilisés. Deux ont particulièrement la cote : TruthfulQA, qui mesure le niveau de confiance que l'on peut accorder aux réponses des IA, et RealToxicityPrompts, qui s'intéresse à la propension des modèles à produire des contenus toxiques. Le problème c'est que ces évaluations manquent d'uniformisation. Chacun juge son modèle à sa manière. « L'absence d'évaluation standardisée rend extrêmement difficile la comparaison systématique des limites et des risques des différents modèles d'IA », résume Nestor Maslej dans le New York Times.
Les IA coûtent de plus en plus cher
Les performances atteignent des sommets... et les dépenses aussi. GPT-4, le grand modèle de langage qui alimente ChatGPT publié en mars 2023 par la société OpenAI, aurait nécessité un investissement de 78 millions de dollars. Le chatbot Gemini Ultra de Google, lancé quelques mois plus tard, en décembre 2023, aurait coûté 191 millions de dollars. Celui de Meta, Llama 2 - de plus petite taille que ses concurrents - n'aurait requis « que » 3,9 millions de dollars. À titre de comparaison, le premier « Transformers » (le nom donné à ces grands modèles), qui date de 2017, n'aurait demandé que 900 dollars pour son entraînement. C'est une information importante de ce rapport, car les données concernant les coûts d'entraînement restent très rares.
Pour faire ces estimations, Stanford s'est associée à Epoch AI, un institut de recherche. Cette hausse s'explique par le nombre croissant de données qu'ils doivent traiter et donc de la puissance de calcul nécessaire.
La montée en flèche du coût financier s'accompagne d'une consommation croissante d'énergie par ces systèmes, ainsi que de la quantité d'eau nécessaire pour refroidir les centres de données qui contribuent à leur fonctionnement, met également en avant l'AI Index. « Ces systèmes sont impressionnants, mais ils sont aussi très inefficaces », explique Nestor Maslej à Nature.
Pour accompagner ces coûts faramineux, le rapport note une forte progression des investissements privés dans l'IA générative (dans l'IA de manière générale ils ont plutôt tendance à baisser). Les investisseurs ont dépensé 25,2 milliards de dollars en 2023 dans ce domaine, près de 8 fois plus qu'en 2022.
Notons toutefois que cette tendance pourrait s'inverser dans les années à venir. Certains spécialistes s'accordent pour dire que les entreprises vont de plus en plus se tourner vers l'utilisation de petits modèles d'IA plus spécialisés et moins chers, qui ne seront que des déclinaisons des très grands modèles comme GPT-4 et Claude-3.
On risque de bientôt manquer de données
La grande pénurie de données : c'est une inquiétude croissante dans le monde de l'IA. Les meilleurs modèles à ce jour ont été entraînés sur le web tout entier ou presque, et ces données ne sont pas extensibles à l'infini. Epoch Institute estime qu'en 2026, les chercheurs pourraient arriver à court de données textuelles de haute qualité, et d'ici à deux décennies de données de basse qualité. Le rapport fait un zoom spécial sur cette problématique.
L'une des solutions à ce problèmes s'appelle « les données synthétiques », des textes et images créées par les IA elles-mêmes, qui servent de base d'entraînement. Une forme de cannibalisme numérique, autrement dit. Sauf que cette méthode n'est pas pleinement satisfaisante. Plusieurs études ont montré que les modèles entraînés sur des données synthétiques avaient tendance à rétrécir leurs champs de compétences.
Les États-Unis créent plus de modèles, et la Chine dépose le plus de brevets
Si l'on doutait encore de l'avance des États-Unis, le rapport de Stanford souligne à quel point leur domination est écrasante. Le pays est à l'origine de 51 modèles « notables ». Par ce terme, les auteurs désignent des modèles qui ont une influence dans l'écosystème de l'IA à l'instar de GPT-4 ou Claude d'Anthropic. L'Union européenne se situe loin derrière avec 21 de ces modèles, dont 8 tout de même en France, et la Chine en troisième position (15). En revanche, la Chine est le pays qui dépose le plus de brevets : 61,1 % du nombre total en 2022, loin devant les États-Unis (20,9 %).
Par ailleurs, le rapport souligne que le secteur privé est majoritairement à l'origine de nouveaux modèles, bien plus que la recherche universitaire. Ce qui n'était pas le cas il y a quelques années. Cette nouvelle tendance s'explique par l'architecture des nouveaux modèles qui réclament beaucoup de données et de puissance de calcul, que possèdent les grandes entreprises. Google est l'entreprise qui a sorti le plus de modèles en 2023, suivi de Meta (11) et de Microsoft (9).
L'open source gagne du terrain
Près des deux tiers des nouveaux modèles de fondation (les grands modèles de langage comme Mistral Large ou Llama 2) sont aujourd'hui en accès libre. N'importe qui peut accéder aux codes du programme et l'utiliser.
La part de l'open source est en augmentation de 38 % par rapport à 2022, observe l'AI Index. Toutefois, notons que ce n'est pas le cas du modèle de fondation le plus utilisé : GPT-4 et sa précédente version GPT- 3,5, le moteur de ChatGPT.
L'IA explose dans le domaine de la recherche scientifique
Pour la première fois, l'Université de Stanford a décidé de consacrer tout un chapitre de son rapport à l'utilisation de l'intelligence artificielle en science et en médecine. « En 2022, l'IA a commencé à faire progresser la découverte scientifique. Mais durant l'année 2023, ces avancées ont été encore plus significatives », écrivent les auteurs.
L'AI Index énumère certains modèles clés sortis en 2023 : GNoME, qui facilite le processus de découverte de matériaux, GraphCast, qui prédit les phénomènes météorologiques plus précisément, ou encore SynthSR, qui convertit les scans du cerveau en image haute résolution.
Dette : « La signature de la France reste très forte » (Aurore Lalucq, députée européenne) (37)
Sujets les + commentés