C'est l'une des bibles de l'intelligence artificielle. Tous les ans depuis 2015, l'Institute for Human-Centered Artificial Intelligence de Stanford analyse les grandes tendances de l'intelligence artificielle. La dernière édition note une véritable explosion du secteur - en termes de nombre de modèles publiés (149 modèles de fondation en 2023, le double de 2022), de performance, mais aussi de coûts... Le rapport fait une estimation inédite des coûts d'entraînement, information rare dans le secteur. Cette course effrénée à la performance fait émerger de nouveaux défis : une possible pénurie de données, et des difficultés pour évaluer correctement les modèles.
Les performances des modèles croissent tellement rapidement que les benchmarks qui permettent de les mesurer deviennent vite obsolètes, pointe l'AI Index, publié le 15 avril par l'Université de Stanford. Les modèles parviennent à surpasser les humains sur les quelques tâches que mesurent les systèmes d'évaluation les plus courants comme la classification d'images, la compréhension de texte, mais ils continuent d'échouer à certaines tâches plus complexes - les mathématiques de haut niveau, l'organisation - moins bien mesurées par les benchmarks. Il y a dix ans les benchmarks servaient pendant au moins cinq à dix ans, aujourd'hui ils ne sont plus pertinents au bout de quelques années, explique le rédacteur en chef du rapport, Nestor Maslej, à Nature.
