LA TRIBUNE- La course à l'intelligence artificielle arrive à un tournant. Depuis un an, GPT-4, le meilleur modèle d'OpenAI, dominait sans égal les classements de performance. Mais ces derniers mois, Anthropic, Mistral ou encore Google ont présenté des grands modèles capables de de l'égaler, voire de le surpasser. Désormais, les regards se tournent vers vous. En début de semaine, Nick Clegg, le directeur des affaires publiques de Meta, a annoncé que Llama 3, la nouvelle version de votre famille de LLM, serait déployée « dans le mois ». Pensez-vous qu'il puisse rivaliser avec les meilleurs modèles ?
JOELLE PINEAU- Absolument ! Nous suivons de près les benchmarks, qui permettent de nous comparer avec la concurrence, et nous comptons bien y performer. Mais certaines contraintes que nous nous imposons, par exemple sur les données que nous utilisons pour l'entraînement des modèles, pourraient nous empêcher d'arriver en tête de certains classements. Autrement dit, nous savons exactement ce qu'il faut faire pour se rendre en première position, mais c'est difficilement compatible avec nos standards pour l'instant. D'autant plus qu'en face de nous, il y a plein de petits acteurs qui n'ont pas toujours les mêmes scrupules sur la safety [sécurité, ndlr] des intelligences artificielles.
Mais cette course n'est pas qu'une histoire de benchmarks. Pour nous, elle se décline en trois questions : qui va avoir les meilleurs modèles en théorie ? Qui va avoir les meilleurs modèles en pratique ? Et surtout, qui va réussir à capitaliser sur l'IA générative avec des produits performants ? Et je pense que nous sommes bien positionnés dans les trois cas.
Qu'est-ce que Llama 3 aura de plus que son prédécesseur Llama 2, sorti en juillet 2023 ?
Il pourra appréhender un plus grand éventail d'informations, notamment les images, en plus d'être utilisable dans plus de langues. Mais la véritable avancée, c'est l'amélioration de ses capacités de raisonnement et de planification, avec notamment pour effet direct une réduction des risques d'hallucinations [des incohérences présentées comme faits par les IA, ndlr]. Attention cependant, nous n'en sommes qu'au début de l'intelligence artificielle générative, et nous sommes loin de résoudre tous les problèmes de la précédente génération. Il reste beaucoup de travail à faire.
Pour développer leur chiffre d'affaires, la majorité de vos concurrents misent sur un modèle de distribution par API, où le client paie le modèle d'IA à l'utilisation. De votre côté, vous avez aussi noué des partenariats avec les principaux fournisseurs de cloud (AWS, Azure, Google Cloud...) pour diffuser vos modèles Llama par API. Est-ce un élément important de votre modèle économique pour l'IA ?
Ces partenariats nous permettent d'élargir le réseau de distribution du modèle, mais ils ne sont pas notre priorité. Notre stratégie dans l'intelligence artificielle est assez différente des autres : elle consiste avant tout à alimenter nos plateformes, Facebook, Instagram, WhatsApp en nouvelles fonctionnalités. Notre modèle d'affaires est là.
Pour l'instant, nous n'avons pas encore beaucoup poussé Meta AI [la plateforme d'outils d'IA du groupe, ndlr], car nous voulons avancer prudemment. Mais il faut garder en tête que notre réseau de distribution compte plus de trois milliards de personnes. Donc une fois que nous déciderons de vraiment mettre le pied sur l'accélérateur, nous serons difficile à égaler.
« Les chercheurs veulent toujours plus de ressources »
Vous avez fait le choix dès l'an dernier de publier Llama en open source, avec une licence d'exploitation synonyme de gratuité pour l'écrasante majorité des entreprises. La performance de Llama 3 sera donc regardée de près, car il risque d'imposer un nouveau plancher de performances à atteindre aux développeurs de modèles, qu'ils soient ouverts ou propriétaires. Avez-vous conscience de ce rôle?
Complètement. À chaque fois que nous montons une marche, c'est tout l'écosystème qui monte avec nous. Les nombreuses personnes qui travaillent sur Llama 2 vont pouvoir basculer sur Llama 3 dès sa sortie, et ça se verra. Plus généralement, le plancher de performance imposé par les modèles open source monte constamment et la distance avec le plafond posé par les meilleurs modèles propriétaires se réduit très vite. Mais l'open source impose aussi que ce bond de performance s'accompagne d'une avancée du même ordre au niveau des responsabilités sociales et éthiques. Les modèles que nous allons sortir ne seront pas parfaits, et nous devons nous assurer qu'ils ne puissent pas causer de risques significatifs s'ils tombent dans les mauvaises mains.
En 2023, ce n'est pas votre modèle le plus puissant qui a le plus marqué l'industrie, mais Llama 2 7B, une version bien plus petite, moins gourmande en ressources. Certains experts comparent même l'effet de son arrivée dans le milieu des professionnels de l'IA à celle de ChatGPT dans le grand public. Comptez-vous poursuivre le développement de ce genre de petits modèles ?
Les petits modèles sont un point de passage indispensable dans le développement des grands modèles. Quand nous avons commencé à travailler sur Llama 3 par exemple, nous avons testé toutes sortes d'innovations sorties de nos laboratoires sur des petits modèles. Puis nous avons passé à l'échelle supérieure ce qui semblait fonctionner le mieux, car nous n'avions pas les ressources pour tout tester, jusqu'à obtenir le grand modèle final dont nous allons garder une seule version. Ce qui est amusant, comme vous l'avez souligné, c'est que les modèles de petites tailles sont souvent plus populaires parmi les chercheurs, car ils permettent d'expérimenter beaucoup plus rapidement.
Mark Zuckerberg a lui-même annoncé que Meta sera doté d'ici la fin de l'année de l'équivalent de 650.000 H100, le processeur incontournable de Nvidia. Vous devenez, de fait, une des entreprises les mieux dotées en GPU [nom des processeurs de Nvidia, ndlr] au monde. Qu'est-ce que cette nouvelle donne change pour vous ?
Nous sommes toujours à court de GPU [rires] ! Plus sérieusement, les chercheurs en veulent toujours plus. L'année 2023 a été particulièrement difficile sur ce point parce que nous avons brusquement accéléré nos efforts : nous avons créé l'équipe GenAI [dédiée à l'IA générative, ndlr], en plus des laboratoires Fair [Fundamental AI Research, ndlr] déjà en place, et les équipes produit se sont aussi mises à beaucoup plus travailler sur l'IA. Nous avons donc vécu une période où nos ressources étaient particulièrement limitées par rapport à nos besoins, et nous avions besoin de ces GPU supplémentaires. Le seul problème désormais, c'est que la construction de datacenters prend environ deux ans, donc nous commençons tout juste à sortir de la situation d'embouteillage. Le développement de Llama 3 n'a donc pas pleinement profité de ces nouvelles capacités de calcul.
Concrètement, à quoi servent ces GPU dans le travail quotidien de vos équipes ?
À deux choses : faire plus d'essais de modèles, et faire des essais de plus grande ampleur. La difficulté, c'est de trouver l'équilibre entre ces deux efforts. Si nous faisons trop de petits essais, nous progresserons lentement, car certains comportements du modèle ne peuvent s'observer qu'à l'échelle. Inversement, si nous lançons l'entraînement d'un grand modèle sans les essais suffisants au préalable, nous risquons d'aboutir à des résultats décevants.
Qu'en est-il de la guerre des talents ? Pendant les années 2010, Meta et Google étaient les références incontournables de l'écosystème de l'intelligence artificielle. Aujourd'hui plusieurs startups très en vue, à commencer par OpenAI, jouent des coudes avec vous...
Nous ressentons toujours la tension dans les recrutements, mais beaucoup moins qu'il y a un ou deux ans. Je pense que notre approche open source attire une partie des chercheurs, qui viennent frapper à notre porte avant tout pour cette raison. Ensuite, c'est toujours surprenant de voir à quel point les chercheurs suivent la trace des GPU. Il faut dire que sans puissance de calcul suffisante, ils risquent de ne pas pouvoir tester leurs idées. Alors ils vont vers les entreprises comme nous, qui leur offrent le plus de ressources. Enfin, la compensation joue toujours un rôle important, d'autant plus que les grosses startups ont désormais les moyens de s'aligner financièrement.
Si vous avez choisi d'ouvrir Llama et plus généralement une majorité de vos modèles, vous avez décidé de garder certains secrets de votre modèle de génération d'image, Emu. Pourquoi ?
Nous essayons d'ouvrir tous nos modèles, mais il faut avant tout que nous soyons en capacité de le faire sans risque. Si nous partageons un modèle mal calibré, nous mettons en danger l'entreprise entière, et le jeu n'en vaut pas la chandelle. C'est pourquoi notre arbitrage sur l'ouverture des modèle se fait au cas par cas.
Dans le cas d'Emu, la possibilité de créer de fausses images soulève des problèmes très particuliers. Même s'ils se développent rapidement, les protocoles de watermarking pour étiqueter les images générées par l'IA ne sont pas encore au point. Peut-être que nous changerons de position à l'avenir, mais c'est trop risqué pour l'instant, d'autant plus que 2024 est une grande année d'élections à travers le monde. Donc, plutôt que de rajouter une bûche au feu, nous avons décidé d'attendre et d'observer les premiers effets de la technologie sur les élections. Il faut se rappeler qu'une fois qu'un modèle est publié en open source, on ne peut plus le retirer.
Si vous reconnaissez un risque, vous avez tout même utilisé Emu pour alimenter Imagine, votre générateur d'images...
Sur Imagine, nous pouvons nous assurer de l'intégrité des garde-fous du modèle, alors qu'ils pourraient potentiellement être retirés par des utilisateurs si nous le publions en open source. En plus, nous pouvons appliquer autant de filtres supplémentaires que nous le souhaitons, car nous avons un contrôle direct sur le produit. Par exemple, nous pouvons nous assurer que l'outil ne génère pas d'images de personnalités publiques qui pourraient créer déclencher des conflits autour du droit à l'image.
Malgré ces précautions, Imagine rencontre quelques soucis. Au début du mois une journaliste de The Verge a remarqué que tous les humains générés étaient asiatiques. Puis, pendant un court moment, vraisemblablement le temps de réparer le bug, il était impossible de générer des personnes asiatiques. Même si le problème n'a pas atteint les mêmes sommets que chez Gemini de Google, il a exposé un véritable écueil.
Notre cadre d'évaluation des risques se divise en trois catégories. La première comprend les problèmes avec des implications criminelles, par exemple, si notre système permettait de produire de la pornographie juvénile. La deuxième catégorie prend en compte les risques directs sur la société, comme la désinformation ou la déstabilisation politique. Enfin, la troisième catégorie adresse notamment la représentation des minorités. Un raté dans ce domaine n'est pas illégal et ne risque pas de détruire nos démocraties, même si c'est un véritable enjeu de société. La réponse aux problèmes de représentation est rarement binaire, et ce n'est pas toujours facile de savoir comment s'y prendre. Mais c'est certain que si nous laissons les modèles à eux-mêmes, ils vont renforcer les stéréotypes et les inégalités, donc nous les surveillons de près. Comme nous l'avons dit au lancement de l'outil, nous en sommes encore aux premiers pas de l'IA générative, et c'est une technologie qui n'est pas toujours parfaite. C'est pourquoi nous améliorons et ajustons constamment nos modèles.
Dette : « La signature de la France reste très forte » (Aurore Lalucq, députée européenne) (37)
Sujets les + commentés