Dans une vidéo de 2 minutes 30, un robot humanoïde se tient derrière une table. Calmement, il effectue les différentes tâches, qui lui sont dictées par l'ingénieur en face de lui. Leur dialogue est relativement fluide, tout comme les gestes qu'il exécute. « J'ai faim, donne-moi quelque chose à manger », lui dit l'ingénieur. « Bien sûr », répond l'humanoïde (doté de la voix de Steve Jobs). Il prend la pomme qui se trouve dans une assiette et lui tend. « Très bien, maintenant explique-moi pourquoi tu as fait ça, en ramassant ces déchets ». Le robot s'exécute et se justifie : « Je t'ai donné la pomme parce que c'était le seul aliment disponible sur la table ». Cette séquence assez fascinante publiée sur les réseaux sociaux par l'entreprise Figure AI permet d'avoir un aperçu de ce qu'est la robotique augmentée par l'IA générative.

L'entreprise californienne a annoncé il y a deux semaines un partenariat avec OpenAI, le créateur de ChatGPT. Et cette vidéo est le premier résultat de l'association des deux sociétés. L'humanoïde de Figure AI (baptisé Figure 01) intègre un modèle dit multimodal d'OpenAI (capable d'analyser à la fois des images et du texte). De quoi lui permettre de décrire son environnement, de faire preuve de « bon sens » lorsqu'il prend une décision (par exemple il est capable de savoir que les assiettes posées sur la table peuvent aller dans l'égouttoir), de traduire en mouvements des instructions en langage naturel, d'être doté d'une mémoire court terme (lorsqu'on lui dit « met les là-bas », il sait que « les » désignent les assiettes, par exemple).

Lire aussiOpenAI s'associe à Figure AI : faut-il croire au retour en grâce des robots humanoïdes ?

Les mouvements effectués par le robot ont été appris auparavant, précise l'entreprise. Il ne les exécute pas « en temps réel » pour la première fois dans la vidéo. En revanche, le modèle multimodal d'OpenAI lui permet de décider quel mouvement adopter en fonction de ce qu'il « voit » et de ce qu'il « entend ». « Nous alimentons le modèle avec des images provenant des caméras du robot et du texte transcrit à partir de la parole captée par des microphones embarqués, le tout envoyé à un grand modèle multimodal entraîné par OpenAI qui comprend à la fois les images et le texte, explique Corey Linch, directeur de l'IA chez Figure, via le réseau social X. Le modèle traite l'historique complet de la conversation, y compris les images passées, pour élaborer des réponses linguistiques, qui sont ensuite restituées à l'humain via une synthèse vocale ».

Tesla, Agility Robotics et d'autres sont également dans la course

Figure AI, financé par tout le gratin de l'IA (Nvidia, Microsoft et OpenAI), n'est pas le seul acteur à miser sur l'avènement des robots humanoïdes augmentés à l'IA générative. Agility Robotics, une autre startup américaine, prévoit de produire 100.000 humanoïdes par an. La jeune pousse, qui compte parmi ses investisseurs Amazon, vient d'annoncer le lancement d'une plateforme permettant de gérer des flottes de robots bipèdes. Tesla, la startup norvégienne 1x, et le canadien Sanctuary AI sont également dans la course.

Par rapport aux robots classiques que l'on trouve dans les usines et les entrepôts, ces humanoïdes promettent d'être polyvalents, d'effectuer toutes les tâches qu'un humain peut faire et surtout de comprendre le langage naturel.

Par le passé, les roboticiens ne sont jamais parvenus à trouver une application réellement indispensable aux robots humanoïdes. Une fois l'effet waouh de leur ressemblance aux humains passé. Brett Adcok, le fondateur de Figure AI, assure à Fast Company que son robot sera, contrairement à ses prédécesseurs, utile. « Les robots humanoïdes existants ne sont là que pour les cascades et les demos (...) On veut s'éloigner de ça ». Pour lui, c'est sûr les humanoïdes coloniseront la planète, même si leur déploiement prendra plusieurs dizaines d'années.

Lire aussiIA : de « Will Smith qui mange des pâtes » au photoréalisme d'OpenAI, la course au ChatGPT de la vidéo