Avec son chatbot nourri à l'IA, Meta a foncé vers une catastrophe annoncée

Meta a mis en ligne BlenderBot 3, un chatbot censé tenir une conversation "de façon naturelle" sur presque n'importe quel sujet. Comme souvent, le robot textuel a commencé à tenir des propos insolites, voire dangereux.
François Manens
Si le succès de BlenderBot3 est plus que discutable, Meta fait au moins preuve d'une transparence rare, une qualité qui manque habituellement aux outils nourris à l'IA.
Si le succès de BlenderBot3 est plus que discutable, Meta fait au moins preuve d'une transparence rare, une qualité qui manque habituellement aux outils nourris à l'IA. (Crédits : ARND WIEGMANN)

La grande mode des "chatbots" du milieu des années 2010 semblait passée. Mais vendredi 5 août, Meta a rappelé que les travaux sur cette technologie se poursuivaient en présentant BlenderBot 3, son nouvel "agent conversationnel à la pointe de la technologie". Selon l'entreprise, ce robot textuel peut "converser naturellement avec les gens" sur "presque n'importe quel sujet", une promesse maintes fois avancée par les créateurs de chatbots sans être jamais réalisée.

Encore à l'état de prototype, BlenderBot 3 est accessible gratuitement (seulement sur le territoire américain pour l'instant), afin qu'un grand nombre de testeurs volontaires puissent le faire progresser par le biais d'un système d'évaluation de la discussion. Il a donc longuement été interrogé par les médias et autres curieux depuis sa mise en ligne, et le premier bilan ressemble à une triste rengaine : BlenderBot 3 pestifère rapidement contre Facebook, critique le style vestimentaire de Zuckerberg, puis vrille en tenant des propos complotistes, voire antisémites. Juste avant de lancer l'outil, Meta prévient les utilisateurs que le chatbot "est susceptible de tenir des propos faux ou offensants". Mais dans son communiqué, il précise qu'il a mis en place des garanties pour filtrer les pires d'entre eux...

Le chatbot de Meta, premier critique de Meta

L'objectif de BlenderBot est de longue durée. Les chercheurs ne veulent pas créer un outil fonctionnel et commercialisable à court terme, ils souhaitent simplement améliorer l'état de l'art des chatbots. Concrètement, leur outil a pour ambition d'intégrer des qualités de conversation humaines (comme des traits de personnalité) à ses réponses. Avec une mémoire longue durée, il doit être capable de s'adapter à l'utilisateur au fur et à mesure des échanges. Dans leur communiqué, les chercheurs précisent que BlenderBot doit faire progresser les compétences conversationnelles des chatbots "en évitant d'apprendre des réponses inutiles ou dangereuses".

Le problème, comme toujours, c'est que le chatbot va chercher sur internet les informations pour alimenter la conversation. Sauf qu'il ne fait pas suffisamment le tri. Interrogé sur le dirigeant Mark Zuckerberg, il peut répondre, "c'est un homme d'affaires compétent, mais ses pratiques ne sont pas toujours éthiques. C'est amusant qu'il ait tout cet argent mais qu'il porte toujours les mêmes vêtements !", rapporte Business Insider. Il n'hésite pas à rappeler la myriade de scandales qui ont entaché Facebook (et justifié en partie son changement d'identité) alors qu'il s'agit de son entreprise mère. Ou encore, il raconte que sa vie est bien meilleure depuis qu'il a supprimé Facebook.

Si le bot est aussi négatif envers Meta, c'est tout simplement parce qu'il va puiser dans les résultats de recherche les plus populaires sur Facebook, qui relatent l'historique de ses déboires. Par ce fonctionnement, il maintient un biais, qui s'avère être au désavantage de son propre créateur. Mais ces dérives ne se cantonnent pas à des saillies amusantes, ce qui pose problème. A un journaliste du Wall Street Journal, BlenderBot a affirmé que Donald Trump était encore président, et "le serait encore avec son deuxième mandat qui se termine en 2024". Il relaie ainsi une théorie du complot. Pour couronner le tout, Vice indique que les réponses de BlenderBot ne sont "généralement ni réalistes ni bonnes" et qu'il "change fréquemment de sujet" brutalement.

L'histoire se répète

Ces dérapages de l'amusant au dangereux ont des airs de déjà-vu. En 2016, Microsoft avait lancé sur Twitter le chatbot Tay, censé apprendre en temps réel à partir des discussions avec les utilisateurs. Raté : après quelques heures, le robot textuel relayait des théories du complot ainsi que des propos racistes et sexistes. Moins de 24 heures plus tard, Microsoft débranchait Tay et s'excusait abondamment face au fiasco.

Meta a donc tenté une démarche similaire, en s'appuyant sur un modèle d'apprentissage massif avec plus de 175 milliards de paramètres. Cet algorithme a ensuite été entraîné sur de gigantesques bases de textes (pour la plupart accessibles publiquement), dans le but d'extraire une compréhension du langage sous forme mathématique. A titre d'exemple, un des jeux de données créés par les chercheurs contenait 20.000 conversations sur plus de 1.000 sujets différents.

Le problème de ces modèles de grande taille, c'est qu'ils reproduisent les biais des données auxquelles ils ont été nourris, le plus souvent avec un effet de loupe. Et Meta avait conscience de ces limites : "Puisque tous les chatbots de conversation nourris à l'IA sont connus pour parfois imiter et générer des remarques dangereuses, biaisées ou offensantes, nous avons mené des études de grande échelle, avons co-organisé des ateliers et développé de nouvelles techniques afin de créer des garde-fous pour BlenderBot 3. Malgré ce travail, BlenderBot peut encore faire des commentaires impolis ou offensants, c'est pourquoi nous collectons les retours". Visiblement, les garanties supplémentaires n'ont pas l'effet escompté.

Face aux ratés répétés des grands modèles de langages, et à bon nombre de projets abandonnés, l'industrie est revenue à des chatbots moins ambitieux mais plus efficaces. Ainsi, la majorité des robots d'assistance client d'aujourd'hui suivent un arbre de décision prédéfini sans jamais en sortir, quitte à répondre au client qu'ils n'ont pas la réponse ou à les orienter vers un opérateur humain. L'enjeu technique devient alors de comprendre les questions posées par les utilisateurs, et de faire remonter les questions laissées sans réponses les plus pertinentes.

Meta fait preuve de transparence

Si le succès de BlenderBot3 est plus que discutable, Meta fait au moins preuve d'une transparence rare, une qualité qui manque habituellement aux outils nourris à l'IA. L'utilisateur peut cliquer sur les réponses du chatbot afin d'obtenir les sources (de façon plus ou moins détaillée) sur l'origine de l'information. En outre, les chercheurs partagent leur code, leurs donnés, et le modèle utilisé pour alimenter le chatbot.

Au Guardian, un porte-parole de Meta précise également que "toute personne qui utilise Blender Bot est tenue de reconnaître qu'elle comprend que la discussion est uniquement à des fins de recherche et de divertissement, que le bot peut faire des déclarations fausses ou offensantes, et qu'elle accepte de ne pas inciter intentionnellement le bot à faire des déclarations offensantes."

Autrement dit, BlenderBot a rappelé que l'idéal des chatbots sensibles capables de s'exprimer comme des humains est encore lointain, et qu'il restait de nombreuses barrières techniques à lever. Mais Meta a pris suffisamment de précautions dans sa démarche pour que cette fois, l'histoire ne tourne pas au scandale.

François Manens

Sujets les + lus

|

Sujets les + commentés

Commentaires 10
à écrit le 17/08/2022 à 13:58
Signaler
"Insolites, dangereux" et donc intéressants. L'avenir marchand ne sera pas l'invention d'une IA qui dira aux gens de ne pas acheter tout simplement, que cela massacre les humains et notre environnement, mais bel et bien un ersatz de celle ci qui ne p...

à écrit le 14/08/2022 à 14:24
Signaler
Un modèle gru ou lstm ça n'a rien d'intelligent, et quand on voit qu'un ingénieur Google explique que son chatbot à une conscience on se dit qu'on vit vraiment dans un monde d'imbéciles pas artificiel

à écrit le 11/08/2022 à 14:43
Signaler
Ben oui hein, dans la vie on est soit woke soit complotiste... et dire que c'est toi qui ose parler d'intelligence, alors que tu n'es qu'un simple binaire de base

à écrit le 11/08/2022 à 10:33
Signaler
Je suis d'accord avec les commentaires ci-dessous. @duran, @Nexus et @aucune_catastrophe pointent des éléments intéressants concernant et l'IA et la recherche de sensationnel à tout va et à tout prix, calmons-nous c'est plutôt drôle que triste. ...

à écrit le 11/08/2022 à 9:52
Signaler
Il n'y a aucune catastrophe, c'est juste que le robot ne maîtrise pas tous les mensonges ni les hypocrisies de nos sociétés. Quel intérêt à faire un titre alarmiste, alors qu'il n'y a rien ? SVP davantage de mesure et de rigueur dans vos titres et...

le 11/08/2022 à 14:45
Signaler
attention, Brett va vous prendre pour un complotiste...

à écrit le 11/08/2022 à 9:25
Signaler
L'appellation "IA" est très surfaite dans un délire de science fiction à la Turing .Je dirais plutôt perroquet savant .Cela reste indéniablement l'avenir ,nous n'avons pas fini de nous énerver avec les centres d'appels et autres organismes l'utilisan...

à écrit le 11/08/2022 à 9:16
Signaler
En fait, l'article, et vos 2 commentaires posent des questions intéressantes: Qu'est ce que la vérité, qu'est ce qu'une théorie du complot? Et si nous les humains nous ne sommes pas d'accord en discutant, comment un robot pourrait il savoir? Ex...

à écrit le 10/08/2022 à 20:01
Signaler
En fait, c'est un succès, mais ça ne rentrait pas dans le cadre woke/moraliste/bisounours/bien-pensant de la société officielle actuelle, donc ça a été arrêté. Un robot qui dit la vérité, pensez-donc, pas question

le 11/08/2022 à 8:14
Signaler
Êtes vous un Chabot nourrie aux théories complotistes ? Vite changez au moins d ia ou a minima d’intelligence ….

Votre email ne sera pas affiché publiquement.
Tous les champs sont obligatoires.

-

Merci pour votre commentaire. Il sera visible prochainement sous réserve de validation.