La grande mode des "chatbots" du milieu des années 2010 semblait passée. Mais vendredi 5 août, Meta a rappelé que les travaux sur cette technologie se poursuivaient en présentant BlenderBot 3, son nouvel "agent conversationnel à la pointe de la technologie". Selon l'entreprise, ce robot textuel peut "converser naturellement avec les gens" sur "presque n'importe quel sujet", une promesse maintes fois avancée par les créateurs de chatbots sans être jamais réalisée.

Encore à l'état de prototype, BlenderBot 3 est accessible gratuitement (seulement sur le territoire américain pour l'instant), afin qu'un grand nombre de testeurs volontaires puissent le faire progresser par le biais d'un système d'évaluation de la discussion. Il a donc longuement été interrogé par les médias et autres curieux depuis sa mise en ligne, et le premier bilan ressemble à une triste rengaine : BlenderBot 3 pestifère rapidement contre Facebook, critique le style vestimentaire de Zuckerberg, puis vrille en tenant des propos complotistes, voire antisémites. Juste avant de lancer l'outil, Meta prévient les utilisateurs que le chatbot "est susceptible de tenir des propos faux ou offensants". Mais dans son communiqué, il précise qu'il a mis en place des garanties pour filtrer les pires d'entre eux...

Le chatbot de Meta, premier critique de Meta

L'objectif de BlenderBot est de longue durée. Les chercheurs ne veulent pas créer un outil fonctionnel et commercialisable à court terme, ils souhaitent simplement améliorer l'état de l'art des chatbots. Concrètement, leur outil a pour ambition d'intégrer des qualités de conversation humaines (comme des traits de personnalité) à ses réponses. Avec une mémoire longue durée, il doit être capable de s'adapter à l'utilisateur au fur et à mesure des échanges. Dans leur communiqué, les chercheurs précisent que BlenderBot doit faire progresser les compétences conversationnelles des chatbots "en évitant d'apprendre des réponses inutiles ou dangereuses".

Le problème, comme toujours, c'est que le chatbot va chercher sur internet les informations pour alimenter la conversation. Sauf qu'il ne fait pas suffisamment le tri. Interrogé sur le dirigeant Mark Zuckerberg, il peut répondre, "c'est un homme d'affaires compétent, mais ses pratiques ne sont pas toujours éthiques. C'est amusant qu'il ait tout cet argent mais qu'il porte toujours les mêmes vêtements !", rapporte Business Insider. Il n'hésite pas à rappeler la myriade de scandales qui ont entaché Facebook (et justifié en partie son changement d'identité) alors qu'il s'agit de son entreprise mère. Ou encore, il raconte que sa vie est bien meilleure depuis qu'il a supprimé Facebook.

Si le bot est aussi négatif envers Meta, c'est tout simplement parce qu'il va puiser dans les résultats de recherche les plus populaires sur Facebook, qui relatent l'historique de ses déboires. Par ce fonctionnement, il maintient un biais, qui s'avère être au désavantage de son propre créateur. Mais ces dérives ne se cantonnent pas à des saillies amusantes, ce qui pose problème. A un journaliste du Wall Street Journal, BlenderBot a affirmé que Donald Trump était encore président, et "le serait encore avec son deuxième mandat qui se termine en 2024". Il relaie ainsi une théorie du complot. Pour couronner le tout, Vice indique que les réponses de BlenderBot ne sont "généralement ni réalistes ni bonnes" et qu'il "change fréquemment de sujet" brutalement.

L'histoire se répète

Ces dérapages de l'amusant au dangereux ont des airs de déjà-vu. En 2016, Microsoft avait lancé sur Twitter le chatbot Tay, censé apprendre en temps réel à partir des discussions avec les utilisateurs. Raté : après quelques heures, le robot textuel relayait des théories du complot ainsi que des propos racistes et sexistes. Moins de 24 heures plus tard, Microsoft débranchait Tay et s'excusait abondamment face au fiasco.

Meta a donc tenté une démarche similaire, en s'appuyant sur un modèle d'apprentissage massif avec plus de 175 milliards de paramètres. Cet algorithme a ensuite été entraîné sur de gigantesques bases de textes (pour la plupart accessibles publiquement), dans le but d'extraire une compréhension du langage sous forme mathématique. A titre d'exemple, un des jeux de données créés par les chercheurs contenait 20.000 conversations sur plus de 1.000 sujets différents.

Le problème de ces modèles de grande taille, c'est qu'ils reproduisent les biais des données auxquelles ils ont été nourris, le plus souvent avec un effet de loupe. Et Meta avait conscience de ces limites : "Puisque tous les chatbots de conversation nourris à l'IA sont connus pour parfois imiter et générer des remarques dangereuses, biaisées ou offensantes, nous avons mené des études de grande échelle, avons co-organisé des ateliers et développé de nouvelles techniques afin de créer des garde-fous pour BlenderBot 3. Malgré ce travail, BlenderBot peut encore faire des commentaires impolis ou offensants, c'est pourquoi nous collectons les retours". Visiblement, les garanties supplémentaires n'ont pas l'effet escompté.

Face aux ratés répétés des grands modèles de langages, et à bon nombre de projets abandonnés, l'industrie est revenue à des chatbots moins ambitieux mais plus efficaces. Ainsi, la majorité des robots d'assistance client d'aujourd'hui suivent un arbre de décision prédéfini sans jamais en sortir, quitte à répondre au client qu'ils n'ont pas la réponse ou à les orienter vers un opérateur humain. L'enjeu technique devient alors de comprendre les questions posées par les utilisateurs, et de faire remonter les questions laissées sans réponses les plus pertinentes.

Meta fait preuve de transparence

Si le succès de BlenderBot3 est plus que discutable, Meta fait au moins preuve d'une transparence rare, une qualité qui manque habituellement aux outils nourris à l'IA. L'utilisateur peut cliquer sur les réponses du chatbot afin d'obtenir les sources (de façon plus ou moins détaillée) sur l'origine de l'information. En outre, les chercheurs partagent leur code, leurs donnés, et le modèle utilisé pour alimenter le chatbot.

Au Guardian, un porte-parole de Meta précise également que "toute personne qui utilise Blender Bot est tenue de reconnaître qu'elle comprend que la discussion est uniquement à des fins de recherche et de divertissement, que le bot peut faire des déclarations fausses ou offensantes, et qu'elle accepte de ne pas inciter intentionnellement le bot à faire des déclarations offensantes."

Autrement dit, BlenderBot a rappelé que l'idéal des chatbots sensibles capables de s'exprimer comme des humains est encore lointain, et qu'il restait de nombreuses barrières techniques à lever. Mais Meta a pris suffisamment de précautions dans sa démarche pour que cette fois, l'histoire ne tourne pas au scandale.

François Manens

10 Août 2022, 18:52

Partager :