Shane Jones, ingénieur chez Microsoft depuis plusieurs années, a démontré qu'il était possible de créer des images de violences, d'ados tenant des fusils et autres scènes dérangeantes avec Copilot Design, le générateur d'images de Microsoft, qui s'appuie sur la technologie d'OpenAI. Il a tenté d'avertir son employeur de ce danger pendant plusieurs mois, en vain. Pour le forcer à réagir, il vient de le dénoncer auprès de la Federal Trade Commission (FTC), le régulateur américain.Pendant trois mois, Shane Jones, ingénieur chez Microsoft, a tenté de prévenir son employeur des dangers de son outil Copilot... en vain. L'informaticien, employé de la firme depuis 6 ans, ne travaille pas directement sur ce produit. Mais comme d'autres salariés, il teste l'outil sur son temps libre afin de déceler d'éventuelles failles. Une pratique commune dans ce domaine appelé « red teaming ». Un soir de décembre 2023, Shane Jones est particulièrement choqué par les images qu'il parvient à créer avec Copilot Designer (un outil qui s'appuie sur DALL-E 3, le générateur d'images d'OpenAI). Cet outil, anciennement appelé Bing Image Creator, a été lancé par Microsoft en mars 2023.
Il voit des scènes de violence incluant des femmes très sexualisées, des ados avec des fusils d'assaut, des enfants en train de s'alcooliser et de se droguer, des monstres et des démons associés à des termes sur le droit à l'avortement. Toutes ces images sont normalement contraires aux règles de Microsoft. CNBC, qui rapporte cette information, est parvenu à recréer ses scènes en utilisant Copilot Design cette semaine, prouvant que rien n'a été fait par l'entreprise.
Microsoft a refusé de suspendre l'usage de Copilot
« Cela m'a ouvert les yeux », dit l'ingénieur lanceur d'alerte au média américain. « À ce moment-là, j'ai vraiment réalisé que ce n'était pas un modèle d'intelligence artificielle sûr ». S'ensuit alors de nombreuses tentatives pour avertir Microsoft. Son employeur prend ses inquiétudes en considération, mais ne retire pas pour autant le produit du marché. Les équipes de Microsoft renvoient Shane Jones vers OpenAI, qui ne daigne pas lui répondre.
Le salarié publie alors un post LinkedIn. Il appelle directement le directoire d'Open AI à suspendre l'utilisation de DALL-E 3 du marché, afin de mener une investigation. Le département juridique de Microsoft lui demande de supprimer sa publication. Le salarié s'exécute, mais continue de lancer l'alerte. Il écrit à des sénateurs en janvier de cette année, et rencontre plus tard des équipes du Comité sénatorial sur le Commerce, les Sciences et les Transports.