L'analyse de risque explique qu'il y a plusieurs volets au système d'Apple de lutte contre la pornographie : le premier protégera les enfants contre leur exposition à du contenu sexuel impliquant des mineurs, tant pour en recevoir que pour en envoyer. Ce système n'est possible qu'avec l'option Family Sharing au travers duquel les parents ont un droit de regard sur les appareils de leur enfant. Il s'agit d'informer l'enfant qu'il est sur le point de visualiser une image à problème (ou qu'il va l'envoyer), de lui demander de confirmer son action et, si l'enfant a moins de 13 ans, de le notifier à ses parents (sans l'image).

Un autre volet, plus controversé, consiste à détecter les comptes iCloud qui ont un contenu anormal de ce type et de les clôturer tout en les notifiant à des organismes de protection de l'enfance (à eux d'avertir les autorités).

Apple ne vise que les images dites CSAM (Child Sexual Abuse Material). Il existe des bibliothèques d'images CSAM auprès desquelles Apple comparera les images qui circulent sur iCloud Photos.

Le tout n'est déployé qu'avec iOS, le système d'exploitation de Apple, y compris la base de données d'images auxquelles le contenu local de l'iPhone sera comparé. On profite de la sécurité qui entoure toute mise à jour de iOS : entre deux mises à jour, personne ne peut manipuler l'algorithme ou la base de données.

Comment les images CSAM sont détectées

Si une image est chargée sur iCloud Photos, elle est comparée (indirectement) à cette base de données CSAM sur l'appareil, pas dans iCloud. Ce sont plutôt leurs hachages respectifs qui sont comparés, c'est-à-dire le résultat d'une opération mathématique sur l'image qui condense son contenu tout en le rendant incompréhensible et non reconstituable. Même si l'image a été modifiée, la fonction de hachage, très spécifique, donnera le même résultat. La base de données CSAM est aussi stockée sous cette forme dans l'appareil, ce qui en réduit la taille et évite d'avoir à mettre du contenu illégal dans l'iPhone.

Il n'y aura pas une mais plusieurs bases données CSAM, comprend-t-on, appartenant à des juridictions/pays différents pour éviter qu'un pays avec qui Apple collabore n'en profite pour lui confier non pas du contenu CSAM mais un autre type de contenu pour repérer des dissidents ou opposants politiques. Si correspondance il y a (ou non) entre une image en passe d'aller sur iCloud et CSAM, l'appareil (et son propriétaire) ne le sait pas.

Un certificat de sécurité chiffré est généré avec cette info et il accompagnera dorénavant chaque image chargée sur iCloud Photos. Ce certificat contient une réplique chiffrée basse définition de l'image correspondante. Les serveurs iCloud de Apple ne reçoivent l'autorisation de déchiffrer les certificats de sécurité incriminés (positifs) qu'à partir du moment où un seuil (pour l'instant fixé à 30 correspondances positives) est franchi. Si ce seuil est dépassé, seules les images positives sont identifiées. Les serveurs d'Apple reconstituent une image basse définition, sans doute floutée, pour un contrôle humain final. Ce contrôle garantit que ce n'est pas un faux positif. C'est à l'issue de ce dernier contrôle que le compte à problème est suspendu et des organismes de prévention sont avertis comme le National Center for Missing and Exploiting Children (NMEC). C'est lui qui possède légalement la base de données CSAM pour les USA.

C'est aussi le NMEC qui produira le hachage de sa base de données CSAM et l'enverra à Apple (qui ne peut évidemment pas posséder les images). Apple permettra des audits qui garantiront qu'entre la base de données CSAM de la NMEC et son hachage qui lui parvient, il n'y a pas eu d'altération.

Apple publiera les hachages de la base de données CSAM qui se trouvera sur tous les téléphones. Chaque utilisateur pourra en permanence vérifier que ce qu'il a sur son téléphone correspond à ce que Apple devrait lui avoir téléchargé à l'occasion d'une mise à jour d'iOS.

L'algorithme de reconnaissance

Ce n'est pas tout d'avoir une base de données CSAM sûre, certifiée et non manipulée. Quid du programme de reconnaissance ? L'algorithme utilisé pour comparer les hachages de CSAM avec les images est NeuralHash. Il n'a pas dû être entrainé sur des images CSAM, ce qui est une bonne chose car qui dit entrainement, dit risque d'erreurs et biais ensuite. C'est un algorithme de correspondance entre deux images, même altérée, modifiée, camouflée ou réduite en taille pour l'une des deux.

Apple a fait des tests : avec la base de données NCMEC et un essai sur 100 millions d'images, NeuralHash n'a eu que trois faux positifs. Quant à une comparaison avec 500.000 images à contenu pornographique mais adulte, il y a eu zéro faux-positifs. Les collectionneurs de porno adulte sur iCloud peuvent se rassurer. Les faux positifs ne posent pas tellement problème, en fait, puisqu'il s'agirait alors de contenu innocent.

Apple a mis un coefficient de sécurité supplémentaire : même si le taux de faux positifs se chiffre en 1 sur cent millions, il faut 30 correspondances pour générer une action au niveau des serveurs de Apple. Alors seulement, les certificats de sécurité incriminés des 30 images qui correspondraient à du contenu CSAM sont déchiffrés et la réplication basse qualité de l'image fait l'objet d'un dernier contrôle humain. Il faut noter qu'en aucun cas, Apple ne va chercher, une fois ce seuil dépassé, l'image elle-même sur l'appareil de l'utilisateur. Elle ne déchiffre pas non plus les images elles-mêmes sur iCloud car cela équivaudrait pour lui à connaitre les clés de chiffrement de ses utilisateurs ! Seul le certificat est déchiffré et ce certificat a été créé avec des clés de Apple, croit-on comprendre.

Le seul point discutable est la génération du certificat de sécurité dont Apple a toutes les clés pour accéder à son contenu. Apple devra se laisser auditer pour prouver qu'il ne fera qu'au-delà des critères annoncés. On aurait pu imaginer un blocage automatique du compte iCloud sans intervention humaine pour ne pas avoir à déchiffrer le certificat de sécurité et ne laisser cette intervention qu'en cas de contestation. Apple s'est entouré de toutes les précautions possibles (les meilleurs algorithmes cryptographiques , audit par les cryptologues à la pointe, etc.) mais c'est une fois de plus sur le principe que d'aucuns tiquent : la possibilité technique de savoir quel (type de) contenu un client héberge. Apple n'ira pas plus loin, c'est sûr mais il n'y a pas que Apple sur Terre.

Depuis quelques jours, les annonces de chercheurs se bousculent toutefois pour montrer que la méthode d'Apple pour générer un hachage n'est pas (encore) infaillible. A suivre.

__________________

Pour en savoir plus: Security Threat Model Review of Apple's Child Safety Features, Apple, Augst 2021.