Apple active par défaut une fonctionnalité d'analyse automatique de photos par IA sur ses appareils.

«Les métadonnées de toutes vos photos sont téléchargées sur les serveurs d'Apple», prévient un développeur

Dans le cadre de ses efforts constants pour enrichir l’expérience utilisateur, Apple a récemment déployé une fonctionnalité d’analyse automatique des photos sur ses appareils. Baptisée Enhanced Visual Search, cette technologie utilise des algorithmes d’intelligence artificielle (IA) pour identifier des points de repère et d’autres éléments visuels marquants dans les images des utilisateurs. Ce système repose sur des principes de chiffrement homomorphe, une méthode supposée offrir des garanties en matière de confidentialité. Cependant, le choix d’Apple d’activer cette fonctionnalité par défaut, sans consultation préalable des utilisateurs, soulève des questions cruciales sur la frontière entre innovation technologique et respect des droits fondamentaux.

L'année dernière, Apple a déployé un mécanisme d'identification des points de repère et des lieux d'intérêt dans les images stockées dans l'application Photos sur les appareils iOS et macOS de ses clients et l'a activé par défaut, apparemment sans consentement explicite.

Les clients d'Apple commencent à peine à s'en rendre compte.

La fonctionnalité, connue sous le nom de Enhanced Visual Search, a été signalée il y a quelques jours par le développeur de logiciels Jeff Johnson, qui s'est inquiété dans deux articles de l'incapacité d'Apple à expliquer cette technologie, qui aurait été introduite avec iOS 18.1 et macOS 15.1 le 28 octobre 2024.

Dans un document de politique daté du 18 novembre 2024 (non indexé par la Wayback Machine de l'Internet Archive jusqu'au 28 décembre 2024, date de l'article initial de Johnson), Apple décrit la fonctionnalité comme suit :

Apple a expliqué la technologie dans un document technique publié le 24 octobre 2024, à peu près à l'époque où la recherche visuelle améliorée aurait été lancée. Un modèle local d'apprentissage automatique analyse les photos à la recherche d'une « région d'intérêt » susceptible de représenter un point de repère. Si le modèle d'IA trouve une correspondance probable, il calcule un vecteur d'intégration - un tableau de nombres - représentant cette partie de l'image.

Le dispositif utilise ensuite le chiffrement homomorphique pour brouiller l'intégration de manière à ce qu'elle puisse être exécutée par des algorithmes soigneusement conçus qui produisent un résultat également chiffré. L'objectif est que les données chiffrées puissent être envoyées à un système distant pour être analysées sans que la personne qui exploite ce système ne connaisse le contenu de ces données ; elle a seulement la possibilité d'effectuer des calculs sur ces données, dont le résultat reste chiffré. L'entrée et la sortie sont chiffrées de bout en bout et ne sont pas déchiffrées au cours des opérations mathématiques, c'est du moins ce qui est prétendu.

Dit plus simplement : vous prenez une photo ; votre Mac ou iPhone dessine localement ce qu'il pense être un point de repère ou un lieu d'intérêt dans l'image ; il chiffre de manière homomorphique une représentation de cette partie de l'image d'une manière qui peut être analysée sans être déchiffrée ; il envoie les données chiffrées à un serveur distant pour effectuer cette analyse, de sorte que le point de repère puisse être identifié à partir d'une grande base de données de lieux ; et il reçoit à nouveau l'emplacement suggéré sous une forme chiffrée qu'il est le seul à pouvoir déchiffrer.

Si tout fonctionne comme prévu et qu'il n'y a pas de canaux latéraux ou d'autres fuites, Apple ne peut pas voir ce que contiennent vos photos, ni les données de l'image, ni l'étiquette recherchée.


Une prouesse technologique

Le recours au chiffrement homomorphe est sans conteste un atout majeur de cette fonctionnalité. Contrairement aux méthodes traditionnelles, cette approche permet de traiter les données sans les déchiffrer, garantissant ainsi qu’aucune information brute ne quitte l’appareil de l’utilisateur. Apple positionne cette innovation comme un compromis idéal entre performance et confidentialité, un point particulièrement crucial dans un contexte où la protection des données personnelles est devenue une priorité pour les consommateurs et les législateurs.

La reconnaissance visuelle avancée intégrée à Enhanced Visual Search peut potentiellement améliorer des usages quotidiens : retrouver des photos de vacances en fonction d’un monument spécifique, classer automatiquement des images ou encore enrichir des souvenirs numériques grâce à des descriptions contextuelles. En d’autres termes, il s’agit d’une réponse à une demande latente pour des outils plus intelligents et intuitifs.

Une activation controversée

Mais l’efficacité technologique suffit-elle à justifier les choix d’Apple en matière d’implémentation ? En activant cette fonctionnalité par défaut, l’entreprise impose un modèle paternaliste qui soulève plusieurs problématiques. D’abord, elle ne laisse pas aux utilisateurs le temps d’évaluer pleinement les implications pratiques de cette technologie. Ensuite, elle contourne implicitement le consentement éclairé, un principe pourtant central dans la gestion des données personnelles.

Certains détracteurs accusent Apple de prendre des décisions unilatérales, en s’appuyant sur une image de marque largement perçue comme respectueuse de la vie privée. Ce comportement soulève une question : l’absence de consultation préalable n’est-elle pas une forme de contrôle déguisé, masqué sous des arguments d’utilité et de simplicité ?


« Apple réfléchit à la manière de préserver (théoriquement) la vie privée, mais je ne pense pas que l'entreprise soit à la hauteur de ses idéaux »

Apple affirme que l'utilisation de ce chiffrement homomorphique et de ce que l'on appelle la confidentialité différentielle (un moyen de protéger la vie privée des personnes dont les données apparaissent dans un ensemble de données) exclut tout problème potentiel en matière de protection de la vie privée.

Mais le développeur logiciel Michael Tsai rétorque :

Tsai affirme que l'approche d'Apple est encore moins privée que son plan de balayage CSAM abandonné « parce qu'elle s'applique aux photos non iCloud et télécharge des informations sur toutes les photos, pas seulement sur celles dont les hachages neuronaux sont suspects ».

Néanmoins, Tsai reconnaît l'affirmation d'Apple selon laquelle les données traitées de cette manière sont chiffrées et dissociées du compte et de l'adresse IP de l'utilisateur.

Bien qu'aucune preuve ne contredise à ce stade les affirmations d'Apple en matière de protection de la vie privée, l'inquiétude de la communauté porte davantage sur la manière dont Apple a déployé cette technologie.

« Il est très frustrant d'apprendre l'existence d'un service deux jours avant le Nouvel An et de constater qu'il a déjà été activé sur son téléphone », a déclaré Matthew Green, professeur associé d'informatique à l'Institut de sécurité de l'information Johns Hopkins, aux États-Unis.


Une tension entre innovation et choix éclairé

Ce cas illustre un dilemme récurrent pour les géants de la technologie : comment concilier des innovations rapides et des pratiques solides en matière de choix éclairé des utilisateurs ? En effet, même si le chiffrement homomorphe est censé garantir que personne — y compris Apple — ne peut accéder directement aux photos, la méfiance persiste. Dans un monde marqué par des scandales de collecte abusive de données, les consommateurs exigent de plus en plus de transparence et de contrôle sur leurs informations personnelles.

Apple aurait pu opter pour une stratégie plus respectueuse : informer les utilisateurs avant d’activer cette fonctionnalité, expliquer ses avantages, et, surtout, offrir une option claire de désactivation dès le départ. Une telle approche aurait renforcé la confiance, tout en évitant de donner l’impression d’une surveillance non sollicitée.

Sources : Apple (1, 2, 3), Jeff Johnson, IEEE, Michael Tsai

Et vous ?

Est-il acceptable qu’une entreprise active une fonctionnalité affectant les données personnelles sans un consentement explicite ?

Comment Apple pourrait-elle mieux communiquer sur de telles innovations pour éviter la méfiance des utilisateurs ?

Le chiffrement homomorphe suffit-il à garantir la vie privée, ou la perception de contrôle personnel est-elle tout aussi importante ?

Ce type d’analyse automatisée pourrait-il être détourné à d’autres fins, comme la surveillance ou la publicité ciblée ?

Les utilisateurs ont-ils suffisamment de contrôle pour désactiver cette fonctionnalité ou éviter l’analyse de leurs données ?

Quels outils ou mécanismes pourraient être mis en place pour permettre aux utilisateurs de décider eux-mêmes des fonctionnalités qu’ils souhaitent activer ?