Apple active par défaut une fonctionnalité d'analyse automatique de photos par IA sur ses appareils.

«Les métadonnées de toutes vos photos sont téléchargées sur les serveurs d'Apple», prévient un développeur

Dans le cadre de ses efforts constants pour enrichir l’expérience utilisateur, Apple a récemment déployé une fonctionnalité d’analyse automatique des photos sur ses appareils. Baptisée Enhanced Visual Search, cette technologie utilise des algorithmes d’intelligence artificielle (IA) pour identifier des points de repère et d’autres éléments visuels marquants dans les images des utilisateurs. Ce système repose sur des principes de chiffrement homomorphe, une méthode supposée offrir des garanties en matière de confidentialité. Cependant, le choix d’Apple d’activer cette fonctionnalité par défaut, sans consultation préalable des utilisateurs, soulève des questions cruciales sur la frontière entre innovation technologique et respect des droits fondamentaux.

L'année dernière, Apple a déployé un mécanisme d'identification des points de repère et des lieux d'intérêt dans les images stockées dans l'application Photos sur les appareils iOS et macOS de ses clients et l'a activé par défaut, apparemment sans consentement explicite.

Les clients d'Apple commencent à peine à s'en rendre compte.

La fonctionnalité, connue sous le nom de Enhanced Visual Search, a été signalée il y a quelques jours par le développeur de logiciels Jeff Johnson, qui s'est inquiété dans deux articles de l'incapacité d'Apple à expliquer cette technologie, qui aurait été introduite avec iOS 18.1 et macOS 15.1 le 28 octobre 2024.

Dans un document de politique daté du 18 novembre 2024 (non indexé par la Wayback Machine de l'Internet Archive jusqu'au 28 décembre 2024, date de l'article initial de Johnson), Apple décrit la fonctionnalité comme suit :

Apple a expliqué la technologie dans un document technique publié le 24 octobre 2024, à peu près à l'époque où la recherche visuelle améliorée aurait été lancée. Un modèle local d'apprentissage automatique analyse les photos à la recherche d'une « région d'intérêt » susceptible de représenter un point de repère. Si le modèle d'IA trouve une correspondance probable, il calcule un vecteur d'intégration - un tableau de nombres - représentant cette partie de l'image.

Le dispositif utilise ensuite le chiffrement homomorphique pour brouiller l'intégration de manière à ce qu'elle puisse être exécutée par des algorithmes soigneusement conçus qui produisent un résultat également chiffré. L'objectif est que les données chiffrées puissent être envoyées à un système distant pour être analysées sans que la personne qui exploite ce système ne connaisse le contenu de ces données ; elle a seulement la possibilité d'effectuer des calculs sur ces données, dont le résultat reste chiffré. L'entrée et la sortie sont chiffrées de bout en bout et ne sont pas déchiffrées au cours des opérations mathématiques, c'est du moins ce qui est prétendu.

Dit plus simplement : vous prenez une photo ; votre Mac ou iPhone dessine localement ce qu'il pense être un point de repère ou un lieu d'intérêt dans l'image ; il chiffre de manière homomorphique une représentation de cette partie de l'image d'une manière qui peut être analysée sans être déchiffrée ; il envoie les données chiffrées à un serveur distant pour effectuer cette analyse, de sorte que le point de repère puisse être identifié à partir d'une grande base de données de lieux ; et il reçoit à nouveau l'emplacement suggéré sous une forme chiffrée qu'il est le seul à pouvoir déchiffrer.

Si tout fonctionne comme prévu et qu'il n'y a pas de canaux latéraux ou d'autres fuites, Apple ne peut pas voir ce que contiennent vos photos, ni les données de l'image, ni l'étiquette recherchée.


Une prouesse technologique

Le recours au chiffrement homomorphe est sans conteste un atout majeur de cette fonctionnalité. Contrairement aux méthodes traditionnelles, cette approche permet de traiter les données sans les déchiffrer, garantissant ainsi qu’aucune information brute ne quitte l’appareil de l’utilisateur. Apple positionne cette innovation comme un...