Le tatouage numérique et la provenance du contenu nécessitent une approche multicouche pour les forces de l’ordre
Deux annonces récentes sur le tatouage numérique et la provenance du contenu démontrent une adoption plus large par l’industrie de technologies destinées à aider les créateurs, les éditeurs et les consommateurs à vérifier les origines et l’historique des contenus numériques. Cependant, aucune de ces approches n’est une solution miracle et elles ne font qu’exposer la nécessité d’une approche multicouche pour les forces de l’ordre et les enquêteurs médico-légaux lorsqu’il s’agit d’identifier et de trier les contenus suspectés d’être générés par l’IA.
OpenAI a intégré la technologie de tatouage numérique SynthID de Google dans ses outils génératifs et a lancé un outil de vérification d’image qui vérifie si une image a été créée dans ChatGPT, y compris via l’API, ou Codex.
Dans le même temps, Google a étendu la détection SynthID de l’application Gemini à Lens, au mode IA, à « Entourer pour chercher » et à Gemini dans Chrome, de sorte que vous pouvez désormais vérifier la présence d’un tatouage numérique SynthID dans un fichier à travers davantage d’applications.
OpenAI a également ajouté un support accru pour les métadonnées Content Credentials, dans le cadre de son travail avec la Coalition for Content Provenance and Authenticity (C2PA), le groupe intersectoriel à l’origine de la norme technique ouverte pour la provenance du contenu.
Toute approche de la provenance du contenu est inefficace à elle seule
Pourtant, dans l’annonce, OpenAI reconnaît que le tatouage numérique et les métadonnées de provenance du contenu ont une efficacité limitée en tant que solutions autonomes, et qu’une approche multicouche est requise. « Les métadonnées C2PA sont un fondement important pour la provenance. Elles aident le contenu à transporter des informations sur son origine, la manière dont il a été créé ou modifié, et qui a signé ces informations. Mais les métadonnées ne sont pas infaillibles. Elles peuvent être supprimées, perdues lors de téléchargements ou brisées par des transformations telles que des changements de format de fichier, des redimensionnements ou des captures d’écran », déclare l’entreprise.
« Pour rendre la provenance plus résiliente, nous adoptons une approche multicouche et intégrons le tatouage numérique via SynthID de Google DeepMind… SynthID intègre une couche de tatouage invisible qui complète les approches basées sur les métadonnées C2PA. »
Mais si ces initiatives sont utiles pour les créateurs de contenu participants et les plateformes de distribution afin d’aider à instaurer la confiance, à informer les consommateurs et potentiellement à dissuader les criminels occasionnels — tels que ceux utilisant des outils commerciaux pour créer des deepfakes malveillants à des fins de fraude ou de harcèlement —, elles ont un impact limité lorsqu’il s’agit de crimes plus graves et d’intentions malveillantes.
Le tatouage numérique et les métadonnées de provenance du contenu sont tous deux des solutions trivialement contournables.
Les développeurs notent que Stable Diffusion avec une force de débruitage de 10 à 15 % peut supprimer le tatouage, tout comme un nœud ComfyUI, et au moins un dépôt GitHub existe déjà pour inverser le tatouage SynthID.
En ce qui concerne les métadonnées de provenance du contenu, celles-ci peuvent être facilement modifiées ou supprimées. En fait, l’un des plus grands obstacles à cette approche provient de la simple distribution. Lorsque des fichiers sont téléchargés et distribués de manière organique, par exemple via les réseaux sociaux, les plateformes copient généralement les composants visuels et audio du fichier dans un nouveau conteneur, ignorant les métadonnées d’origine et dégradant les signatures intégrées par la compression.
Les acteurs malveillants obscurcissent délibérément l’origine des contenus synthétiques
Pour les criminels occasionnels comme pour les plus sérieux, la technologie permet aux acteurs malveillants de supprimer délibérément les tatouages numériques et les manifestes C2PA pour contourner la détection des initiatives industrielles à grande échelle avec peu d’effort.
Mais la plus grande faille de ces mêmes initiatives, largement motivées par la pression des consommateurs et des régulateurs, est qu’elles sont basées sur le volontariat et nécessitent une participation volontaire, c’est pourquoi nous ne les verrons probablement s’appliquer qu’aux outils commerciaux et prêts à l’emploi.
Il existe également un marché souterrain répondant au « Crime-as-a-Service », où des générateurs d’IA non conformes peuvent être utilisés pour générer des deepfakes non étiquetés, ou pour contourner les vérifications d’identité KYC (Know Your Customer) afin d’aider les criminels à intensifier rapidement leurs opérations de fraude.
De plus, comme nous l’avons révélé dans notre récent rapport, Le rôle des deepfakes dans la guerre cognitive, les États-nations, les hacktivistes et d’autres acteurs politiquement motivés utilisent les deepfakes pour des campagnes d’influence sophistiquées, des opérations psychologiques et la guerre cognitive. Ces acteurs obscurcissent activement les étiquettes de contenu IA pour s’assurer que leur contenu trompeur ne soit pas signalé comme tel.
En fin de compte, le défi pour toutes les formes d’auto-étiquetage de contenu généré par l’IA est qu’il s’agit d’une approche volontaire, et qu’il existera toujours un écosystème d’acteurs malveillants incités à dissimuler le fait que leur contenu est synthétique.
Les enquêteurs doivent déployer plusieurs vérifications au moment de l’ingestion des preuves
D’un point de vue de tri, il est logique d’intégrer des vérifications de tatouage numérique et de métadonnées de provenance du contenu dans le flux de travail d’enquête. Cette approche peut aider à identifier les contenus synthétiques conformes parmi de gros volumes de preuves, et elle permettra également de repérer les efforts rudimentaires de création de contenu malveillant à l’aide d’outils commerciaux.
Cependant, sur le plan médico-légal, les vérifications d’authenticité et de provenance basées sur ces initiatives à grande échelle ne tiendront pas devant un tribunal, car les métadonnées peuvent être facilement supprimées et les débruiteurs open-source peuvent effacer les tatouages. Aucune technique de provenance unique ne suffit à elle seule.
Pour lutter contre cela, les forces de l’ordre et les enquêteurs médico-légaux doivent également intégrer des technologies complémentaires dans leurs flux de travail afin de garantir une vérification robuste des médias et une chaîne de possession auditable. Des outils médico-légaux spécialisés peuvent être utilisés pour fournir un deuxième avis ou un examen d’expert dans des circonstances nécessitant des preuves techniques supplémentaires et aider à atteindre le seuil d’authentification des preuves devant les tribunaux.
Nous abordons tout cela dans notre récent podcast — le C2PA et les initiatives similaires sont un véritable pas en avant et l’idée d’intégrer la provenance directement dans le contenu au moment de la création est élégante et, pour ceux qui agissent de bonne foi, offre une réelle valeur. Mais, fondamentalement, le C2PA et le tatouage numérique sont des systèmes fondés sur la confiance et la participation volontaire.
Dans une pièce remplie de bouteilles non vérifiées, l’étiquette sur la bouteille n’aide que si l’empoisonneur a décidé de l’étiqueter. La provenance vous indique d’où vient quelque chose, si le créateur a choisi de vous le dire. La détection doit fonctionner quand ils ne l’ont pas fait.
