La filigrana digitale e la provenienza dei contenuti richiedono un approccio multi-livello per le forze dell’ordine

Due recenti annunci sulla filigrana digitale e sulla provenienza dei contenuti dimostrano una più ampia adozione, da parte del settore, di tecnologie destinate ad aiutare creatori, editori e consumatori a verificare l’origine e la storia dei contenuti digitali. Tuttavia, nessuno dei due approcci rappresenta una soluzione definitiva e non fa altro che esporre la necessità di un approccio multi-livello per le forze dell’ordine e gli investigatori forensi quando si tratta di identificare e classificare i sospetti contenuti generati dall’IA.

OpenAI ha integrato la tecnologia di filigrana digitale SynthID di Google nei suoi strumenti generativi e ha lanciato uno strumento di verifica delle immagini che controlla se un’immagine è stata creata in ChatGPT, anche tramite API, o Codex.

Allo stesso tempo, Google ha esteso il rilevamento di SynthID dall’app Gemini a Lens, Modalità AI, Cerchia e cerca e Gemini in Chrome, così ora puoi controllare la presenza di una filigrana SynthID in un file su più applicazioni.

OpenAI ha anche aggiunto ulteriore supporto per i metadati dei Content Credentials, come parte del suo lavoro con la Coalition for Content Provenance and Authenticity (C2PA), il gruppo intersettoriale che sta dietro allo standard tecnico aperto per la provenienza dei contenuti.

Qualsiasi approccio alla provenienza dei contenuti è inefficace se preso da solo

Eppure, nell’annuncio, OpenAI riconosce che la filigrana digitale e i metadati delle credenziali dei contenuti hanno un’efficacia limitata come soluzioni a sé stanti, e che è necessario un approccio multi-livello. “I metadati C2PA sono una base importante per la provenienza. Aiutano i contenuti a trasportare informazioni su da dove provengono, come sono stati creati o modificati e chi ha firmato tali informazioni. Ma i metadati non sono infallibili. Possono essere rimossi, persi durante i caricamenti e i download, o interrotti da trasformazioni come cambi di formato di file, ridimensionamenti o screenshot”, afferma l’azienda.

“Per rendere la provenienza più resiliente, stiamo adottando un approccio multi-livello e incorporando la filigrana tramite SynthID di Google DeepMind… SynthID inserisce un livello di filigrana invisibile che completa gli approcci basati sui metadati C2PA”.

Ma se da un lato queste iniziative sono utili per i creatori di contenuti e le piattaforme di distribuzione partecipanti per aiutare a costruire la fiducia, informare i consumatori e potenzialmente scoraggiare i criminali occasionali – come quelli che usano strumenti commerciali per creare deepfake malevoli a scopo di frode o molestie – dall’altro hanno un impatto limitato quando si tratta di crimini più gravi e intenzioni malevole.

Sia la filigrana digitale che i metadati delle credenziali dei contenuti sono soluzioni facilmente aggirabili.

Gli sviluppatori notano che Stable Diffusion con una forza di denoising del 10-15% può rimuovere la filigrana, così come un nodo ComfyUI, e su GitHub esiste già almeno un repository per invertire la filigrana di SynthID.

Per quanto riguarda i metadati delle credenziali dei contenuti, questi possono essere facilmente modificati o rimossi. In effetti, uno dei maggiori ostacoli a questo approccio deriva dalla semplice distribuzione. Quando i file vengono caricati e distribuiti organicamente, ad esempio tramite i social media, le piattaforme tipicamente copiano i componenti visivi e audio del file in un nuovo contenitore, ignorando i metadati originali e degradando le firme incorporate attraverso la compressione.

I malintenzionati offuscano deliberatamente l’origine dei contenuti sintetici

Sia per i criminali occasionali che per quelli seriali, esiste la tecnologia che permette ai malintenzionati di rimuovere deliberatamente le filigrane e i manifesti C2PA per aggirare il rilevamento delle grandi iniziative del settore con pochissimo sforzo.

Ma il difetto più grande di queste stesse iniziative, spinte in gran parte dalla pressione dei consumatori e delle autorità di regolamentazione, è che sono opzionali e richiedono una partecipazione volontaria, motivo per cui probabilmente le vedremo applicate solo a strumenti commerciali e pronti all’uso.

Esiste anche un mercato clandestino che si rivolge al Crime-as-a-Service, dove generatori di IA non conformi possono essere utilizzati per generare deepfake non etichettati, o per aggirare i controlli di identità KYC (Know Your Customer) per aiutare i criminali a scalare rapidamente le loro operazioni di frode.

Inoltre, come abbiamo rivelato nel nostro recente rapporto, Il ruolo dei deepfake nella guerra cognitiva, stati-nazione, hacktivisti e altri attori politicamente motivati usano i deepfake per sofisticate campagne di influenza, operazioni psicologiche e guerra cognitiva. Questi attori offuscano attivamente le etichette dei contenuti IA per garantire che il loro contenuto ingannevole non venga segnalato come tale.

In definitiva, la sfida per tutte le forme di auto-etichettatura dei contenuti generati dall’IA è che si tratta di un approccio volontario, e esisterà sempre un ecosistema di malintenzionati incentivati a nascondere il fatto che i loro contenuti siano sintetici.

Gli investigatori devono implementare controlli multipli al momento dell’acquisizione delle prove

Dal punto di vista della classificazione, ha senso incorporare i controlli della filigrana digitale e dei metadati delle credenziali dei contenuti nel flusso di lavoro investigativo. Questo approccio può aiutare a identificare i contenuti sintetici conformi tra grandi volumi di prove, e intercetterà anche i tentativi grossolani di creare contenuti malevoli usando strumenti commerciali.

Tuttavia, dal punto di vista forense, i controlli di autenticità e provenienza basati su queste iniziative su larga scala non reggeranno in tribunale, dato che i metadati possono essere facilmente rimossi e i denoiser open source possono eliminare le filigrane. Nessuna singola tecnica di provenienza è sufficiente da sola.

Per contrastare questo fenomeno, le forze dell’ordine e gli investigatori forensi devono anche incorporare tecnologie complementari nei loro flussi di lavoro per garantire una solida verifica dei media e una catena di custodia verificabile. Strumenti forensi specializzati possono essere utilizzati per fornire un secondo parere o una revisione esperta in circostanze che richiedono prove tecniche aggiuntive e aiutare a raggiungere la soglia per l’autenticazione delle prove in tribunale.

Parliamo di tutto questo nel nostro recente podcast: la C2PA e iniziative simili sono un vero passo avanti e l’idea di integrare la provenienza direttamente nel contenuto al momento della creazione è elegante e, per chi agisce in buona fede, offre un valore reale. Ma, fondamentalmente, la C2PA e la filigrana sono sistemi costruiti sulla fiducia e sulla partecipazione volontaria.

In una stanza piena di bottiglie non verificate, l’etichetta sulla bottiglia aiuta solo se l’avvelenatore ha deciso di metterla. La provenienza ti dice da dove viene qualcosa, se il creatore ha scelto di dirtelo. Il rilevamento deve funzionare quando non l’hanno fatto.