Rilevare la nuova ondata di video deepfake iperrealistici

La generazione di deepfake in tempo reale sta diventando spaventosamente efficace. Nelle ultime settimane il nostro team di Threat Intelligence ha monitorato l’emergere di alcuni generatori di reenactment a figura intera con deepfake iperrealistici in grado di creare video convincenti anche per un occhio esperto.

Come puoi vedere nel video, questi nuovi modelli possono creare avatar a figura intera convincenti che possono essere controllati da un operatore e utilizzati per realizzare video autonomi, o persino iniettati in tempo reale in un flusso video utilizzando tecniche di hijack della fotocamera.

Questi strumenti sono già ampiamente adottati dai criminali informatici per perpetrare varie forme di frode, tra cui truffe romantiche, impersonificazione e furto d’identità, e frode occupazionale o sabotaggio aziendale.

Altri attori delle minacce potrebbero anche utilizzare video deepfake così convincenti per diffondere disinformazione o influenzare il sentimento pubblico e politico, soprattutto quando si spacciano per personaggi pubblici.

I deepfake iperrealistici di nuova generazione consentono attacchi più sofisticati

Ma non è solo la qualità iperrealistica dei contenuti multimediali a preoccupare, è la facilità con cui questi deepfake possono essere creati. Anche gli strumenti di gen-AI user-friendly destinati all’intrattenimento e auto-etichettati come tali, possono essere abusati da attori malintenzionati per scopi più sinistri rimuovendo i watermark incorporati.

C’è anche una notevole sofisticazione nei vettori di attacco. Gli avversari possono facilmente iniettare questi flussi video di reenactment del viso e del corpo in sistemi KYC (Know Your Customer) in tempo reale e piattaforme di videoconferenza. Quindi, gli analisti delle minacce devono essere in grado di rilevare i deepfake in tempo reale e su larga scala.

Rilevare nuovi modelli di deepfake gen-AI

Fortunatamente, il motore di rilevamento deepfake di Sensity AI sta già rilevando questi nuovi modelli e segnalando questi contenuti multimediali come sospetti. Poiché il rilevamento dei deepfake è una corsa agli armamenti, il rilevamento migliora con l’addestramento su dataset generati da ciascun modello, motivo per cui vedi livelli di confidenza variabili.

Nel primo esempio puoi vedere che la piattaforma di rilevamento deepfake di Sensity AI rileva il contenuto multimediale come falso, anche se ha una bassa confidenza nell’identificare il generatore specifico, a causa della sua natura innovativa. I nostri analisti ritengono che sia stato utilizzato il generatore del modello Kling video AI, sviluppato dalla Kuaishou Technology cinese.

Indicatori di rilevamento precoce come questo testimoniano la strategia di Sensity AI per un rilevamento robusto, in cui abbiamo dotato la nostra soluzione di molteplici livelli di analisi, esaminando elementi come pixel, voce, manipolazione del viso, analisi del bytecode, certificati C2PA, watermark e altro, sfruttando reti neurali profonde e forensics digitale.

L’obiettivo è che se un livello si rivela inconcludente o fornisce un’analisi a bassa confidenza, un altro livello si attivi con un risultato più definitivo, fornendo una valutazione complessiva più robusta. In definitiva, questo è ciò che rende la nostra soluzione capace di soddisfare gli standard forensi nei tribunali.

Quindi, quello che puoi vedere nel primo video è che il controllo dei contenuti generati dall’AI ha analizzato l’intero video fotogramma per fotogramma alla ricerca di eventuali segnali di sintesi e ha ottenuto un punteggio medio del 52,1% su tutti i fotogrammi. Tuttavia, le nostre funzionalità di spiegabilità come le mappe di calore, che mostrano il rumore a livello di pixel più interessante per il modello, e l’analisi basata su segmenti, che evidenziano oggetti probabilmente generati dall’AI, forniscono forti segnali forensi anche quando il punteggio di confidenza complessivo è basso.

Ad esempio, la mappa di calore ha identificato le cuffie a forma di orecchie di gatto come sospette, e a un’ispezione ravvicinata con l’occhio umano puoi vedere che appaiono fabbricate. Ma è l’analisi basata su segmenti che segnala l’avatar e l’ambiente come generati dall’AI.

Nel secondo esempio, la confidenza è molto più alta all’87,8%, rilevando chiaramente prove di manipolazione del viso, nonostante il modello sia innovativo, esponendo anche il rumore a livello di pixel come ulteriore prova di sintesi.