Detección de la nueva ola de vídeos deepfake hiperrealistas

La generación de deepfakes en tiempo real está alcanzando un nivel aterrador. En las últimas semanas, nuestro equipo de inteligencia de amenazas ha estado rastreando la aparición de algunos generadores deepfake hiperrealistas de recreación corporal completa capaces de crear vídeos que resultan convincentes incluso para el ojo entrenado.

Como se puede ver en el vídeo, estos nuevos modelos pueden crear avatares de cuerpo completo convincentes que pueden ser manejados por un operador y utilizados para hacer vídeos independientes, o incluso inyectados en tiempo real en una transmisión de vídeo utilizando técnicas de secuestro de cámara.

Estas herramientas ya están siendo adoptadas por ciberdelincuentes para llevar a cabo diversas formas de fraude, incluyendo estafas románticas, suplantación de identidad y robo de identidad, y fraude laboral o subterfugio corporativo.

Otros actores de amenazas también pueden utilizar estos vídeos deepfake convincentes para difundir desinformación o influir en el sentimiento público y político, especialmente cuando se hacen pasar por figuras públicas.

Los deepfakes hiperrealistas de nueva ola permiten ataques más sofisticados

Pero no es solo la calidad hiperrealista de los medios lo que preocupa, sino la facilidad con la que se pueden crear estos deepfakes. Incluso las herramientas de IA generativa de uso doméstico, destinadas al entretenimiento y autoetiquetadas como tales, pueden ser utilizadas indebidamente por actores maliciosos para fines más siniestros eliminando las marcas de agua incrustadas.

También hay una considerable sofisticación en los vectores de ataque. Los adversarios pueden inyectar fácilmente estas transmisiones de vídeo de recreación facial y corporal en sistemas KYC (Know Your Customer) en tiempo real y plataformas de videoconferencia. Por lo tanto, los analistas de amenazas deben ser capaces de detectar deepfakes en tiempo real y a escala.

Detección de nuevos modelos deepfake de IA generativa

Afortunadamente, el motor de detección de deepfakes de Sensity AI ya está detectando estos nuevos modelos y marcando estos medios como sospechosos. Debido a que la detección de deepfakes es una carrera armamentística, la detección mejora con el entrenamiento en conjuntos de datos generados por cada modelo, por lo que se observan diferentes niveles de confianza.

En el primer ejemplo, puede ver que la plataforma Sensity AI Deepfake Detection detecta el medio como falso, aunque tiene poca confianza en la identificación del generador específico, debido a su naturaleza novedosa. Nuestros analistas creen que se utilizó el modelo de IA de vídeo Kling, desarrollado por Kuaishou Technology de China.

Indicadores de detección temprana como este son testimonio de la estrategia de Sensity AI para una detección robusta, en la que hemos equipado nuestra solución con múltiples capas de análisis, examinando elementos como píxeles, voz, manipulación facial, análisis de bytecode, certificados C2PA, marcas de agua y más, aprovechando redes neuronales profundas y forenses digitales.

El objetivo es que, si una capa resulta inconclusa o proporciona un análisis de baja confianza, otra capa se active con un resultado más definitivo, proporcionando una evaluación general más robusta. En última instancia, esto es lo que hace que nuestra solución sea capaz de cumplir con los estándares forenses en los tribunales de justicia.

Así, lo que se puede ver en el primer vídeo es que la comprobación de contenido generado por IA ha analizado todo el vídeo fotograma a fotograma en busca de cualquier señal de síntesis y ha obtenido una puntuación media del 52,1 % en todos los fotogramas. Sin embargo, nuestras características de explicabilidad como los mapas de calor, que muestran el ruido a nivel de píxel más interesante para el modelo, y el análisis basado en segmentos, que resaltan objetos probablemente generados por IA, proporcionan fuertes señales forenses incluso cuando la puntuación de confianza general es baja.

Por ejemplo, el mapa de calor ha identificado los auriculares con orejas de gato como sospechosos, y en una inspección cercana con el ojo humano se puede ver que parecen fabricados. Pero es el análisis basado en segmentos el que marca el avatar y el entorno como generados por IA.

En el segundo ejemplo, la confianza es mucho mayor, del 87,8 %, detectando claramente evidencia de manipulación facial, a pesar de que el modelo es novedoso, al tiempo que expone el ruido a nivel de píxel como evidencia adicional de síntesis.